Stable Di usion 스테이블 디퓨전 을 처음시작할 때 정말 헷갈렸던 용어 : Checkpoint, lora, embedding, hyper network, vae 에 대해서 이해하기 쉽게 완벽정리 해보도록 하겠습니다.
이번 게시물에서는
각 용어에 대한 기본적인 개념 설명만 하고 구체적인 적용 방법에 대해서는 추후에 다시 다뤄보도록 하겠습니다. 먼저 Stable Di sion 에서 사용되는 파일들을 다운 받을 수 있는 사이트 두 곳 링크를 올려드리도록 하겠습니다.
Civitai :
civitai.com/
허깅 페이스 :
huggingface.co/
Checkpoint (model)
checkpoint 혹은 model이라고도 불립니다. 이 친구는 그림을 그리는 AI의 뇌라고 생각하시면 됩니다. Stable Di usion 이라는 몸체에 Checkpoint라는 뇌를 장착시키고 그림을 그리게 만드는 것입니다.
어떤 모델을 사용하느냐는 어떤 뇌를 사용하느냐와 같습니다. 예를 들면, 피카소 모델을 장착했다면 생성한 그림은 전반적으로 피카소 스타일의 그림이 될 것입니다. 하지만 피카소 모델을 장착했다 해서 피카소 스타일의 그림만을 그릴 수 있는 것은 아닙니다. 반고흐의 그림 스타일을 학습해서 피카소 모델로 반고흐처럼 그림을 그릴 수 있을 것입니다. 여기서 학습이라는 것이 밑에서 배울 lora / embedding / hyper network 이 친구들 입니다.) 하지만 그렇다고 해서 피카소 모델이 반고흐가 될 수는 없을 것입니다. 뇌는 피카소의 뇌를 장착했으니까요.
⦁ lora / embedding / hyper network
lora, embedding, hyper network 이 세가지는 이미지 생성을 위한 보조 모델입니다.
또한 학습된 데이터와 유사한 그림을 생성할 수 있게 됩니다.
이 세가지 용어는 모두 webui에서 나온 단어가 아니라
AI에서 사용되는 전문용어이기 때문에 사실 정확한 이해는 필요하지 않습니 다.
다만, 그 느낌의 차이를 이해하면 어떤 것을 선택해야 할지 도움이 될 수 있 기 때문에
간단하게 알아보도록 하겠습니다.
⦁ lora
로라는 드림부스 기반 학습입니다.
드림부스는 가장 영향력이 큰 학습방법이라고 생각하시면 됩니다. 비유해 보자면 뇌 전체를 수술한다고 볼 수 있습니다.
로라는 학습된 뇌의 일부를 추출하여서
우리가 쓰는 모델 뇌)에 이식 시키는 정도로 생각하시면 되겠습니다. 로라는 대부분의 경우에 피사체를 위주로 학습을 하게 됩니다.
장점
원하는 스타일의 그림을 생성할 수 있을 만큼 영향력이 크다.
드림부스 기반이지만 용량이나 GPU의 요구성능이 그렇게 크거나 높 지 않다.
동시에 여러 lora를 적용할 수 있다. 적용 가중치도 조절할 수 있음)
⦁ embedding
textual inversion이라고도 합니다.
임베딩은 모델에 영향을 주지 않은 채 프롬프트를 추가 학습하는 방법입니 다.
즉, 추가적인 특징 하나 정도를 만들어 준다고 생각하시면 될 것 같습니다. 예를 들자면 모델을 공부 시키는 정도가 될 것 같습니다.
장점
여러 임베딩을 한번에 적용할 수 있다.
여러 모델에서 자유롭게 사용할 수 있다. 용량이 가볍다.
단점
용량이 작고, 영향력이 작은 만큼
원하는 특징이 나타나지 않는 경우가 있다.
lora/embedding 적용방법은 아래 포스팅 참고
스테이블 디퓨전 colab에서 lora와 embedding 적용하기
⦁ hyper network
하이퍼 네트워크는 임베딩과 유사하다고 생각하시면 됩니다. 로라가 뇌의 일부를 이식해서 뇌 자체를 변형시키는 것이라면
하이퍼 네트워크는 뇌를 바꾸는 것이 아니라 임베딩 처럼 공부 를 시키는 것 이라 볼 수 있습니다.
따라서 하이퍼 네트워크는 로라만큼의 영향력을 줄 수는 없습니다. 하지만 임베딩 보다는 더 큰 영향력을 행사할 수 있습니다.
임베딩이 학교에서 공부 하는 것 정도라면
하이퍼 네트워크는 어렸을 때 부터 머리속에 각인 시키는 것이라 볼 수 있겠 습니다.
그렇기 때문에 하이퍼 네트워크는 임베딩보다는 훨씬 큰 용량을 가지고 있 습니다.
뇌 를 바꾸는 로라와 비슷한 정도의 용량입니다.
그래서 저는 하이퍼 네트워크보다는 로라를 사용하는 것을 선호합니다. 물론 하이퍼 네트워크만의 장점도 분명 존재하겠지만
제 개인적인 생각은 로라가 더 좋은 것 같습니다.
⦁ vae
vae는 그림을 보정해 주는 역할이라고 생각하시면 됩니다.
그림이 흐리게 나온다거나 남들이 뽑은 그림보다 퀄리티가 떨어지는 것 같 다면
vae를 적용하지 않았을 가능성이 큽니다.
vae도 마찬가지로 많은 종류가 있지만
용도별로 가장 많이 쓰이는 vae 두 가지를 소개해 드리도록 하겠습니다. 그림 스타일에 맞게 사용하시는 것을 추천드립니다.
출처:
ai-designer-allan.tistory.com/entry/%EC%...BD%EC%A0%95%EB%A6%AC
