[ ComfyUI ] 캐릭터 시트 만들기

[ComfyUI] Nunchaku 설치

이전 글에서 눈챠크 설치를 완료하고 기쁜 마음을 가진 뒤 잠에 들었다.
동생이 램도 사줘서 16GB를 추가로 장착한 뒤 설레는 마음으로 실행을 시켜보았다.
근데 컴퓨터가 끼잉끼잉 거리더니 문제는 아닌데 문제가 발생했다.

염병

 

이미지 하나 만드는데 있어서 약 10분이 넘게 걸렸다. 이정도면 GPT 다시 결제해야될 정도다.
그렇다고 그래픽카드를 새로 장만하기에는 그렇게 많이 쓸 것 같지는 않다.
그러다가 하이드림이라는 모델을 발견했고 설치까지 진행을 했다.

VRam이 8GB이기 때문에 위 영상이 매우 솔깃했고 설명도 잘 해주신다. 근데 문제는 내 컴퓨터였다.
눈챠크까지 연결한 플럭스나 하이드림이나 속도가 비슷하게 1장 뽑는데 10분이 넘게 걸렸다.
그렇게 씁쓸한 와중에 구글링 도중 또 새로운 구세주가 등장했다.

캐릭터 시트 만들기 (ComfyUI)

일단 1년이 넘은 글이고 요즘 많이들 사용하는 Flux가 아닌 SDXL이다.
위 글에서 참고한 유튜브 영상에서는 워크플로우까지 공개가 되어있긴 한데, 설치 과정이 좀 그렇다.
내가 영어를 못하는 것도 있긴 한데, 찾다보니 SDXL의 경우 LoRa 파일 자체가 별로 없었다.

불건전해보이는 것은 모자이크

따봉도 제일 높은게 800대다. 다른 모델들은 몇십K다보니 좀 꺼려진다.
어찌 되었든 저 위 블로그의 주인장은 SD1.5로 했는데 잘 돌아간다는 것을 보니 SD1.5로 바꿔서 하는 것이 좀 더 좋을 듯 하다.

728x90

우선 저 블로그에 있는 유튜브 영상의 링크를 보면 패트리온 링크가 있는데,
패트리온에는 나름? 친절하게 가이드 문서 링크도 작성 되어있다.

[FREE GUIDE] Character Consistency

이제 저걸 따라하다보면 첫번째 문제가 발생한다.

우선 저 IP Adapter의 경우 SDXL용이다. 링크를 들어가면 한 8개 파일이 나오고 다 다운로드 받는 것은 어렵지 않다.
근데 저 경로가 잘못 되었다.

대소문자는 다르지만 저기 적힌 경로

아무래도 1년 전 영상이다보니 저 커스텀 노드 자체가 업데이트 되어서 저 경로는 아마도 더 이상 쓰지 않는 것 같다.
근데 저기다 넣으면 이제 에러가 발생하는데...

# ComfyUI Error Report
## Error Details
- **Node ID:** 123
- **Node Type:** IPAdapterUnifiedLoader
- **Exception Type:** Exception
- **Exception Message:** IPAdapter model not found.

위와 같은 에러가 발생한다. 뭐 파이썬으로 돌아가는 것은 알겠는데, 파이썬은 모른다.

잼민쓰

잼민이에게 에러가 발생한 스크립트 파일과 함께 정보를 주니 위와 같은 답변을 해준다.
IP Adapter의 경우 경로를 다르게 설정해줘야 한다.

ComfyUI\models\ipadapter

위 경로에 넣어줘야 하는데 ipadapter라는 폴더가 없을 경우 새로 폴더를 만들어 준 뒤 넣어준다.
그러면 SDXL의 경우 정상 작동 되는 것을 확인할 수 있다.

SDXL 워크플로 돌려본 결과물

이제 뭐 저렇게 하면 SDXL은 잘 돌아가는데... 나의 경우 이미 만들어둔 캐릭터가 있고, SD1.5로 바꿀 것이다.

워크플로 일부

우선 컨트롤넷 로드 부분에서 SD1.5용 컨트롤넷으로 바꿔줘야 한다.

models/control_sd15_openpose.pth · lllyasviel/ControlNet at main

댑스는 사용하지 않는 워크플로우이기 때문에 openpose만 우선 다운받고 컨트롤넷 경로에 넣어주었다.
그 적절하게 SD1.5 모델로 바꿔주면 되는데, 체크포인트만 바꿀 경우 IP Adapter에서 또 문제가 생긴다.

h94/IP-Adapter at main

나의 경우는 잘 모르기 때문에 위 경로에 있는 파일 13개를 전부 다운 받아주고, SDXL IP Adapter와 동일하게
아래 경로에 다 때려 넣어주었다.

ComfyUI\models\ipadapter

이제 이러면... SD1.5도 정상 작동 되는데, 나는 기존 이미지를 긁어다 넣고 프롬프트를 작성하고 싶지 않다.
그래서 이전 Flux를 사용한 너바베님의 스타일 변환 워크플로우 일부를 긁어왔다.

긁어온 부분

긁어온 부분은 위와 같은데, 이미지를 넣으면 Florence가 그걸 프롬프트로 바꿔주는 그런 부분 + 파워 로라이다.
저기 넣은 이미지는 기존 게임에 들어가있던 이미지 중 1개다.
이제 이러면 모델 + 로라 쇼핑에 들어가면 된다...

결과물

Face_Upscale_00007_.png

1.07MB

위 이미지들을 제작하는데 사용된 워크플로우인데... 누가 쓸지는 모르겠지만 Comfyui로 드래그해서 넣으면 된다...
SD1.5로 한 것이라 다른 모델들로 하면 터질 것이다.