아직 현실세계에 살고 있는 우리에게 AI는 상상력과 가상공간이란 무한한 창작 캔버스를 제공해주고 있습니다. 이 공간에서 우리는 머리 속으로만 그려왔던 많은 상상을 실제 눈으로 보이는 이미지로 만들어 낼 수 있다는 점에서 굉장히 매력적인데요, 오늘은 AI 그림으로 멋진 벤츠 S-Class를 그려보고자 합니다.
스테이블 디퓨젼
최근 Stable Diffusion XL이 공개되면서 많은 분들께서 더욱 실감나는 고화질, 고품질 AI 이미지를 그려내고 계시지만, 여전히 아직까지는 세부조정(fine tuning)된 모델 및 부가기능(lora, embedding, dynamic thresholidng, detection detailer, controlnet 등등)관련 기술이 안정화 되지 않은 상태입니다. 따라서 본 글에서는 SD 1.5 기준으로 실감나는 벤츠를 그려보고자 합니다.
로라(Lora)
로라는 일반인들이 스테이블 디퓨젼으로 그림을 그릴 때 본인이 원하는 특정 구도, 인물, 화풍, 오브제, 등을 비교적 정확하게 재현해낼 때 가장 효율적인 강력한 기술입니다. 개인이 가정에서 모델을 직접 학습하는 것은 현실적으로 매우 어렵습니다. 하지만 로라를 학습 및 제작하는 것은 상대적으로 매우 간단하기 때문에 더더욱 대중화될 수 있었는데요, 구체적인 기술적 부분은 본문에서 다루지 않겠지만, 로라의 원리를 간단히 설명드리면 다음과 같습니다.
기존모델 + 사용자 임의로 부분 학습된 Lora = 사용자 스타일 그림 생성
말씀드린 대로 로라는 가정에서도 충분히 학습이 가능하지만, 그 절차 및 과정에 대해서는 다른 포스팅에서 자세히 다루도록 하고, 여기서는 다른 사람들이 미리 만들어둔 로라를 다운받아 사용해보도록 하겠습니다.
Civitai
Civitai는 Hugging Face와 함께 Stable Difussion 관련 모델, 로라, 하이퍼네트워크, 임베딩 등 수많은 자료를 가장 활발하게 공유하는 대표적인 사이트 중 하나입니다. 먼저 가입 및 로그인을 한뒤 우측 필터링에서 Lora를 선택해줍니다.(유사한 방식으로 Hugging Face에서 원하는 Lora를 다운받아 진행하셔도 무관합니다.)
이후 우리는 벤츠 S-Class를 그릴 것이므로, 검색창에 Mercedes를 검색해보겠습니다.
꽤 여러 사용자들이 이미 Mercedes를 키워드로 다양한 로라를 제작해 공유해두었습니다. 이 중에서 우리는 S-Class 로라를 사용해보도록 하겠습니다. 해당 로라를 선택한 뒤 로라 파일을 다운로드 합니다.
그냥 S-Class인줄 알았는데, 심지어 마이바흐입니다… 현실에서는 이런 차량을 구입한다면 자동차 보험료와 자동차세 폭탄이겠죠..? 우측 상단의 다운로드버튼을 눌러 다운받은 safetensor 파일을 스테이블디퓨전이 설치된 위치에서 모델 폴더 안의 Lora 폴더(*아래 참고)로 이동합니다.
[스테이블디퓨젼 설치 위치\stable-diffusion-webui\models\Lora]
이제 AI 그림 생성을 할 준비가 완료되었습니다. 위 그림의 상세 페이지에서 확인할 수 있듯 로라를 발동시키기 위한 트리거워드(Mercedes S-Class, x222, Multicolor)와 로라 가중치(0.5~0.7 weight)를 잘 기억해둔 뒤 WebUI에서 그림을 생성해보도록 하겠습니다.
벤츠 S-Class 그림 생성
앞서 준비한 로라를 불러온 뒤 프롬프트를 작성한 뒤, 드디어 나만의 S-Class를 생성해봅니다. 비교를 위해 로라 미적용 프롬프트와, 로라 적용 프롬프트를 입력하고 각각 4장씩 생성해보았습니다.
✔ Positive Prompt : (best quality:1.6), (realistic:1.6), mercedes s-class, x222, multicolor
✔ Negative Prompt : (worst quality:1.6), (low quality:1.6),
모델은 실사모델로 유명한 henmix(23v)를 사용하였고, hires 없이 일단 테스트해본 결과입니다. 실사 그림을 그리기 위한 준비사항이므로, VAE는 vae-ft-mse-840000-ema-pruned를 사용했습니다. Henmix 실사 모델은 주로 인물 생성에 최적화 된 모델이기에 프롬프트에 의도적으로 인물 관련 태그를 넣지 않았습니다.
생성된 그림에서 알 수 있듯, 로라가 없이 생성한 이미지는 S-class가 아닌 E-class 아방가르드 트림 차량을 주로 보여주는 것 같았습니다. 일반적으로 AI는 차량 실내를 굉장히 못그리는 것으로 정평이 나있는데, 4장 중 1장의 이미지가 이례적으로 꽤 그럴듯한 차량 실내를 표현하고 있어 의외였습니다. 여하간 우리는 S-Class를 그리고 싶지만, AI가 그려낸 차량은 모두 E-Class 였습니다. 물론 배치수를 더 늘려서 수십장 그리다보면 마이바흐 S-class 차량이 나올 수도 있을 테지만, 로라를 사용하면 단번에 S-Class를 그려낼 수 있었습니다.
위 이미지는 앞서 생성된 4장의 S-Class 이미지 중 가장 카달로그에 나올법한 그림인 2번째 그림을 선택해서, 시드를 고정하고, 프롬프트 등 동일 설정에 1.5배 hires로 뽑아낸 이미지입니다.
자세히 살펴보면 약간 찌그러진 번호판, 조금 이상한 운전석, 살짝 디테일이 떨어지는 보닛 위 삼각별 등이 거슬리긴 하지만, 차량 전면 유리 룸미러 위치에 달린 센서들, 세로그릴 한가운데 달린 센서, 마치 달리는 중에 찍힌 사진처럼 살짝 블러처리된 앞쪽 휠 등이 표현된 것을 보면 내심 대단하다 싶기도 합니다.
마무리
본문에서는 스테이블 디퓨젼을 활용해 현실에 실존하는 벤츠 S-Class 차량을 AI 그림으로 간단히 그려보았습니다. 본문에 소개드리지 않은 다양한 기술들을 더하면 사실 더더욱 사실적인 벤츠 S-class 그림을 그리는 것도 그리 어려운 일은 아닙니다.
이번 글에서는 여러 기술 중 특히 Lora를 사용하는 부분에 대해 중점적으로 소개드렸습니다. 사용자가 학습시킨 Lora를 적용하면 이처럼 꽤 디테일한 부분까지 그림으로 그려낼 수 있다는 부분을 확인했는데요, 조금만 더 AI 기술이 발전하고, 대중화된다면 얼마든지 현실과 가상을 구분하기 어려운 수준의 이미지를 만들어낼 수 있을 것으로 예상됩니다.
평소 창의력과 상상력이 풍부한 반면 표현이 어려웠던 분들은 AI 그림을 한 번 도전해보시는 것을 추천드립니다.