본 글에서는 스테이블 디퓨전의 타일 리샘플 기능에 대해 자세히 살펴보고자 합니다. 사진기가 발명되기 전 인류는 오랜시간 현실을 가장 현실적으로 표현할 수 있는 기술을 갖기 위해 그림실력을 키워왔습니다. 물론 사진기가 발명된 후에도 하이퍼 리얼리즘을 추구하며 극사실적인 사진같은 그림을 그리는 화가들도 존재합니다.
AI 그림도 어쩌면 그 공개 시점부터 짧은 기간 안에 이미 이런 과정을 거쳐온 것일수도 있겠습니다. 2023년 기준으로 굉장히 많은 AI 그림 서비스들이 공개 및 출시되었는데요, 특히 2022년 10월 의도치않게 오픈소스로 대중에게 모두 공개가 되면서 접근성이 좋아진 Stable Diffusion이란 툴의 지난 10개월간 발전 과정을 보면, 정말 인류의 미술사를 단시간에 압축한 것으로 보일법한 방향으로 나날이 새로운 기술이 등장했던 시기였습니다.
처음에는 2D 이미지를 시작으로, 점점 실사 이미지 생성에서도 탁월한 능력을 보이더니, 이후에는 파인튜닝 모델과 부가기능을 통해 디테일이 살아있는 실사이미지까지 생성이 가능한 수준에 이르렀는데요, 본 글에서는 이러한 다양한 사실화 기술 중에서도 특히 간단하고 재미있는 타일 리샘플(Tile Resample)기능에 대해 살펴보고자 합니다.
컨트롤넷 타일 리샘플
타일 리샘플 기능은 스테이블디퓨젼 확장기능인 컨트롤넷(ControlNet)에 포함된 기능 중 하나입니다. 흔히들 스테이블 디퓨젼 생성형 이미지의 경우 컨트롤넷 등장 이전과 이후로 나뉜다 할 만큼, 컨트롤넷은 방대하면서도 굉장한 기능을 제공하고 있는 확장기능인데요, 그 중에서 타일 리샘플(Tile Resample)이란 기능을 활용하면, 이미 존재하는 사진을 비슷한 스타일로 재창조해낼 수 있다는 점이 매력적입니다.
타일 리샘플의 원리
타일 리샘플의 원리를 간결하게 설명드리자면, 사용자가 업로드한 사진을 작은 조각(타일)로 나눈 뒤 각 조각의 이미지를 원본 이미지의 정보를 최대한 보존하면서 디테일을 추가하거나 프롬프트의 내용을 반영하는 방식으로 작업을 한 뒤 나눈 타일을 다시 이어 붙여 결과물을 만들어내는 것입니다. 이 때 사용자는 원본 이미지를 더욱 그대로 살려낼 것인가, 혹은 사용자가 입력한 프롬프트를 더욱 중시할 것인가를 선택할 수 있으며, 사용자의 이런 입력값에 따라 결과물이 조금씩 달라지게 됩니다.
타일 리샘플 적용 방법
타일 리샘플은 기본적으로 컨트롤넷의 기능이기 때문에, 컨트롤넷의 다른 기능(오픈포즈, 뎁스, 캐니, 세그먼트 등)과 마찬가지로 컨트롤넷을 Enable한 상태에서 Processor와 Model을 각각 tile_resemple, control_v11file_sd15_tile(버전에 따라 명칭은 다를 수 있음)를 선택한뒤 세팅값을 입력후 이미지를 생성하면 됩니다. 이때 일반적인 사용자가 신경써야할 세팅 부분은 아래의 Control Mode 부분입니다.
- Balanced : 사용자 프롬프트와 컨트롤넷 타일 기능의 밸런스를 컴퓨터가 알아서 조절
- My prompt is more important : 사용자 프롬프트를 더 많이 반영
- ControlNet is more important : 컨트롤넷 기능을 더 많이 반영(원본그림 유사성이 높아짐)
프롬프트는 따로 반영할 사항이 없다면 퀄리티 태그정도만 적어주셔도 충분합니다. 이미지 전체를 리셈플 할때는 이미지 사이즈를 원본사이즈와 동일하게 하거나, 또는 가로,세로 동일 비율로 입력한 뒤 컨트롤넷 리사이즈 세팅값을 크롭&리사이즈로 선택하는 것이 좋습니다.
타일 리샘플 결과
위 세팅값으로 이미지 전체를 타일 리샘플을 한 결과를 비교해보면 아래와 같습니다.
원본 이미지는 우리결혼했어요 방송의 스틸 컷으로 윤보미씨가 운전면허 시험장에 방문하여 신체검사를 막 통과한 시점인데요, 타일리셈플 결과를 보면, 대략적인 이미지의 구도나 구성등이 동일하게 유지된채로 새로운 그림으로 바뀐 것을 볼 수 있습니다.
생성된 이미지는 자세히보면 사람의 얼굴이나 사물의 디테일이 조금씩 깨진 상태인 것을 볼수 있습니다. 물론 그림 생성 중에 hires를 통해 해상도를 더 높이는 작업을 하면 조금 더 괜찮은 결과물을 얻을 수 있겠지만, 화면상 글자를 인지하지 못한 인공지능이 자막을 마치 흩어진 물건들처럼 표현한 부분이 아쉽습니다.
그렇다면 인페인트 기능을 통해 만약 사진 속 특정 부분만 바꿔본다면 어떻게 될까요? 이번에는 사진 속 윤보미씨를 인페인트+타일리샘플 기술로 가상의 한복(로라 기술 적용)을 입은 여성으로 바꿔보도록 하겠습니다.
이번엔 주변은 건드리지 않고 특정 인물만 리샘플했기 때문에 마치 실제 사진을 그대로 유지한 채로 실감나는 이미지를 만들 수 있었습니다. 사진 속 윤보미씨가 가상의 한복을 입은 AI 인간으로 변신하는데는 30초도 걸리지 않았네요… 물론 디테일한 리터칭을 겸한다면 더더욱 시간이 필요하겠지만 이정도 퀄리티의 결과물을 내는데 수초밖에 걸리지 않는 다는 것은 상당히 고무적인 일이라고 판단됩니다.
맺음말
타일 리셈플 또한 인페인트, 로라 등의 기술과 접목하여 사용하는 경우 정말 일반 사람의 눈에는 구별이 안 갈만큼 사실적인 이미지를 그려낼 수 있습니다. 특히 이미지 및 사진을 업으로 다루고 계신 분들께는 기존의 포토샵, 일러스트 등을 전전하며 일일이 손으로 고쳐야 했던 많은 부분들을 단 몇번의 클릭으로 대체할 수 있다는 점에서 굉장한 매력을 발산하는 기술입니다. 아마도 업계 분들께서는 이 기술을 잘 활용하여 작업시간을 대폭 단축시키는 것은 물론, 추가적인 전문적인 리터칭으로 정말 감쪽같은 사진을 재생산해냄으로써 작업효율을 상당히 올릴 수 있을 것으로 보입니다. 앞으로 정지화면인 사진은 물론, 동영상, 영화 등의 상업에도 활발히 사용될 기술이므로, 본 문의 내용을 통해 간접 경험을 해보셨으면 하는 바람으로 글을 작성해보았습니다.