AI에게 붓을 쥐어주고 자기 그림을 보게 만들면 어떨까

Midjourney나 Stable Diffusion이 뽑아내는 이미지는 경이롭지만, 만드는 과정은 늘 단조롭다고 느꼈습니다. 프롬프트 하나 넣고 엔터를 치면 노이즈 덩어리에서 단 몇 초 만에 100% 완성된 픽셀이 튀어나옵니다.

하지만 사람이 그림을 그리는 과정은 전혀 다릅니다.

선을 몇 개 긋고, 고개를 뒤로 빼서 캔버스를 바라보고, "눈 위치가 좀 이상한데" 싶으면 그 위에 덧칠하거나 다음 획의 위치를 조정합니다. 그림을 그리는 행위의 본질은 결과물이 아니라 '긋고, 보고, 판단하고, 다시 긋는' 피드백 루프에 있습니다.

그렇다면 비전(Vision)과 툴 콜링(Tool Calling)이 되는 LLM에게 빈 캔버스를 주고, 자기가 방금 그은 그림을 보면서 다음 획을 결정하게 하면 어떻게 될까 궁금해졌습니다.

Stable Diffusion은 노이즈를 이미지로 변환하지만, AIDRAW는 캔버스를 보고 다음 스트로크를 결정하는 과정을 반복합니다.

구현: 5턴의 관찰 루프

구조는 단순하게 짰습니다.

1. 모델에게 캔버스에 선을 긋는 도구 add_strokes(x1, y1, x2, y2, color, size, curve)를 제공합니다.
2. 모델이 첫 번째 스트로크 묶음을 출력합니다.
3. 512×512 백엔드 캔버스에 해당 벡터를 렌더링하고 스크린샷을 캡처합니다.
4. 방금 캡처한 이미지를 모델의 대화 컨텍스트에 Vision 이미지로 다시 입력합니다.
5. "방금 그린 상태입니다. 부족한 부분을 채우거나 디테일을 더하세요." 메시지와 함께 위 과정을 5회 반복합니다.

즉, 모델은 매 턴마다 자신이 직전까지 그려둔 캔버스의 현재 상태를 눈으로 직접 확인한 뒤 다음 획을 어디에 그을지 고민하게 됩니다.

솔직한 결과: 삐뚤빼뚤한 낙서

처음 돌려봤을 땐 솔직히 헛웃음이 나왔습니다.

Claude에게 고양이를 그리라고 했더니 고양이라기보단 털 뭉치에 가까운 형체가 나왔고, GPT가 그린 풍경화는 현대 미술관에 걸려야 할 것 같은 난해한 추상화였습니다. 좌표 계산 감각(Spatial awareness)이 아직 인간의 손놀림을 따라오지 못하다 보니 선들이 허공에서 엇갈리기 일쑤였습니다.

하지만 로그와 턴별 스크린샷을 자세히 뜯어보면서 꽤 흥미로운 점을 발견했습니다.

1. 레이어의 개념: 1턴에서는 대략적인 외곽선이나 큰 덩어리를 잡고, 3~4턴에 들어서면 그 안쪽에 눈코입이나 명암을 채워 넣으려고 시도합니다.
2. 시각적 반응: 이전에 그어둔 선의 위치를 인식하고 그 끝에 이어서 다음 선을 붙이려는 의도가 좌표 데이터에 고스란히 드러납니다.

비록 손가락(좌표 출력 정밀도)이 뇌(시각적 이해)를 못 따라가서 서투를 뿐, '보고 그리는 행위'의 메커니즘 자체는 확실하게 작동하고 있었습니다.

왜 이 방식이 재밌는가

Diffusion 모델은 가중치가 고정되면 생성 메커니즘 자체가 변하지 않습니다.

반면 이 캔버스 루프 방식은 LLM의 시각적 추론과 공간 지각 능력이 발전함에 따라 결과물이 정비례해서 좋아집니다. 백엔드 코드나 렌더러를 단 한 줄도 고치지 않아도, 내년에 더 똑똑한 멀티모달 모델이 나오면 그 모델이 들어오는 즉시 그림의 디테일과 구도가 알아서 정교해집니다.

지금의 엉성함은 방식의 한계가 아니라 순수하게 현재 모델들의 공간 좌표 추론 한계선인 셈입니다.

지금의 AIDRAW

매일 같은 주제(프롬프트)를 하나 던져두고, Claude, GPT, Gemini 세 모델이 각자의 5턴 루프로 그림을 그리게 한 뒤 사람들의 블라인드 투표를 받는 작은 실험실을 열어두었습니다.

완벽한 일러스트는 아니지만, AI들이 캔버스 위에서 쩔쩔매며 한 획씩 덧그리는 과정을 보는 맛이 있습니다.

AI들의 턴별 실시간 드로잉 획(Stroke) 애니메이션 GIF

1. "Octopus playing the drums" (드럼 치는 문어)

Claude (Sonnet 4.6)	Gemini (3 Flash)	GPT (5.4-mini)

2. "Pancake stack skyscraper city" (팬케이크 빌딩 도시)

Claude (Sonnet 4.6)	Gemini (3 Flash)	GPT (5.4-mini)

**https://aidraw.lim.sh**에서 더 많은 갤러리와 실시간 턴별 드로잉 과정을 직접 플레이어(Canvas Player)로 확인해보실 수 있습니다.