🎨 크리에이티브 AI 툴의 창의성은 어디에 있는가?

아티스트들과 이야기하다 보면 '과정(process)'과 '컨트롤(control)'이라는 두 단어가 반복해서 나옵니다. 그들은 예술을 반복적인 과정의 결과물로 보며, 그 과정 속에서 자신의 매체를 제어하여 보고 느끼는 것을 표현합니다. 걸작을 만드는 것만큼이나 매체에 숙달하는 것이 중요합니다.

하지만 AI 엔지니어들은 다른 어휘를 사용합니다. 그들이 선호하는 용어는 '자동화(automation)'와 '생성(generation)'입니다. 그들에게 LLM은 텍스트를 입력받아 거의 즉시 예술을 반환하는 도구입니다. 과정은 중요하지 않습니다. 가장 중요한 것은 결과물의 외견상 품질과 그것이 구현되는 속도입니다.

이러한 이유로 대부분의 생성형 미디어 툴은 비슷하게 작동합니다. 텍스트 프롬프트를 받아 완성된 결과물을 출력합니다. 처음 사용할 때는 마법처럼 느껴질 수 있습니다. 하지만 계속 사용하다 보면 그 마법은 사라집니다.

그 마법을 계속 유지하려면, 크리에이티브 툴은 창작 과정 자체와 조화를 이루어야 합니다. 즉, 아티스트의 상상력을 확장하고, 반복적인 작업만 자동화하며, 매체의 경계에서 탐험을 가능하게 하고, 아티스트가 컨트롤을 포기하도록 강요하지 않으면서 표현력을 높여야 합니다.

Creative AI는 우리에게 '사진의 등장'과 같은 순간입니다

새로운 매체가 아티스트의 창작 과정에 도전한 것은 이번이 처음이 아닙니다.

많은 사람들이 저에 대해 아는 한 가지는 제가 그림 보는 것을 정말 좋아하고, 그림에 대한 글을 읽는 것은 훨씬 더 좋아한다는 것입니다. 저는 미술사를 부전공하며 Abstract Expressionism(추상표현주의)과 Russian Constructivism(러시아 구성주의)에 집중했습니다. 이 두 운동은 모두 새로운 기술에 대한 반응으로 볼 수 있습니다. 그 이후로 저는 기술이 어떻게 아티스트를 자극하고 표현의 가능성을 확장하거나 제약하는지를 포함하여 예술과 그 수단 사이의 관계에 몰두해 왔습니다.

19세기에 사진 기술이 등장하여 진실을 약속했습니다. 기계가 만든 이미지가 놀라울 정도로 정확하게 세상을 포착할 수 있었던 것입니다. 1839년의 선명한 다게레오타입부터 1930년대의 거친 사회 다큐멘터리에 이르기까지, 사진은 빠르게 증인이자 기록으로서의 위치를 확립했습니다. 제2차 세계대전이 끝날 무렵, 사진은 신문, 잡지, 아카이브를 통해 사람들이 세상을 마주하는 지배적인 방식이 되었고, 카메라의 시선은 현대적 경험의 중심에 자리 잡았습니다.

하지만 New York에서는 한 무리의 화가들이 사진이 제공할 수 없는 무언가를 찾기 시작했습니다. Abstract Expressionism은 사진의 부상에 대한 반응으로 볼 수 있습니다. 회화는 더 이상 현실을 포착하는 최고의 매체가 아니었으므로, 아티스트들은 자신들의 매체(캔버스)와 그 가능성을 재고해야 했습니다. 그들은 회화 예술이 더 이상 보이는 세계를 재현하는 척해서는 안 되며, 평평한 표면, 색, 물감과 같은 고유의 재료(그리고 그 한계)를 강조해야 한다고 믿었습니다.

그러나 Abstract Expressionism 작가들이 실제로 사진을 거부한 것은 아닙니다. 많은 이들이 사진을 시각적 참고 자료로 사용하여, 알아볼 수 있는 주제와 분리된 구도, 질감 또는 형태를 실험했습니다. 선, 모양 또는 세부 사항을 분리하여 그림을 그릴 때 더욱 추상화하는 데 사용한 것입니다. 사진은 그들의 반복적인 과정의 일부가 되었습니다.

“그림은 경험의 사진이 아니라, 경험 그 자체이다.” - Mark Rothko

20세기 초, 러시아는 기술 변혁의 물결에 휩싸였습니다. 급속한 기계화는 건축에 강철 거더, 철근 콘크리트, 넓은 유리창을 가져왔고, 전력의 확산은 도시와 공장을 모두 밝혔습니다. 고속 윤전기는 포스터, 저널, 신문을 전례 없는 규모로 찍어낼 수 있게 했으며, 전신선과 라디오 방송은 광대한 영토를 가로질러 정보를 즉시 전송하며 거리를 좁혔습니다. 이러한 혁신은 일상생활을 현대화했을 뿐만 아니라, 속도, 연결성, 산업 생산의 순수한 힘에 대한 문화적 매력을 키웠습니다.

이러한 맥락에서 Russian Constructivism 작가들은 기술 혁신을 유난히 직접적으로 받아들였습니다. 그들은 산업 생산에서 발견되는 재료(예: 금속, 유리, 콘크리트, 목재)와 방법(예: 구성, 조립, 기능성의 원리)을 채택했습니다. 그들은 기술 프로세스의 논리와 질서를 모방한 기하학적 추상화와 명확하고 구조적인 디자인에 집중했습니다.

Abstract Expressionism과 Russian Constructivism 작가들은 기술 변화에 대해 매우 다른 반응을 보였습니다. 그럼에도 불구하고 두 운동 모두 기술에 강하게 반응했으며, 예술적 결과물뿐만 아니라 예술을 만드는 방식, 즉 예술적 과정까지 극적으로 변화시켰습니다.

오늘날, 인간이 할 수 있었던 것보다 더 빠르고 더 큰 규모로 사진, 비디오, 음악을 생성할 수 있는 새로운 AI 모델이 등장했습니다. 하지만 이러한 기술을 개발하는 대부분의 회사는 더 나은 예술적 결과물을 더 빨리 생산하는 모델을 훈련시키는 데에만 집중하고 있습니다. 그들은 아티스트가 반응하도록 내버려 두지 않습니다. 즉, AI를 도구로 사용하여 매체의 한계를 포용하는 예술을 만들거나, 여전히 인간의 개입이 필요하지만 이전과는 근본적으로 다른 예술을 창조하기 위해 AI를 활용하는 기회를 주지 않는 것입니다. 너무나 많은 회사들이 무엇이 창작 과정을 인간에게 의미 있게 만드는지 묻는 것을 잊어버렸습니다.

오늘날 대부분의 GenAI 툴은 창작 과정에 맞지 않습니다

저는 크리에이티브 AI 툴에서 일관된 패턴을 관찰했습니다. 새로운 생성형 AI 툴이 간단한 워크플로우로 출시됩니다. 텍스트 프롬프트를 입력하고, 1분 정도 기다리면 이미지, 노래 또는 비디오를 받습니다. 즉각적인 도파민이 분출됩니다. '마가리타를 마시는 선인장'과 같은 것을 상상하면 갑자기 화면에 나타납니다. 이 툴들은 대중을 위해 창작을 민주화하고 놀랍도록 높은 품질의 결과물을 생산함으로써 폭발적인 초기 성장을 보입니다.

하지만 그 후 마법이 풀리기 시작합니다. 초기 경외감은 조용한 환멸로 바뀝니다. Midjourney나 Suno 같은 툴은 기술적으로는 눈에 띄게 세련된 이미지와 음악을 만들어내지만, 모든 것이 텍스트 상자를 통해 이루어지면 예술을 만드는 것이 공허하게 느껴지기 시작합니다. 한 음악가는 트랙을 생성하고 "드럼은 훌륭하지만 분위기가 너무 팝스러워. 좀 더 클래식 록에 가깝게 하고 싶어"라고 생각할 수 있습니다. 기존 툴로는 작품을 다듬을 방법이 없습니다. 그저 프롬프트를 수정하고 좋은 부분이 살아남기를 바라는 따분한 의식을 반복할 뿐입니다.

이것은 창의성이 작동하는 방식이 아닙니다. 실제 창작 과정은 비선형적이며, 수정과 번복을 통해 진행됩니다. 멜로디로 시작했다가 키를 바꾸고, 이제 베이스라인이 어색하게 느껴져 그것을 바꾸고, 다시 원래 멜로디를 다듬기 위해 돌아갈 수 있습니다. 이 과정은 창작자와 매체 사이의 대화, 즉 변증법적 과정이지 일회성 거래가 아닙니다. 오늘날의 크리에이티브 AI 툴은 그 과정을 평탄하게 만듭니다. 이는 마치 밴드가 첫 연주가 완벽하지 않다는 이유로 노래 전체를 버리는 것과 같습니다. 예술에 생명을 불어넣는 반복과 조정을 거치지 않는 것입니다.

또한, 창작자들은 종종 매체의 한계를 탐색하고 이에 맞서면서 영감을 얻지만, 오늘날의 AI 툴은 이러한 종류의 참여를 막습니다. 아티스트가 반응하고, 다듬고, 재해석하도록 초대하는 대신, 그저 리셋하고 다시 시작하라고만 합니다. 2000년대에 Mario Klingemann과 같은 아티스트들은 GAN의 환각(hallucination)을 받아들이며, 그것이 "놀라움과 뜻밖의 발견을 생성하는 능력"을 칭찬했습니다. "[...] 특정 재주를 수행하도록 훈련시킬 수는 있지만, 그것들은 여전히 자신의 의지를 가진 것처럼 보이며 항상 지시를 문자 그대로 따르지는 않습니다." 그 예측 불가능성과 저항감은 제거해야 할 결함으로 취급되는 대신 새로운 예술적 방향을 촉발시켰습니다.

주제적으로 볼 때, 문제는 기계의 무능함이 아니라 무관심입니다. GenAI 툴은 저작 행위를 흉내 내는 듯하지만, 지속적인 제작 행위를 제거해 버립니다.

반면, 아티스트들은 창작이 단지 완성된 결과물에 관한 것이 아님을 압니다. 그것은 형태를 만드는 손, 투자된 노력, 그리고 내면의 감정을 형태로 전환하는 것에 관한 것입니다.

컨트롤 기능 구축의 기술적 과제

오늘날 대부분의 크리에이티브 AI 툴이 창의적 컨트롤을 제공하지 않는 데에는 이유가 있습니다. 생성형 AI 툴에 창의적 컨트롤을 내장하는 과제는 단지 철학적인 것이 아니라 매우 기술적인 문제입니다. 창의적 컨트롤 구현을 어렵게 만드는 두 가지 주요 장애물이 있습니다.

첫 번째는 개별 요소에 대한 세분화된 컨트롤입니다. Adirondack 의자가 있는 집 이미지를 생성한 후, 다른 모든 것을 그대로 둔 채 의자만 흔들의자로 바꾸고 싶다고 가정해 봅시다. 이는 놀라울 정도로 간단하지 않은 일입니다. 대부분의 확산 모델(diffusion model)은 추가적인 아키텍처나 조건부 메커니즘 없이는 본질적으로 정확한 공간적 이해나 의미적 분해를 제공하지 않습니다. 장면을 편집 가능한 개별 객체로 자연스럽게 분할하지 못합니다.

주요 원인 중 하나는 데이터 자체에 있습니다. 우리는 이러한 종류의 정밀한 편집을 지원할 적절한 데이터셋이 부족한 경우가 많습니다. 대부분의 훈련 데이터는 모델이 픽셀을 의미 요소에 매핑하는 데 도움이 될 수 있는 세분화된 객체 수준의 주석이 아니라, 전체적인 캡션이 달린 전체 이미지로 주로 구성됩니다. 일부 분할 데이터셋이 존재하지만, 규모가 훨씬 작고 대규모 확산 모델 훈련의 주요 동인이 아닙니다. 또한, 이러한 모델이 학습한 잠재적 표현(latent representation)은 종종 얽혀있어서, 한 가지 측면(예: 의자 종류)을 변경하면 보통 인접 영역이나 전역 이미지 속성에 영향을 미칩니다.

두 번째 과제는 진정한 반복 작업을 가능하게 하는 것입니다. 대부분의 생성형 AI 시스템은 재성성(regeneration)을 중심으로 구축되어, 각 변경마다 새로운 프롬프트로 다시 시작해야 합니다. 실제 창작 작업을 정의하는 단계별 편집을 지원하지 않습니다. 전통적인 툴에서는 점진적으로 구축할 수 있습니다. 레이어를 수정하고, 파라미터를 조정하고, 실행 취소하고, 다시 실행할 수 있습니다. 반면, 오늘날의 모델은 일반적으로 반복적인 조작을 위해 설계되지 않은 압축된 잠재 공간(latent space)에서 작동합니다. 매력적인 결과물을 생성할 수는 있지만, 결정을 재검토하고 다듬는 데 필요한 중간 구조를 보존하지 못합니다.

그 결과, 창작 과정의 핵심이라 할 수 있는 반복 작업이 여전히 서툴고 간접적입니다. 아티스트들이 보통 부분별로 구성하는 것(예: 배경을 추가하기 전에 주제를 그리고, 화음을 쌓기 전에 멜로디를 쓰는 것)과 달리, AI 툴은 그러한 점진적인 구성을 거의 허용하지 않습니다. 개념의 조합을 구성하도록 하는 것은 어렵고, 너무 자주 시스템은 별개의 요소들을 함께 섞어버리는 결과를 낳습니다.

이것을 더욱 복잡하게 만드는 것은 사람들이 완전한 컨트롤을 원하지 않는다는 점입니다. 그들은 어느 정도의 자동화와 놀라움을 경험할 기회를 원합니다. 이는 모델 아키텍처에 근본적인 긴장감을 만듭니다. 어떻게 제어 가능성을 유지하면서 다양한 생성을 달성할 수 있을까요? 기술적으로, 다양성과 컨트롤은 종종 서로 상충합니다. 창의적인 변형을 생성하는 고엔트로피 샘플링 방법은 세분화된 컨트롤을 불안정하게 만들 수 있습니다. 제약을 강제하는 결정론적 유도 기술은 결과 분포를 예측 가능한 결과로 축소시킬 수 있습니다. 최고의 창의적 파트너십은 AI가 새로운 방향을 제시하면서도 창작자가 자신의 비전에 따라 과정을 조종할 수 있을 때 발생하지만, 이를 위해서는 모델이 학습된 패턴의 활용과 새로운 조합의 탐색 사이에서 동적으로 균형을 맞출 수 있어야 합니다. 오늘날 대부분의 아키텍처는 이 능력을 제공하는 데 어려움을 겪고 있습니다.

이러한 긴장감은 흥미로운 디자인 과제를 만듭니다. 크리에이티브 툴을 만드는 사람들은 자동화, 놀라움, 그리고 창의적 컨트롤을 어떻게 조화시킬지 알아내야 합니다. 자동화가 너무 많으면 창작자를 작업에서 단절시켜 창작을 소비로 전락시킵니다. 너무 적으면 AI를 가치 있게 만드는 효율성 이점을 잃습니다. 예측 가능성이 너무 높으면 예술을 앞으로 나아가게 하는 뜻밖의 발견, 즉 우연성을 억제합니다. 예측 가능성이 너무 적으면 툴을 사용하기 불가능하게 만듭니다.

많은 AI 툴 개발자들이 이 점을 간과합니다. 그들은 결과물에 너무 집착한 나머지, 모델이 더 정확해지기만 하면 인간 개입의 필요성이 사라질 것이라고 가정합니다. 그러나 이것은 창의적 충동에 대한 심오한 오독입니다. 소위 '완벽한' 결과물이 있다 하더라도, 그것을 다듬고 작품에 자신의 흔적을 남기려는 본능은 여전히 존재할 것입니다. 컨트롤에 대한 욕구는 매우 인간적입니다. 비합리적일 수 있지만, 피할 수 없습니다. 그것이 바로 예술이 세워지는 기반입니다.

우리 포트폴리오에서 얻은 교훈

2019년 Runway의 시드 투자를 주도했을 때, 사용자들의 피드백은 놀라울 정도로 일관적이었습니다. 그들은 어느 정도의 자동화와 즐겁게 사용할 수 있는 툴을 원했습니다. 인프라와 씨름하고 싶어 하지 않았습니다. 하지만 무엇보다도 그들은 컨트롤을 요구했습니다. 결과물의 품질은 덜 중요했습니다. 많은 사람들은 당시 Runway가 사용했던 GAN의 기묘한 환각에 매료되기까지 했습니다. 그들은 단순히 결과물을 받는 것이 아니라, 과정을 안내하고 다듬으며 작품을 만들어가고 있다는 느낌을 중요하게 생각했습니다.

1년 후인 2020년, 저는 크리에이티브 기술 전문가이자 초기 Runway 사용자인 Bram Adams와 AI 툴에 대해 이야기했습니다. 그는 그 경험을 피자 만들기에 비유했습니다. 냉동 피자를 원하지는 않지만, 오븐을 처음부터 만들고 싶지도 않다는 것입니다. 진정한 만족감은 반죽을 만지고, 토핑을 선택하고, 판단력을 발휘하고, 맛을 보는 데서 온다고 했습니다. Adams는 Runway 사용자들이 표현했던 것과 같은 것을 이해했습니다. 창작은 결과물만으로 유지되는 것이 아니라, 노력과 컨트롤, 자동화와 저작 행위 사이의 상호작용에 의해 유지된다는 것을요.

최근에 저는 Runway의 CEO인 Cris에게 무엇이 가장 놀라웠는지 물었습니다. 그는 어떤 사람들은 다른 사람을 위한 작품을 만들기 위해 Runway를 사용하는 것이 아니라, 단순히 놀기 위해 사용한다고 말했습니다. 그 차이는 의미심장합니다. 프롬프트를 입력하고, 결과물을 얻고, 그 주기를 반복하는 것은 창작이 아니라 소비입니다. 예술 창작을 매력적으로 만드는 것은 진행하면서 형태를 다듬고, 아이디어를 시험해보고, 자동화와 놀라움의 균형을 맞추어 그 과정이 자신의 것처럼 느껴지게 하는 능력입니다.

저는 최근 전문가를 위한 생성형 음악 툴을 개발하는 회사에 투자하면서 이 점을 다시 한번 떠올렸습니다. 저는 창업자에게 소비자 중심의 음악 애플리케이션 제작자들이 종종 무엇을 파악하지 못한다고 생각하는지 물었습니다. 그는 주저 없이 대답했습니다. "음악 창작은 마찰이 있고 촉각적이어야 합니다." Runway의 창업자들처럼, 그도 창의적 노력이 제거되면 가치도 제거된다는 것을 이해했습니다. 예술은 아티스트가 툴에 맞서 싸워야 할 때, 그리고 그 과정이 판단력, 끈기, 취향을 요구할 때 향상됩니다.

새로운 형태의 창의적 표현을 열다

차세대 크리에이티브 AI 툴은 결과물의 표면적인 품질이 아니라, 그것이 가능하게 하는 창의적 실천의 종류로 평가받을 것입니다. 이를 달성하기 위해서는 데이터 수집 및 합성 방식, 모델 아키텍처 설계 방식, 아티스트가 모델 및 툴과 상호 작용하는 방식 등 근본적인 것들을 재고해야 합니다. 성공하는 회사들은 단순히 최첨단 모델과 더 효율적인 툴을 제공하는 데 그치지 않고, 새로운 표현 방식을 위한 공간을 열어줄 것입니다.

문화적 변화는 항상 형식의 변화에서 비롯되었습니다. 사진은 회화가 충실한 재현을 넘어서도록 강요했습니다. 콜라주는 한 걸음 더 나아가 화면을 조각으로 나누고, 예술이 단일하고 통일된 관점이 아닌 병치로부터 구축될 수 있음을 보여주었습니다. 마찬가지로, 다가올 10년의 가장 주목할 만한 창의적 작업은 인간의 창의성과 AI 능력 사이의 긴장감 속에서 나타날 가능성이 높습니다. 아티스트가 단순히 AI를 사용하는 것이 아니라, AI와 함께 작곡(compose)할 때 말입니다.

Where’s the creativity in creative AI tools? | Amplify Partners

Most creative AI tools today don’t match the natural creative process, focusing too much on automation and generation and not enough on iteration.

Amplify PartnersSarah Catanzaro