🚢 AI의 "Just ship it" 문제

"주니어와 미드레벨 직원들은 모두 해고합시다. 이제 우리에겐 AI가 있으니까요!" 과연 AI가 모든 사람의 생산성을 엄청나게 높여주고 있는 걸까요, 아니면 그저 병목 현상을 다른 곳으로 옮기고 있는 걸까요?

실제로 업무를 수행하는 모든 사람은 AI로 인한 성과가 전반적으로 인상적이긴 하지만, 우리가 생각하는 것만큼 엄청나지는 않다는 것을 알고 있습니다.

얼마 전, 저는 Stanford에서 10만 명의 개발자를 대상으로 수행한 "AI는 정말로 개발자 생산성을 향상시키는가?"라는 제목의 영상을 보았습니다.

이 영상은 특히 개발자의 생산성 향상에 대한 실제 수치를 구체적으로 제시하려 시도합니다. 하지만 제품 및 성장 팀을 포함한 다른 직무에도 많은 유사점이 있습니다.

저는 2019년에 Smallpdf에 합류했는데, 당시 우리는 이것저것 시도해보고 되는 것을 찾아내는 데 최고였습니다. 우리는 강력한 엔지니어링과 출시 중심의 사고방식을 가진 20명 정도의 매우 재능 있는 사람들이었습니다.

이러한 방식은 회사를 성공으로 이끌었고, 맹렬한 속도로 성장하게 했습니다. 저는 또한 제 CEO인 Dennis Just가 근무 첫날 저에게 했던 말을 기억합니다.

"우리는 스파게티를 벽에 던져보고 어떤 것이 붙는지 확인하는 데는 정말 능숙하지만, 이제는 거기서 벗어나 성장해야 합니다. 감당할 수 없게 되었고, 결국 성장이 정체될 것입니다."

그의 말이 정말 옳았습니다.

먼저 연구에서 나온 간략한 수치를 살펴보고, 이것이 회사와 제품에 어떤 의미를 가지는지, 그리고 왜 "출시"라는 용어가 오해받고 있는지에 대한 유사점을 살펴보겠습니다.

"코드베이스 크기가 증가할수록 AI로 인한 생산성 이득은 감소한다"

이것은 다른 직무에서도 마찬가지입니다. 의미 없고 "단순한" 잡무는 AI로 크게 개선될 수 있지만, 복잡한 작업은 여전히 AI가 이해할 수 없는 영역으로 남아 고전하고 있습니다.

우리는 단순한 작업에서의 60% 효율성 증가부터 복잡한 작업에서의 5% 증가까지의 범위를 보고 있습니다:

이 수치들은 "상대적으로" 측정이 가능한 분야(엔지니어링)에서의 결과입니다. 제가 우려하는 것은 CEO들이 아무것도 이해하지 못한 채 팟캐스트에서 들은 "엄청난 증가"라는 숫자를 "직원의 절반을 해고해도 되겠다"고 해석하는 전형적인 레밍 같은 행동입니다.

“소프트웨어 엔지니어링에 AI를 사용하면 재작업이 증가한다”

더 많은 결과물을 내고 더 많이 출시하게 됩니다. 하지만 그 모든 것이 유용한 것은 아니며, 쓸모없는 것들 또한 재작업이 필요합니다. 그리고 보통 그 재작업은 AI가 스스로 해결할 수 없는 종류의 것입니다.

이는 특히 여러 시스템이 서로 연동되도록 만들어야 하는 복잡한 시스템 통합의 경우에 해당합니다.

스파게티 효과와 “출시”

시장에서 차지하는 상대적 위치는 상당 부분 경쟁사의 역량에 의해 영향을 받습니다. 그리고 2019년, Smallpdf는 경쟁사들보다 훨씬 앞서 있었습니다. 우리는 우리의 배포 채널(SEO)을 장악했고 하루에도 여러 번 새로운 것들을 출시했습니다.

스파게티를 벽에 던져보고 어떤 것이 붙는지 확인한 후 그것을 반복 개선하는 방식은 우리를 인상적인 숫자와 함께 성공으로 이끌었고, 대부분의 회사와 펀드가 꿈꾸는 규모의 초고속 성장을 이루었습니다.

전성기에는 월간 활성 사용자(MAU) 5천만 명이 우리 서비스를 이용해 여러 가지 작업을 했습니다(약 10개의 제품 및 성장 팀이 담당). 이 트래픽은 우리가 가진 수십 개의 도구로 나뉘었는데, 어떤 기준으로 보아도 인상적인 수치였습니다.

그리고 이것이 제가 그 당시에 다루었던 가장 큰 데이터 스택이었음에도 불구하고, 저는 여전히 규모의 문제에 부딪혔습니다.

• 우리가 가진 그 모든 트래픽에도 불구하고, 팀의 병목 현상은 대부분의 실험에서 통계적 유의성을 기다리는 것이었습니다.
• 검증 없이 수많은 사소한 것들을 출시하는 것은 쓸모없는 것을 개선하려 애쓰는 것과 같습니다. 제품은 끊임없이 변하지만, 반드시 더 나은 방향으로 변하는 것은 아닙니다.
• 회사는 구축할 가치가 있는 크고 좋은 아이디어를 내는 데 어려움을 겪고 있었습니다. PDF 편집 기능을 제품에 추가해야 할까, 아니면 모든 도구를 협업 가능하게 만들어야 할까? 서비스 중단을 줄이기 위해 출시를 덜 해야 할까? 대부분의 도구에서 4년 동안 건드리지 않은 레거시 코드를 재작업해야 할까?

특히 첫 번째 항목은 저에게 놀라웠습니다. 만약 우리가 메인 웹사이트나 가장 눈에 띄는 도구의 문구를 바꾸면, 실험은 몇 시간 안에 통계적으로 유의미해졌습니다.

더 가치 있는 고객을 위한 퍼널 하단부의 복잡한 변경은 어땠을까요? 몇 주, 때로는 몇 달이 걸렸습니다.

정말 지긋지긋했죠.

만약 우리가 AI의 개선 효과와 더 빠른 개발자들을 활용할 수 있었다고 해도, 그 어떤 것도 변하지 않았을 것입니다. 반복적인 개선은 더 빨리 출시할 수 있겠지만, 저는 제 계획이 주어진 주에 팀과 함께 무언가를 개선할 수 있는 시도 횟수에 의해 제약받았다는 것을 분명히 기억합니다.

아직 겪지 않았다면, 당신도 동일한 문제에 부딪히게 될 것입니다. 얼마나 많은 사람에게 도달하는지와는 상관없이 말입니다.

"출시"라는 용어

"Just ship it (그냥 출시해)"은 제가 20여 년 전에 모셨던 한 관리자가 입에 달고 살던 말이었습니다. 그 말은 저를 끝없이 짜증나게 했습니다. 그는 모든 사람이 느리고 자신의 위대한 아이디어를 따라오지 못한다고 느꼈기 때문에 끊임없이 그 말을 했습니다.

그가 왜 그렇게 말했는지에 대해 어느 정도 공감하게 되었지만(그는 자신이 최고의 아이디어를 가지고 있다고 확신했습니다), 이는 전형적인 관리 문제를 잘 보여줍니다. 관리자들(특히 영업 중심의 관리자들)은 "출시"가 무엇을 의미하는지 이해하지 못하고, 보통 그것의 핵심 부분을 잊어버립니다.

• 아이디어 구상(Ideation): 아이디어가 있다.
• 개발(Development): 아이디어를 구현한다.
• 검증(Validation): 아이디어가 실제로 의도한 효과를 내는지 검증한다.

네, Lovable 등과 같은 '느낌으로 코딩하는(vibe coding)' 도구들이 더 빠른 출시에 도움을 주긴 하지만, 이는 아이디어가 "개발" 단계에서 어려움을 겪고, "아이디어 구상"과 "검증"이 필요 없는 경우에만 해당됩니다.

• AI는 가장 명백한 것들을 제외하고는 더 나은 아이디어를 내는 데 도움이 되지 않습니다. 다만 피드백을 처리하는 데는 어느 정도 도움이 될 수 있습니다.
• AI는 대규모 검증을 더 빠르게 하는 데 도움을 줄 수 없습니다. 검증은 결과를 얼마나 빨리 "읽는지"가 아니라, 테스트할 사용자가 얼마나 많은지에 달려 있습니다.

이제, 당신은 이렇게 정당하게 지적하는 관리자일 수 있습니다.

"네, 하지만 Leah, 우리는 무엇을 만들어야 할지 알고 있고, 그 아이디어들이 효과가 있는지는 매출 수치를 보면 알 수 있습니다. 분석 데이터는 필요 없어요."

이는 맞는 말이지만, 구축하고 개선해야 할 명백한 것들이 많이 남아있는 아주 작은 회사에만 해당됩니다.
규모가 커지면 이 방식은 더 이상 통하지 않습니다. 왜냐하면 좋은 아이디어라 할지라도 5% 정도의 상승 효과만 줄 수 있는데, 이는 일반적인 영업 파이프라인에서는 감지할 수 없기 때문입니다.

당신은 하나의 제품을 가지고 있고, 우리는 좋은 의도에도 불구하고 75%의 아이디어가 의미 있는 영향을 주지 못한다는 것을 알고 있습니다. 심지어는 전체 제품과 고객 경험에 부정적인 영향을 미칠 수도 있습니다.

검증 단계를 건너뜀으로써, 당신은 말 그대로 회사를 사업 중단으로 몰아갈 수 있습니다.

결론

만약 AI가 더 작은 변경 사항들의 처리를 용이하게 한다면, 이것들은 더 이상 병목 현상이 아닐 것입니다.

남게 되는 것은 복잡한 문제들과 검증입니다. AI가 거의 도움을 줄 수 없는 문제들이죠.

상업적으로 실행 가능한 기술 및 소프트웨어 제품을 만드는 것은 언제나 어려울 것이며, 중요한 아이디어와 그것을 어떻게 배포하는가의 문제에 더 가깝습니다.

만약 그렇지 않다면, 그것은 복제될 것이고 당신은 상품화된 제품들의 홍수 속에서 익사하게 되어 더 이상 돈을 받을 수 없게 될 것입니다.

네, 당연히 AI를 업무 흐름에 통합하는 방법을 생각해야 하고, 조직이 그것을 활용할 수 있도록 해야 합니다. 하지만 그것 때문에 예산을 대폭 삭감하는 것에 대해서는 진정할 필요가 있습니다.

AI는 훌륭하지만, 다른 모든 것을 잊어버릴 만큼 엄청나지는 않습니다.

고객과 대화하고 올바른 시장을 위해 "올바른" 것을 만드는 것이 여전히 왕입니다. 지금까지 AI는 이 중 어떤 것도 실질적으로 개선하거나 쓸모없게 만들지 못했습니다.

AI’s “Just Ship it.” problem

Throwing spagetthi at the wall faster doesn’t make your wall or audience bigger.

Leah’s ProducTeaLeah Tharin