작년에 저지른 가장 비싼 AI 실수
AI 창업자, 투자자, 미디어 운영자들이 모인 자리에서 작년에 저지른 가장 큰 실수가 무엇인지 묻는다면, 아마도 잘못된 모델 선택, 너무 이른 출시, 혹은 잘못된 제품 방향 추구 같은 대답을 예상할 것입니다.
하지만 어젯밤 팰로앨토 시내에서 우리가 주최한 제퍼슨식 만찬(Jeffersonian dinner)에서 계속해서 나온 대답은 훨씬 더 현실적인 것이었습니다.
대부분의 팀이 아직 추론 비용(inference spend)을 제대로 관리하지 못하고 있다는 점입니다.
테이블에 앉은 놀라울 정도로 많은 사람이 프로젝트가 이미 라이브 상태가 되어 확장되고, 예상보다 훨씬 많은 컴퓨팅 자원을 소비하고 나서야 비로소 그 비용을 완전히 파악하게 된다고 털어놓았습니다. 특히 미디어와 비디오 분야의 생성형 AI에서는 비용이 조용히 증가하다가 나중에는 무시할 수 없는 수준이 되곤 합니다.
한때 엔지니어링 문제였던 것이 빠르게 비즈니스 문제로 변하고 있습니다.
이 토론은 Atlas Cloud와 ByteDance가 Saint Michael’s Alley에서 주최한 초청 전용 제퍼슨식 만찬에서 비롯되었습니다.
형식은 의도적으로 간단하게 구성했습니다.
발표도 없습니다.
영업용 자료도 없습니다.
패널 토론도 없습니다.
오직 긴 테이블 하나와 AI의 향방을 가늠하려는 창업자, 투자자, 개발자, 미디어 전문가들이 함께 나누는 대화뿐이었습니다.
아이스브레이킹
밤의 시작을 알리기 위해 모두가 같은 질문에 답했습니다.
“오늘날의 AI 산업을 한 단어로 표현한다면 무엇입니까?”
이것은 저녁 시간을 시작하는 완벽한 방법이었습니다.
사람들은 다듬어진 의견이나 준비된 답변이 필요 없었습니다. 그저 단어 하나를 고르고 그 이유를 설명했을 뿐입니다. 거의 즉시 테이블의 분위기가 바뀌었습니다. 토론은 일반적인 컨퍼런스 대화보다 훨씬 솔직하고 실용적이며 현실적인 기반 위에서 이루어졌습니다.
어느 순간에는 기대감과 신중함 사이의 간극이 느껴지기도 했습니다. 일부 참석자는 혁신의 속도에 대해 이야기했고, 다른 이들은 그 이면에 숨겨진 인프라 비용을 조용히 고민하고 있었습니다.
AI의 실제 비용
또 다른 질문은 그날 밤 가장 뜨거운 토론을 불러일으켰습니다.
“지난해 당신이 저지른 가장 비싼 AI 실수는 무엇입니까?”
답변들은 솔직했습니다.
팀들은 제품이 프로덕션 단계에 도달하기 전까지 AI 비용을 예측하는 데 여전히 어려움을 겪고 있습니다. 많은 이들이 비용을 예측하는 대신 사후 대응에 급급하다는 점을 인정했습니다. 이제 도전 과제는 단순히 AI 제품을 만드는 것이 아닙니다. 대규모 운영이 지속 가능한지 파악하는 것입니다.
생성형 미디어 제품들이 점점 더 컴퓨팅 집약적으로 변함에 따라, 추론 비용을 모니터링하는 것은 모델 품질이나 출력 속도만큼이나 중요해지고 있습니다.
데모에서 프로덕션으로
여러 대화의 중심은 Seedance 2.0과 같은 모델이 AI 생성 콘텐츠와 전통적인 제작 워크플로우 사이의 격차를 얼마나 빠르게 줄이고 있는지에 관한 것이었습니다.
하지만 초점은 화려한 데모에 있지 않았습니다.
진정한 논의는 프로토타입 단계 이후에 어떤 일이 일어나는지에 대한 것이었습니다.
실제 워크로드에서 이러한 시스템은 어떻게 작동하는가?
사용량이 증가함에 따라 지연 시간과 비용은 어떻게 변하는가?
고객이 늘어났을 때 기업은 출력 품질과 경제성 사이에서 어떻게 균형을 잡는가?
테이블에 앉은 많은 사람에게 이제 질문은 AI 생성 미디어가 작동하는지의 여부가 아닙니다. 확실히 작동하기 때문입니다. 이제 남은 과제는 이를 안정적이고 확장 가능하며 재정적으로 지속 가능한 방식으로 운영하는 것입니다.
다음 단계
저녁이 끝날 무렵, 한 가지는 분명했습니다.
AI에 관한 최고의 논의 중 일부는 컨퍼런스 무대나 소셜 미디어 피드에서 일어나지 않습니다. 그런 대화는 실제 무엇이 효과가 있고, 무엇이 실패하고 있으며, 아직 아무도 완전히 해결하지 못한 것이 무엇인지 개발자들이 허심탄회하게 이야기할 수 있는 작은 방에서 이루어집니다.
그것이 바로 이 만찬의 목적입니다.
우리는 생성형 AI, 미디어, 인프라 전반에 걸쳐 사려 깊은 운영자, 투자자, 개발자들을 모으기 위해 매달 이 만찬을 계속 주최할 계획입니다.
목표는 단순합니다. 패널 토론, 피칭, 혹은 과시적인 의견의 압박 없이 AI 업계에서 실제로 무슨 일이 벌어지고 있는지 솔직하게 이야기할 수 있는 공간을 만드는 것입니다.
다음 행사에 대한 업데이트는 LinkedIn의 Atlas Cloud를 팔로우하세요.
