"우리는 아직 (AI의) 최종 단계나 포화점에 근접하지도 않았다”

We’re not even close to the final stage or saturation point.”

-크리스토발 발렌수엘라(Cristóbal Valenzuela), 런웨이(Runway)의 공동 창립자 겸 CEO

-Cristóbal Valenzuela, co-founder and CEO, Runway

2024년은 비디오 생성AI 모델에게는 기념비적인 해였다. 엄청난 이미지, 텍스트, 비디오 등을 통한 비디오 생성 AI모델이 대거 쏟아졌기 때문이다. 구글 딥마인드 베오2(Veo 2), 피카 2.0(Pika 2.0), 루마 AI의 레이2(Ray2), 오픈AI(OpenAI)의 소라(Sora) 등 주요 AI 솔루션들이 모두 업데이트됐다.

엄청난(?) 기술적인 진보를 이룬 AI기업들은 자신감있게 할리우드 스튜디오 자신들의 AI를 적극 피칭하고 있다. 이제 제작 현장에도 어느 정도 안전하게 비디오 생성AI를 쓸 수 있다는 것이다.  할리우드 스튜디오들도 AI비디오 생성 기술이 아주 크게 발전했다는데 동의하고 있다. 하지만, 여전히 의문부호 투성이다.

특히, 이러한 모델이 영화 및 TV 콘텐츠 제작에 효과적으로 사용될 수 있는지 여부에 대해선 의심의 눈초리를 거두지 않고 있다.

이와 관련 최근 버라이어티는 비디오 생성AI의 미래 전망과 현재 출시된 솔루션들의 성능, 스튜디오 종사들의 평가, AI프로덕션 분석 등을 시도했다. 이 글은 버라이어티 기사를 중심으로 설명을 더해 작성했다.

try_again_later (1080p).mp4

Google Docs

The year 2024 was a monumental year for video-generating AI models, as we saw a huge influx of video-generating AI models from images, text, video, and more. Major AI solutions such as Google DeepMind's Veo 2, Pika 2.0, Luma AI's Ray2, and OpenAI's Sora were all updated.

With so many technological advances, AI companies are confidently pitching their AI to Hollywood studios.

This means that video creation AI can now be used on set with some degree of safety.  Hollywood studios agree that AI video creation technology has come a long way. However, it's still fraught with questions.

Specifically, whether these models can be used effectively to create movie and TV content.

In a recent article, Variety explored the future of video creation AI, how current solutions perform, what studios are saying about them, and analyzing AI production. This post is adapted from the Variety article with some commentary.

( 비디오 생성 AI 리스트(Video AI 2025/0122)

할리우드 스튜디오 ‘베오에 대한 높은 평가

오픈AI의 소라(Sora), 런웨이의 젠(Gen) 등이 비디오 생성AI 시장을 열었지만 현장의 평가는 구글의 베오(Veo)에 더 높은 점수를 줬다. 베오의 전문가 대상 클로즈 베타 테스트 참여했던 영화 제작자들은 ‘딥마인드가 다른 비디오 생성 모델에 비해 의미 있는 도약을 이루었다’고 평가했다. 상당수는 소라보다 훨씬 뛰어나다고 분석했다.

오픈AI(Open AI) 소라(Sora) 제품 책임자 로한 사하이는 버라이어티와 인터뷰에서 “우리는 아직 좋은 모델이 무엇인지 파악하는 초기 단계에 있다”며 “각 제품마다 영역별 점수가 다르다.

K엔터테크허브는 CES2025에서 전시되고 전망됐던 엔터테인먼트 테크로서의 AI를 담은 보고서(CES2025 AI 엔터테크)를 발간했다. 국내 유일의 엔터테크 미디어 CES 리포트다. 유료 회원은 3만원의 가격에 받아볼 수 있다. (회원  가입으로 인한 프리미엄 기사도 볼 수 있습니다)

엔터테인먼트와 생성AI, AI와 할리우드, 비디오 생성 AI의 특징 및 전망 등의 내용이 담겼다. K엔터테크허브의 보고서의 특징은 살아있다는 것이다.

최근 데이터를 반영했고  버전1을 구입한 분들은 최소 3번 이상의 업데이터 버전을 다시 받아볼 수 있다. CES 2025 보고서도 2월 초까지 두 번 이상 업데이트 된다. 이 글의 내용도  CES 보고서에 담겼다.

[보고서]CES2025와 미디어, 엔터테인먼트 테크

국내 유일에 CE2025와 엔터테크 보고서, AI가 할리우드에 침투하고 있는 현장에서부터 넷플릭스가 CES에서 개최한 광고주 설명회까지 정리

K EnterTech HubJung Han

하지만 이를 실제로 측정하는 방법은 현재로서는 과학적이지 않다. 사용자 선호도만 평가할 수 있을 뿐”이라고 말했다. 그러나 그는 “ 더 큰 그림에서 보면, 비디오 생성 모델의 발전 속도를 고려할 때 한계를 지적하기 보다 발전 궤적을 관찰해야 한다고 주장했다.

런웨이의 공동 창립자이자 CEO인 크리스토발 발렌수엘라(Cristóbal Valenzuela)도 인터뷰에서 “오늘날 이 모델들을 통해 가능한 일은 1~2년 전만 해도 누구도 상상할 수 없었던 일”이라며 "우리는 (AI의)  최종 단계나 포화점에 근접하지도 않았다." 고 설명했다.

할리우드의 영화 제작자나 전문가들은 비디오 생성 AI 기업들이 2025년 ‘이미지 품질을 개선하고 더 많은 제어 기능을 탑재하는 동시에 비디오 생성 시간을 줄이는데 초점’을 맞출 것이라고 전망했다. 동시에 창의 업계의 요구와 피드백을 모델 개발에 반영하고 소프트웨어의 인터페이스 기능 개선도 집중할 것이라는 분석이다.

할리우드에서의 성공 케이스를 만들고 싶어하는 생성AI회사들은 진지해졌다. 버라이어티는 영화 제작자들과의 인터뷰를 통해 “영화 제작자들은 런웨이와 구글 딥마인드 등 생성AI 회사들이 자신들의 피드백을 진지하게 경청했으며, 그들이 지정한 요구 사항을 지속적으로 제품에 반영하고 있다는 느낌을 받았다”고 서술했다.

생성AI 수익 모델이 B2C보다는 B2B에서 형성된다는 측면에서 봤을 때 전문가들의 반응은 매우 중요하다. 전문적인 크리에이티브 용도의 동영상 제작은 영화 제작자, VFX 및 AI 개발자들이 말하는 것처럼 여러 측면에서 평가되고 경쟁하게 된다.

[Hollywood studios give Veo high marks].

OpenAI's Sora, Runway's Gen, and others have opened up the video creation AI market, but the field has given Google's Veo higher marks. Filmmakers who participated in Veo's closed beta test for professionals said that DeepMind was a "significant leap forward over other video creation models. Many said it was significantly better than Sora.

"We're still in the early stages of figuring out what a good model is," Rohan Sahai, head of product at Open AI's Sora, told Variety. "Each product scores differently in different areas. "But how we actually measure that is not scientific right now. We can only assess user preference," he said. However, he argued that "in the bigger picture, given the speed at which video generation models are evolving, we should be looking at their trajectory rather than pointing out limitations.

Cristóbal Valenzuela, co-founder and CEO of Runway, also agreed in an interview, saying, "What's possible with these models today is something that no one could have imagined a year or two ago." "We're not even close to the final stage or saturation point (of AI)." He explained.

Hollywood filmmakers and experts predict that in 2025, video creation AI companies will focus on "improving image quality and building in more controls while reducing video creation time," according to the report.

They will also focus on incorporating the needs and feedback of the creative industry into model development and improving the interface features of their software.

Generative AI companies are serious about making Hollywood a success story.

"Filmmakers say they feel that the companies, including Runway and Google DeepMind, have listened to their feedback and are consistently incorporating their specified requirements into their products," writes Variety in an interview with filmmakers.

Given that the revenue model for generative AI is shaping up to be more B2B than B2C, the response from professionals is important. Video production for professional creative use is evaluated and competed on many dimensions, as filmmakers, VFX and AI developers will tell you.

‘비디오 생성 모델 평가 기준’

이미지 품질 및 사실감(Image Quality & Realism)

AI 동영상 출력물 물리학적 사실성은 모델 업데이트에서 가장 중요한 요소다. 업계에 따르면 구글 딥마인드의 베오 2와 중국 모델인 클링(Kling)과 하이루오(Hailuo)는 가장 사실에 가까운 결과를 내는 것으로 평가고 있다.

 AI 스튜디오 시크리트 레벨(Secret Level) 설립자이자 영화 제작자인 제이슨 자다(Jason Zada)는 “베오2(Veo 2)는 완전히 다른 차원의 제품”이라며 “이렇게 사실적인 영상은 AI에서 본 적이 없다”고 강조했다.

자다는 베오2를 이용한 결과물을 CES2025 컨퍼런스 세션(할리우드의 궤적(The Hollywood Trajectory: Generative AI Timeline: 2025 – 2030)’ 에서 공개하기도 했다.

Image Quality & Realism

The physical realism of AI video output is the most important factor in updating models. Google DeepMind's Beo 2 and Chinese models Kling and Hailuo are considered by the industry to produce the most realistic results.  "Veo 2 is on a whole other level," said Jason Zada, filmmaker and founder of AI studio Secret Level, "I've never seen anything like it in AI before."

Zada showcased his work with Veo 2 in a CES 2025 conference session, "The Hollywood Trajectory: Generative AI Timeline: 2025 - 2030," which also featured a presentation on the technology.

베오2(Veo 2)의 비디오는 전문가가 아니면 어색함을 알아채지 못할 정도로 완벽해졌다. AI스튜디오 아스테리아(AI studio Asteria)와 협업하고 있는 영화 제작자 폴 프리오(Paul Trillo)는 버라이어티와의 인터뷰에서 “ 대부분의 사람들은 베오가 만든 작품이 합성인지 알지 못할 것”이라고 강조했다.

사실감은 영상에 대한 몰입감을 만드는데 매우 중요하다. 모든 AI 비디오 모델은 물리적인 환영을 담고 있다. 생성AI 비디오의 움직임은 비현실적이고 모션은 기괴한 느낌을 주는 경향이 있다. 개선된 모델조차도 걷기나 달리기, 무술, 체조, 농구와 같이 복잡한 동작을 할때 신체의 물리적 역학을 정확하게 재현하지 못한다. 물리학(무거워지거나 가벼워질 때 생기는 시각적 변화)을  잘못 판단한다.

특히, AI가 만드는 사람 동영상은 여전히 미지의 영역이다.

게다가 현재까지는 AI로 만들어진 가상의 배우를 원하는 제작자는 거의 없다. 인간 배우의 연기를 계속해서 원하고 라이브 액션에 대한 매력도 있다.

하지만, AI로 생성된 배경에 배우를 합성하는데는 큰 관심을 가지고 있다. 엔터테인먼트 업계에 종사하는 이들도 자신들의 얼굴을 AI가 복제하는데 가장 민감하게 반응한다. 버라이어티 설문 결과, 응답자의 80%가 ‘얼굴을 복제할 때 동의를 받아야 한다”고 답했다.

Veo 2 videos have become so perfect that you'd have to be an expert to notice the awkwardness. "Most people wouldn't know it was composited," Paul Trillo, a filmmaker who works with AI studio Asteria, told Variety.

Realism is crucial to creating a sense of immersion in a video. All AI video models contain a physical illusion. Movement in generative AI videos tends to be unrealistic and motion feels bizarre. Even improved models can't accurately reproduce the physical dynamics of the body when performing complex movements like walking, running, martial arts, gymnastics, or basketball.

Misjudge physics (the visual changes that occur when you get heavier or lighter).
In particular, AI-generated human videos are still uncharted territory. And at this point, few producers want AI-generated fictional actors. They still want human actors, and there's an appeal to live action. However, there is a strong interest in synthesizing actors against AI-generated backgrounds. People in the entertainment industry are also the most sensitive to having their faces replicated by AI. In a Variety survey, 80% of respondents said that "consent should be required to replicate faces.

제어 가능성(Controllability)

AI 비디오 툴은 놀라운 발전을 했다. 그러나  여전히 고품질 제작(프로덕션)에 필요한 제어 기능이 부족하다. 전문 영화 제작자와 VFX 아티스트는 많은 수준의 제어 기능을 원하고 있다. 그러나 현재 출시되어 있는 AI 비디오 모델로는 이를 쉽게 또는 일관되게 달성할 수 없다. 비디오 AI툴을 ‘슬롯머신’이라고 부르는 이유가 여기 있다.

그러나 미래는 긍정적이다. 보다 정밀한 동영상 제작 및 편집을 제공하기 위해 다양한 기능이 등장하고 개선될 것이라는 평가가 많다.  대안적인 AI 제작 워크 플로우( AI production workflows)도 등장하고 있다.

이미지, 비디오, 오디오 생성 AI를 위한 오픈소스 노드 기반 애플리케이션 ComfyUI는 스테이블 디퓨즌(Stable Diffusion)과 같은 오픈 소스 모델을 지원하는 등 비디오 제작 소프트웨어에서 제공되지 않는 수준의 제어와 유연성을 보완하려는 시도들이 늘고 있다.

ComfyUI를 사용하면 사용자가 AI 모델 파라미터를 직접 조정하거나, 복잡한 워크플로우를 구성하여 원하는 결과를 얻을 수 있다.  런웨이의 발렌수엘라는 "우리는 항상 최고의 모델을 목표로 하고 있지만 늘 더 나은 툴이 필요하다"라고 설명했다. 런웨이도 카메라 제어 기능을 강화하고 있다. 런웨이의 카메라 제어 기능을 사용하면 사용자가 동영상에서 카메라 움직임을 직접 움직일 수 있다.

Controllability
AI video tools have come a long way, but they still lack the control needed for high-quality production. Professional filmmakers and VFX artists want a lot of control. However, this is not easily or consistently achievable with AI video models on the market today. This is why video AI tools are often referred to as "slot machines".

But the future is positive. There's a lot of optimism that various features will emerge and improve to provide more precise video production and editing.  Alternative AI production workflows are also emerging.

ComfyUI, an open-source node-based application for image, video, and audio-generating AI, supports open-source models such as Stable Diffusion, which are increasingly attempting to fill the gap of control and flexibility that video production software doesn't offer.

With ComfyUI, users can manually adjust AI model parameters or configure complex workflows to achieve the desired results.  "We're always aiming for the best models, but we always need better tools," explains Runway's Valenzuela. Runway is also enhancing its camera control capabilities. Runway's camera control feature allows users to direct camera movement in their videos.

AI비디오 모델의 능력은 ‘텍스트 프롬프트(Text Prompt)에 포함된 특정 지침을 정확하게 따르는’ 비디오를 만드는데 서 결판난다. 제어 가능성도 여기서 발생한다.

시크리트 레벨(Secret Level) 제다(Zada)는 “현재는 제대로 된 결과를 얻기 위해 10개, 20개, 30개, 40개의 동영상을 생성한다”며 “한 두 번 만에 제대로 된 동영상을 AI로 만드는 것은 마법과도 같다”고 말했다.

오픈AI의 사하이(Sahai)는 인터뷰에서 “원하는 것을 얻기 위해 모델과 소통하는 것은 어렵다. 무언가를 요구하면 전혀 다른 결과를 얻을 수 있다”며 “실제로는 반복 과정이며 약간의 인내 작업이 필요하다”고 설명했다.

베오2가 다른 AI모델에 비해 뛰어나도 말하는 것도 ‘프롬프트를 구현하는 능력’이다. 버라이어티는 “베오2가 다른 비디오 모델에서는 할 수 없는 매우 복잡한 텍스트 프롬프트를 지키는데 탁월하다”며 "AI 이미지나 비디오 도구가 나의 머릿속에 있는 것을 실제로 만들어낸다고 느껴본 것은 이번이 처음이다. 때로는 더 잘 만들어내기도 한다”고 말했다. 그는 “여러 캐릭터로 매우 구체적인 지시를 내렸더니 모든 것이 일관되게 유지됐다”고 덧붙였다.

비디오 생성 AI가 나름의 자리를 차지하고 있고 즉각적인 준수율을 높일 수 있지만, 텍스트 프롬프트는 슬롯머신과 비슷하다. 여전히 제어 기능이 부족하기 때문에 궁극적으로 전문적인 맥락에서 비디오 모델을 극대화하는 최선의 방법은 아니다.  프레임스토어의 VFX 감독자 테오도르 존스(Theodore Jones)는”텍스트 프롬프트는 모션과 퍼포먼스가 있는 복잡한 동영상을 생성하기 위한 매우 조잡한 제어 메커니즘”이라고 말했다.

The ability of an AI video model to create a video that "precisely follows the specific instructions contained in a text prompt" is the key to its success. Controllability also comes into play here.
"Currently, we generate 10, 20, 30, 40 videos to get the right result," says Secret Level's Zada, adding, "It's magical to get AI to make the right video in one or two tries."

In an interview, OpenAI's Sahai said, "It's hard to communicate with a model to get what you want. "It's actually an iterative process, and it takes a little bit of patience," said OpenAI's Sahai in an interview.
Another area where Beo2 excels compared to other AI models is its ability to implement prompts. "Beo2 is great at following very complex text prompts, which other video models can't do," Variety said, adding, "It's the first time I've ever felt like an AI image or video tool can actually create what I have in my head, sometimes better." "I gave very specific instructions with multiple characters and everything stayed consistent," he adds.

While video-generated AI has its place and can drive instant compliance, text prompts are akin to slot machines. There's still a lack of control, and ultimately, it's not the best way to maximize video models in a professional context.  "Text prompts are a very crude control mechanism for generating complex videos with motion and performance," said Theodore Jones, VFX supervisor at Framestore.

프롬프트의 고도화가 비디오 AI의 진화는 아니다

발렌수엘라(Valenzuela)는 “프롬프트(prompts)는 실제 사용자가 런웨이를 사용하는 방법의 일부에 불과하다”며 "생성AI의 미래는 텍스트 투 비디오(Text to Video)라고 생각하지 않는다”고 설명했다.  그는 또 “ 텍스트 투 비디오(Text to Video)가 일부 역할을 하겠지만, 영화 제작자가 텍스트 프롬프트를 작성하고 원하는 결과가 나오기를 바라는 방식은 아닐 것”이라고 덧붙였다.

스테빌리티 AI(Stability AI) CTO인 한노 바스(Hanno Basse, 전 디지털 도메인의 CTO)은 “아티스트는 화면에서 보고 싶은 모든 것을 말로 표현할 수 없다는 데 동의할 것”이라고 말했다.

이와 관련  스테빌리티(Stability)는 협력 업체와 함께 문제 해결을 위한 실용적 방법을 찾는데 집중하고 있다. 이 작업에는 업스케일링, 재조명(relighting), 인페인팅(inpainting, 영상에서 손상되거나 원하지 않는 부분을 제거하고 주변 정보를 활용하여 자연스럽게 복원하는 기술)이 등이 가장 큰 비중을 차지하고 있다.

멀티 모달도 핵심이다. 텍스트를 통한 비디오 생성인 텍스트 투 비디오(Beyond text-to-video) 작업을 넘어, 제작자들은 이미지 투 비디오(video-to-vide), 비디오 투 비디오(video-to-video), 미세 조정(Fine Tuning) 등을 원하고 있다.  선호하는 이미지, 비디오,  선별된 이미지 세트 등을 기반으로 새로운 비디오를 만들어  특정 캐릭터, 스타일, 배경 이나 전체 장면과 더 정확하게 일치시킬 수 있다는 것이다.

The evolution of prompts is not the evolution of video AI
"Prompts are only a small part of how real users use the runway," Valenzuela explained, "I don't think the future of generative AI is text to video," he said.  "Text to Video will play a role, but not in the way a filmmaker would write a text prompt and hope for the best," he added.
Hanno Basse, CTO of Stability AI (formerly CTO of Digital Domain), said, "Artists will agree that words cannot express everything they want to see on the screen."
In this regard, Stability is focused on working with its partners to find practical ways to solve the problem. Upscaling, relighting, and inpainting (a technique that removes damaged or unwanted parts of an image and restores it naturally by utilizing surrounding information) are at the top of the list.
Multimodality is also key. Beyond text-to-video, the creation of video from text, creators want image-to-video, video-to-video, fine-tuning, and more.  The idea is that new videos can be created based on a favorite image, video, or curated set of images to more accurately match a specific character, style, background, or entire scene.

데이터 보안 및 법률 준수(Data Security & Legal Compliance)

기업 사용자(Enterprise users 특히 스튜디오)는 AI생성 데이터의 안전성에 많은 신경을 쓰고 있다. 자신들이 비디오 생성을 위해 업로드하는 데이터는 완전히 격리되어 외부 유출 가능성이 없어야 한다.

클라우드 기반 서비스를 사용하거나 AI개발사가 트레이닝 목적으로 사용자 데이터를 활용할 수도 있다는 우려를 하고 있다. 실제, 미국 내 주요 스튜디오들은 데이터 보안 위험을 의식  클링(Kling), 하이뤄(Hailuo), 후위안비디오(HunyuanVideo) 등과 같은데 중국계 생성AI 솔루션을 사용을 꺼리고 있다.

이런 점을 감안, 비디오 생성 소프트웨어는 실질적인 유용성뿐만 학습 데이터 처리, 저작권 등 법적 문제도 신경써야 한다.  VFX 담당자 등 영화 제작자들은 극장 배급용 영화, 스트리밍 오리지널  등 대규모 예산이 투입되는 작품의 경우 여전히 생성AI 사용을 꺼려하고 있다.

트릴로는 인터뷰에서 “최종 픽셀 제작(final pixel production)은 상당히 압축된 이미지로 구현되기 때문에 AI 사용 사례를 찾기가 어렵다”며 "개발자들이 실제 대형 스크린에 8K 해상도로 투사하기 위해 극복해야 할 장애물을 이해하고 있는지 잘 모르겠다. 이런 콘텐츠로 완전한 영화를 만들려면 아직 갈 길이 멀다”고 강조했다.

Data Security & Legal Compliance

Enterprise users, especially studios, are concerned about the safety of their AI-generated data. The data they upload to generate videos should be completely isolated and free from external leaks.
They are concerned that cloud-based services or AI developers might use their data for training purposes. In fact, major U.S. studios are reluctant to use Chinese-generated AI solutions like Kling, Hailuo, and HunyuanVideo because of data security risks.

In light of this, video generation software must be concerned not only with practical usability, but also with legal issues such as training data handling and copyright.  Filmmakers, including VFXers, are still reluctant to use generative AI for big-budget productions such as theatrical releases and streaming originals.

"It's hard to find use cases for AI in final pixel production because it's a very compressed image," Trillo said in an interview. "I don't know if developers understand the hurdles they have to overcome to project at 8K resolution on a real big screen. We still have a long way to go before we can make full movies with this content."