[SXSW2025]XR과 AI의 융합: 몰입형 스토리텔링, 인터랙티브 세계, 창작의 민주화(The Convergence of XR and AI: Immersive Storytelling, Interactive Worlds, and the Democratization of Creativity)

Jung Han -
Keywords
XR Association, AI and XR, Content Creation, Immersive Storytelling, Real-time Graphics, Digital Humans, Interactive Entertainment, Streaming Technology, Visual Fidelity, Automotive Design, Product Visualization, Generative AI, Multimodal Media, User Experience, Creative Tools

XR과 AI의 융합: 몰입형 스토리텔링, 인터랙티브 세계, 그리고 창작의 민주화가 열리는 미래

2025년 3월 12일, XR 어소시에이션(XR Association)은 “XR와 AI 콘텐츠 제작”이라는 주제로 패널 토론을 열어, 확장 현실(XR)과 인공지능(AI)의 발전이 미디어 생태계를 어떻게 재편하고 있는지 탐구했다.

이 날 진행을 맡은 XR 어소시에이션의 대표이자 CEO인 리즈 하이먼(Liz Hyman)은 다양한 산업과 학계에서 활동하며 영화 시각효과, 스토리텔링, 실시간 그래픽, 기업용 솔루션에 정통한 전문가들을 한자리에 모았다. 패널에는 다음과 같은 주요 인사들이 참여했다.

  • 존 게타(John Gaeta): 인월드(Inworld) 시니어 어드바이저, 다수의 VR/AI 혁신 프로젝트 창립자, 영화 <매트릭스>의 아카데미 수상 VFX 이노베이터
  • 존 모노스(John Monos): 액센츄어 송(Accenture Song) 글로벌 XR 경험 매니징 디렉터, <스파이더맨> 등 다수 영화의 VFX 경험 보유
  • 그렉 존스(Greg Jones): 엔비디아(NVIDIA) XR 글로벌 사업개발 디렉터, 옴니버스(Omniverse) 등 최신 실시간 렌더링 기술 담당

이들은 XR와 AI가 긴밀하게 결합함으로써, 창작자와 소비자가 새로운 방식으로 디지털 세계를 경험하고 스토리에 참여할 수 있는 기회를 어떻게 열어가고 있는지 심도 있는 대화를 나눴다.

The Fusion of XR and AI: Pioneering the Next Generation of Immersive Storytelling, Interactive Worlds, and Democratized Creation

On March 12, 2025, the XR Association convened a forward-looking panel discussion entitled “XR and AI Content Creation” to explore how advances in Extended Reality (XR) and Artificial Intelligence (AI) are reshaping the media landscape. The conversation brought together industry luminaries with expertise spanning blockbuster visual effects, creative storytelling, real-time graphics, and enterprise solutions. Moderated by Liz Hyman (President & CEO of the XR Association), the panel featured:

  • John Gaeta (Senior Advisor at Inworld, Founder of various pioneering VR/AI initiatives, and Academy Award-winning VFX innovator on The Matrix)
  • John Monos (Managing Director for Global XR Experiences at Accenture Song, with a background in major VFX work including Spider-Man)
  • Greg Jones (Director of Global Business Development for XR at NVIDIA, overseeing technologies such as Omniverse and advanced real-time rendering)

Below is a deep dive into their insights on the ever-evolving synergy of XR and AI, how it opens new horizons for both creators and audiences, and what the future may hold for immersive storytelling and content creation.

1. 매트릭스의 ‘블렛  타임’에서 현대적 몰입으로

<매트릭스> 3부작에서 혁신적 시각효과 “불렛 타임(Bullet Time)”을 구현해 세계적인 명성을 얻은 존 게타는, 당시에는 하나의 장면을 위해 수많은 아티스트와 엔지니어가 합심해야 했다고 회상했다. 수천 장의 이미지를 사전에 렌더링해 만든 이 초현실적 슬로 모션 효과는, 당시로서는 기술적·예산적·인력적 부담이 막대했다.

“90년대 말~2000년대 초에는 한 컷의 혁신적 장면을 완성하기 위해 거대한 렌더팜과 숙련된 기술팀이 필요했죠. 마치 <매트릭스> 속처럼, 관객이 직접 가상 세계에 들어가 시간을 조작하는 미래를 상상했지만, 당시에는 SF 그 자체였습니다.”
—존 게타

그러나 현재는 실시간 렌더링 엔진과 AI 활용 기술의 발전 덕분에, 과거에 오프라인으로만 가능했던 효과를 인터랙티브 형태로 구현할 수 있게 되었다.

1. From The Matrix’s “Bullet Time” to Modern Immersion

John Gaeta is widely recognized for pioneering visual effects in The Matrix trilogy, particularly the legendary “Bullet Time” sequences that froze Neo mid-leap while the camera seemed to orbit around him. Gaeta recalled that producing those scenes required vast teams of artists and engineers, meticulously composing thousands of frames to achieve the revolutionary slow-motion effect.

“In the late ’90s and early 2000s, we had to rely on massive render farms and an enormous crew of technical experts just to pull off one groundbreaking shot,” Gaeta explained. “We imagined a future where the audience could step into The Matrix itself, altering time and reality in real time. That once felt like pure science fiction—yet today, real-time rendering and AI make it increasingly possible.”

The sheer computational challenge was immense, and each sequence had to be pre-rendered offline. Now, cutting-edge real-time engines and AI-driven optimizations allow creators to iterate interactively, with users able to experience—and even manipulate—the action in real time.

2. 실시간 그래픽과 인터랙티브 스토리텔링의 부상

과거 <스파이더맨> 시리즈의 시각효과 작업에 참여했던 존 모노스는 그래픽 기술이 발전함에 따라 콘텐츠 제작 양상이 어떻게 달라졌는지 설명했다.

2000년대 초반만 해도, 사실적인 뉴욕 시가지를 3D로 재현하고 디지털 캐릭터가 실제처럼 활공하도록 보이게 만드는 작업에는 카메라 매칭, 합성, 조명 등 세부 전담팀이 필요했다. 하지만 이 모든 과정을 거쳐 만든 3D 공간을 영화에서는 단 한 가지 시점—즉 감독이 결정한 앵글—에서만 볼 수 있었다.

“당시에는 우리가 이미 ‘몰입형 3D 세계’를 만들어놓고도, 정작 관객들은 단일 시점으로만 감상했어요. 이제 XR 시대에는 관객이 카메라 앵글을 자유롭게 움직일 수 있고, AI가 이를 즉시 반응해 조명이나 물리 효과를 실시간으로 업데이트합니다.”
—존 모노스

이처럼 사용자(혹은 ‘참여자’)가 능동적으로 시점을 조정하고 가상 오브젝트를 조작하며, AI 기반 디지털 휴먼과 대화할 수 있게 되면서, XR은 기존의 선형적 엔터테인먼트와 확연히 구별되는 새로운 경험을 제공한다.

2. Real-Time Graphics and the Rise of Interactive Storytelling

Panelist John Monos, who spent years at the forefront of visual effects for films like Spider-Man, elaborated on the changing nature of graphics technologies. During the early 2000s, entire pipelines were designed to create cinematic environments where digital characters swung through 3D recreations of New York City. Typically, these processes required months of specialized work, with large teams dedicated to tasks like camera matching and CG compositing.

“That era was eye-opening,” Monos observed. “We built immersive 3D worlds for filmmakers—but the audience could only look at them from one viewpoint, determined by the director. Now, XR enables people to move around in real time, and AI helps make everything more responsive. As soon as the user shifts position, the lighting and physics update instantly.”

Monos noted that modern XR design must account for not just photorealistic visuals but also intuitive user interaction. Audiences (or “participants”) actively control viewpoints, manipulate objects, and can even interact with AI-driven digital humans. This deeply participatory element distinguishes XR from traditional, linear entertainment forms.

3. AI와 디지털 휴먼: 언캐니 밸리를 넘어(불편한 협곡)

패널들은 특히 AI가 가상 캐릭터에 생동감을 부여하는 방식에 주목했다. 모노스는 과거 AI 연구 중, 단순한 대화 모델과 몸짓 인식 모델을 결합해 ‘디지털 휴먼’을 제작했던 경험을 소개했다. 사용자가 캐릭터를 응시하면, 캐릭터의 시선과 어깨 각도가 자연스럽게 대응하도록 했는데, 이 작은 디테일이 큰 몰입감을 만들었다는 것이다.

존 게타 역시 <매트릭스>가 제공했던 ‘가상과 현실의 경계’라는 개념이 이제 XR 환경에서 확장되고 있음을 시사했다. 초창기엔 VFX로만 표현했던 요소들을, 현재는 AI 캐릭터와 물리 시뮬레이션을 실시간으로 결합해 구현할 수 있다. 이를 통해 게타가 말한 ‘네오 시네마(Neo Cinema)’—즉 관객이 수동적으로 보는 대신 적극 참여하고, 캐릭터와 관계를 맺으며, 심지어 스토리 전개에도 영향을 미칠 수 있는 새로운 서사 형태—가 가능해지는 셈이다.

3. AI and Digital Humans: Beyond the Uncanny Valley

A key point of discussion was how AI can bring believable nuance to virtual characters. Monos recounted an anecdote from his time developing interactive “digital humans” equipped with basic conversational and behavioral AI. Even simple body language adjustments—like turning eyes and shoulders to maintain comfort with a user—radically boosted immersion. Observers felt the character had genuine presence, highlighting how powerful small cues can be when rendered in real time.

John Gaeta also referenced The Matrix as a blueprint for narratives that challenge our perception of virtual vs. real. While early VFX tested the limits of offline rendering, current XR prototypes can situate human-like AI characters in dynamic worlds. The result is a kind of “Neo Cinema,” where viewers aren’t just spectators but active participants in fictional universes, free to explore, interact with characters, and possibly even change the storyline.

4. 클라우드 스트리밍: 어디서나 누리는 고품질 XR

그렉 존스는 클라우드 인프라가 XR의 사용자 경험을 어떻게 혁신하는지 강조했다. 그래픽 연산을 원격 GPU 서버에서 처리한 뒤, 저지연 스트리밍으로 사용자 단말에 전송하면, 무거운 PC나 워크스테이션 없이도 사실적인 XR 환경에 접속할 수 있다는 설명이다.

“과거엔 레이트레이싱을 1초에 12~19프레임으로 구현하기 위해 수백만 달러짜리 서버 팜을 사용해야 했습니다. 그런데 이제 단일 GPU로도 초당 90프레임 이상의 레이트레이싱이 가능해요. 클라우드에서 이를 스트리밍해주면, 얇고 가벼운 VR/AR 헤드셋으로도 놀라운 그래픽 품질을 경험할 수 있습니다.”
—그렉 존스

이를 통해 자동차, 건축, 제품 디자인 분야에서는 대형 데이터를 다루면서도 고품질 렌더링을 실시간으로 수행할 수 있고, 멀리 떨어진 팀원과도 같은 가상 공간에 들어가 협업이 가능해진다.

4. Cloud-Based Streaming: High-Fidelity XR from Anywhere

Greg Jones underscored how cloud infrastructure revolutionizes the XR experience by offloading heavy computations to remote GPUs. Thanks to real-time ray tracing and advanced rendering pipelines, industries like automotive, architecture, and product design can showcase photorealistic models in XR without requiring every user to own a high-end workstation.

“We used to need multimillion-dollar servers to do ray tracing at 12 to 19 frames per second,” Jones said. “Today, a single GPU can handle real-time ray tracing at 90+ frames per second. If you stream that from the cloud, you can deliver photoreal immersive experiences to lightweight AR or VR headsets with minimal latency.”

This approach enables designers and customers to view a car’s interior under varying lighting conditions or evaluate architectural blueprints as though physically walking through them. It also fosters collaborative workflows, allowing multiple stakeholders—located anywhere in the world—to inhabit the same virtual space simultaneously.

5. 엔터프라이즈 응용: 자동차, 건축, 그리고 그 너머

엔터테인먼트가 XR 혁신을 주도하는 한 축이라면, 산업계 역시 상당한 잠재력을 지닌다. 존 모노스는 액센츄어 송이 글로벌 기업들과 협업해 XR 기반 제품 시연 및 환경구축 솔루션을 만드는 사례를 소개했다. 예컨대 신차 디자인을 XR로 체험하면, 실제 도로 환경이나 사용자가 원하는 장소에서 즉각 색상과 재질, 조명 조건을 바꿔볼 수 있다.

그렉 존스 또한 엔비디아 옴니버스(Omniverse)를 활용한 디지털 트윈 사례를 언급하며, 자율주행차나 로보틱스 분야의 AI가 사실적인 3D 세계에서 학습한 뒤 이를 실제 물리 환경에 적용해 성능을 높이는 과정을 설명했다. 이런 시뮬레이션-현실 간 상호작용은 효율적인 연구 개발을 이끌고, 결과적으로 혁신 주기를 크게 단축시킨다.

5. Enterprise Applications: Automotive, Architecture, and Beyond

While entertainment is a major driver of XR innovation, the panel emphasized that enterprise and industrial applications stand to benefit substantially. Monos recounted how Accenture Song collaborates with major brands to develop XR-driven product showcases and configuration tools. From high-end SUVs to home appliances, XR environments allow consumers to visualize items in real-world contexts—changing colors, materials, or lighting conditions at will.

Greg Jones further highlighted how digital twins in platforms like NVIDIA Omniverse enable accurate simulations for robotics, autonomous vehicles, and warehouse logistics. AI “agents” learn faster by operating in photorealistic 3D environments that obey real-world physics—then transfer those lessons back to the physical world. This cyclical relationship between simulation and reality accelerates innovation, reduces costs, and can dramatically reduce the time to market.

6. AI를 통한 콘텐츠 제작의 민주화

패널들이 꼽은 가장 큰 변화 중 하나는 AI 기반 툴이 복잡한 3D 작업 과정을 간소화함으로써, 더 많은 창작자가 XR 콘텐츠를 제작할 수 있게 되었다는 점이다. 과거에는 높은 프로그래밍 스킬과 전문 CG 지식, 고가의 장비가 필요했다면, 이제는 AI가 월드빌딩, 텍스처 생성, 캐릭터 애니메이션, 물리 시뮬레이션의 일부를 자동화해 준다.

게타는 뛰어난 스토리텔링은 여전히 인간의 상상력과 공감 능력에서 나온다고 강조하면서도, AI가 상당 부분의 반복 작업을 대체해줌으로써 창작자가 본질적인 서사와 예술성, 사용자 경험에 집중할 수 있다고 말했다. 이로써 거대 자본을 지닌 스튜디오와 인디 창작자 간 격차가 줄어들고, 창작의 민주화가 가속화될 것이라는 전망이다.

6. Democratizing Content Creation through AI

One of the most profound shifts the panelists discussed is how emerging AI tools simplify complex 3D workflows, thereby lowering barriers to entry for creators. In previous decades, crafting a virtual environment or photorealistic assets required advanced coding, deep knowledge of CG software, and expensive hardware. AI-powered “assistants” can now handle tasks like procedural world-building, texture generation, character animation, and even partial physics modeling.

Gaeta stressed that the essence of good storytelling remains unchanged: you still need a compelling vision and the ability to connect with audiences on a human level. But AI reduces the friction by automating many labor-intensive steps, letting creators focus on narrative, aesthetics, and user experience. The panel predicted a future where small indie teams—or even solo creators—can compete with big studios, because generative AI provides them the same level of graphical fidelity and interactive sophistication once reserved for top-tier productions.

7. 월드빌딩: 멀티모달 미디어의 차세대 지평

토론에서 자주 언급된 개념은 ‘월드빌딩(world-building)’이다. 영화·게임·XR 등 서로 다른 미디어 포맷을 아우르며 하나의 일관된 세계관과 스토리를 만들어내는 작업을 의미한다. 전통적으로는 영화사, 게임 개발사, 머천다이징 팀 등이 분리 운영되면서, 미디어 간 서사와 비주얼 자원을 통합하기가 쉽지 않았다. 그러나 AI와 실시간 그래픽이 결합된 파이프라인은 이런 경계를 허물고 있다.

  • 동시 제작(Synchronized Production): 하나의 3D 환경이 영화 VFX, 게임 레벨, XR/AR 홍보용 콘텐츠로 즉시 공유될 수 있다.
  • 적응형 서사(Adaptive Storytelling): AI가 사용자 행동을 분석해, 스토리의 분기나 진행 방식을 유동적으로 바꿀 수 있다.
  • 글로벌 협업(Global Collaboration): 전 세계 팀원들이 클라우드 상 동일한 3D 공간에 접속해 즉각적으로 작업을 공유한다.

게타와 모노스는 이제 하나의 프로젝트가 영화, 게임, XR 환경을 분절적으로 만드는 것이 아니라 ‘멀티모달 미디어(multimodal media)’로 처음부터 통합 개발되는 시대를 전망했다.

7. World-Building: The Next Frontier of Multimodal Media

The conversation continually returned to the concept of “world-building”—developing cohesive realities that can span film, games, and now XR experiences in real time. Traditionally, large franchises struggled to synchronize storylines and production timelines across different media formats. Filmmakers, game studios, and merchandising teams often operated in silos. However, AI-infused real-time pipelines change that equation:

  • Synchronized Production: A shared 3D environment can feed directly into film VFX shots, interactive game levels, and XR/AR marketing experiences.
  • Adaptive Storytelling: AI can dynamically generate or modify narrative branches based on user actions, turning “viewers” into co-creators.
  • Global Collaboration: Cloud-based platforms allow teams scattered across the globe to collaborate in a single virtual environment simultaneously.

Gaeta and Monos envision a future where “multimodal media” projects are conceived holistically from day one. Story outlines, environment designs, character arcs, and interactive mechanics are developed in tandem, rather than retrofitted for separate platforms.

8. 도전 과제와 미래 전망

물론 해결해야 할 과제들도 존재한다.

  1. 기술적 한계: 초고화질 그래픽을 경량 디바이스에서 실시간으로 구현하려면, 높은 연산 성능과 저지연 스트리밍 기술, 배터리 효율이 모두 개선되어야 한다.
  2. 사용자 경험(UX): 음성 인식, 제스처 인식, AI 캐릭터의 자연스러운 반응 등은 꾸준히 학습·개선되어야 한다.
  3. 윤리적 문제: AI가 만든 디지털 휴먼과 가상 세계가 지나치게 현실에 가깝다면, 가짜 정보나 정체성 혼란, 저작권 이슈 등의 문제가 발생할 수 있다.
  4. 콘텐츠 안전성: XR 환경이 대중화되어 누구나 쉽게 몰입형 콘텐츠를 만들면, 플랫폼 차원의 모니터링과 사용자 보호가 더욱 중요해진다.

그럼에도 불구하고 패널들은 전반적인 낙관론을 공유했다. AI, 광학 기술, 신소재 배터리 등 모든 분야에서 혁신이 이어지면서, XR의 몰입 경험과 접근성은 갈수록 높아질 전망이다.

“우리는 지금 상상력이 기술을 앞지르지 않도록 기술이 빠르게 발전하는 ‘특이점’ 같은 지점에 서 있습니다. 향후 5년 후 돌아봤을 때, 지금이야말로 XR과 AI가 진정한 잠재력을 발휘하기 시작한 시점이라고 말하게 될 것입니다.”
—존 게타

8. Challenges and Future Outlook

Despite the excitement, the panel acknowledged several key challenges:

  1. Technical Hurdles: Achieving photorealism in real time, especially in lightweight headsets, remains a balancing act of computing power, latency, and battery constraints.
  2. User Experience: Natural user interaction with AI-driven characters or environments requires constant refinement of behavioral models, voice recognition, and gesture tracking.
  3. Ethical Implications: As AI becomes more adept at generating realistic humans and worlds, the industry must address concerns around misinformation, digital rights, and identity authenticity.
  4. Content Moderation and Safety: When millions of new creators can freely produce immersive worlds, platforms will have to consider moderation, intellectual property, and user well-being.

Even so, the broad consensus was one of optimism. Each technical stride—from machine learning advancements to improved optical displays—brings XR closer to frictionless experiences that blur the line between real and virtual.

“We’re witnessing a moment where technology is catching up to imagination,” Gaeta concluded. “In five years, we may look back and realize we’ve only just begun to harness the true power of XR and AI for creative expression, societal benefit, and sheer human wonder.”

9. "XR과 AI의 융합: 새로운 창작 생태계와 인간적 상호작용의 시대"

영화 <매트릭스>의 버릿 타임에서부터 기업용 XR 플랫폼에서 구현되는 초현실적 자동차 모델에 이르기까지, XR과 AI의 융합은 디지털 콘텐츠의 설계·감상·인터랙션 방식을 근본적으로 재정의하고 있다. 기술 발전과 비용 절감, 클라우드 스트리밍 보급, AI의 콘텐츠 자동화 기능이 결합되면서, 대규모 스튜디오에서나 가능하던 고품질 그래픽과 상호작용을 이제 개인 개발자나 인디 팀도 활용할 수 있는 시대가 열리고 있다.

이는 단순히 새로운 볼거리를 넘어, 새로운 창작 생태계와 인간적 상호작용의 장을 마련한다. 독립 영화 제작자가 상호작용형 SF 세계관을 구축하고, 글로벌 자동차 기업이 XR 쇼룸을 열며, 교사가 AI 기반 시뮬레이션을 통해 학생들의 학습 효율을 높일 수 있다.

테크놀로지가 성숙할수록 우리의 상상력도 함께 확장되어, 현실과 가상이 융합되는 새로운 체험 방식이 탄생할 것이다. 이제 막 시작된 이 변화의 물결 속에서, 가장 중요한 무대는 다름 아닌 인간의 창의성과 협업이라는 점을 패널들은 입을 모아 강조했다.

"The Convergence of XR and AI: A New Creative Ecosystem and Era of Human Interaction"
From the movie The Matrix's Burrito Time to the hyper-realistic car models enabled by enterprise XR platforms, the convergence of XR and AI is fundamentally redefining how digital content is designed, viewed, and interacted with. Technological advances and cost reductions, coupled with the ubiquity of cloud streaming and AI's ability to automate content, are bringing high-quality graphics and interactivity once reserved for large studios within the reach of individual developers and indie teams.


This isn't just about new attractions, it's about new creative ecosystems and human interaction. Independent filmmakers are building interactive sci-fi worlds, global automakers are opening XR showrooms, and teachers are using AI-powered simulations to help students learn better.


As the technology matures, our imaginations will expand with it, creating new ways of experiencing the real and the virtual. In this wave of change that is just beginning, the panelists emphasized that human creativity and collaboration will be the most important stage.

"XR과 AI의 융합: 현실과 가상의 경계를 허물고, 창조적 생태계의 새로운 지평을 열다."

이 결론은 XR과 AI의 혁신이 미래의 콘텐츠 제작과 스토리텔링 방식을 근본적으로 변화시키고, 실제와 가상을 자유롭게 넘나드는 경험을 일상화할 것임을 강조한다. XR 산업의 급속한 진화는 불가피하며, 기업, 크리에이터, 그리고 모든 이용자가 함께 만들어가는 창조적 생태계가 더욱 풍부해질 것이다. 이로써 새로운 상호작용과 창의성의 시대가 열리며, 인간의 상상력과 협업이 더욱 중요한 역할을 하게 될 것이다.

9. Conclusion

From the iconic Bullet Time of The Matrix to the ultra-realistic car models streaming across enterprise XR platforms, the fusion of XR and AI signals a new paradigm in how we design, view, and interact with digital content.

The seeds of a more democratic creative landscape are firmly planted: advanced tools are falling in cost, cloud streaming is removing performance barriers, and AI is handling everything from world-building to natural language conversation.

Whether it’s an indie filmmaker crafting interactive sci-fi universes, a global automotive brand conducting collaborative XR showrooms, or an educator building an AI-driven simulation for students, the possibilities for innovation and human connection are expanding exponentially. As technology evolves, so too will our capacity to dream bigger, tell richer stories, and blur the edges of reality in ways we have only begun to imagine.