[SXSW2025]스토리텔링에서 스토리리빙으로(From storytelling to storyliving) 미래 엔터테인먼트의 조건이 바뀐다

Jung Han

2025년 3월 11일

ILM Immersive: Inviting Fans to Step Inside Our Stories'(ILM이머시브: 팬들을 우리의 스토리로 데리고 들어오기)

ILM이머시브(ILM Immersive)는 영화 스타워즈를 탄생시킨 루카스필름의 스토리텔링 스튜디오로, 가상 현실(VR)과 혼합 현실(MR)에서 구현되는 대화형 엔터테인먼트 기술을 개발하고 있다. 2015년에 ILMxLAB으로 설립돼, 다양한 플랫폼에서 거의 10년간의 독보적인 작품을 선보여왔다1 3 4.

주요 작품:

ILM랩은 루카스 필름이 제작하는 다양한 영화를 게임이나 몰입형 공간을 위한 콘텐츠로 바꾸어 왔다.

스타워즈: 시크릿 오브 엠파이어 (Star Wars: Secrets of the Empire)
배더 이모탈: 스타워즈 VR 시리즈 (Vader Immortal: A Star Wars VR Series)
카르네 이 아레나 (CARNE y ARENA) - 아카데미상 수상작
어벤져스: 데미지 컨트롤 (Avengers: Damage Control)
스타워즈: 테일즈 프롬 더 갤럭시스 에지 (Star Wars: Tales from the Galaxy’s Edge)1 3 4.

'ILM Immersive'는 올해로 설립된 지 10년이 됐다.

ILM 이머시브는 사용자에게 더욱 몰입감 있는 경험을 제공하는 데 중점을 두고 있다. 사용자가 이야기에 직접 참여하고 의미 있는 선택을 통해 이야기를 전진시키는 경험을 제공하고자 한다2 5.

최근 ILM이머시브는 애플 비전 프로(Apple Vision Pro)를 통해 Marvel Studios와 Disney+의 혼합 현실 경험인 "What If…? – An Immersive Story"를 선보이는 등 엔터테인먼트 테크 발전과 이와 관련된 새로운 몰입형 스토리텔링을 지속적으로 탐구하고 있다6.

몰입형 스토리텔링의 진화 방향

ILM이머시스는 창업 10주년을 맞아 글로벌 최대 엔터테인먼트 테크 축제 SXSW2025에서 몰입형 진화를 논의하는 세션을 가졌다. 지난 3월 10일 오스틴 SXSW2025에서 열린 세션(ILM Immersive: Inviting Fans to Step Inside Our Stories)에서 ILM이머시스는 10년 동안 혼합 현실 공간(MR)이 어떻게 발전했는지, 그리고 그 경험들이 팬들을 "이야기 속으로 초대"하는 방법에 어떻게 영향을 미치고 있는지를 이야기했다.

SXSW 무대에서는 Vicki Dobbs Beck, Alyssa Finley, Jonathan Harman, Mark S. Miller, Elizabeth Walker가 발표자로 참여했다1 3 5.

ILMxLAB 팀은 지난 10년간 쌓아온 VR·AR 등 몰입형(Immersive) 콘텐츠 경험을 공유하며 미래 엔터테인먼트의 방향성을 제시했다. ILMxLAB은 루카스필름 산하의 특수효과 스튜디오 ILM(Industrial Light & Magic)에서 분사한 스토리텔링 혁신 조직으로, ‘스타워즈’를 비롯한 다양한 IP를 VR·AR·MR 등 차세대 플랫폼에 구현해오고 있다.

ILM이머시브는 게임으로 대변되는 가정용 VR 경험으로 유명하며, 이 중에는 에미상 후보작인 "Vader Immortal: A Star Wars VR Series," 아카데미상 수상작인 CARNE y ARENA이 있다. 또 최근 공간 컴퓨팅 애플 비전 프로(Apple Vision Pro)에서 제공하는 "What If…? – An Immersive Story"가 있다.

ILMxLAB이 제시하는 몰입형 스토리텔링(Immersive Storytelling)은 단순한 VR 게임을 넘어 영화 같은 서사와 감정·교감·선택을 결합한 ‘체험형 내러티브experiential narratives)’의 가능성을 보여준다.

과거엔 하드웨어 문제와 제한적인 콘텐츠로 인해 VR이 대중화 문턱을 넘지 못했지만, 최근 AI의 등장으로 인한 기술 진보와 디바이스 경량화, 엔터테인먼트 기업의 적극 투자에 힘입어 VR를 중심으로 한 '체험형 내러티브 시장'은 본격 성장곡선을 그리고 있다.

SXSW2025에 나온 ILMxLAB 팀은 “VR·AR이 지금까지 주로 게임 마니아 중심으로 퍼져왔다면, 향후 몇 년 사이에 영화·음악·교육·의료 등 폭넓은 분야로 확산될 것”이라 내다봤다.

‘베이더 이모탈’처럼 “내가 직접 라이트세이버를 쥐고 다스 베이더와 대치한다”는 이야기는, 전 세계 관객들에게 전례 없는 몰입감을 선사했다. 그러나 그 다음 단계에선, “단지 관객이 스토리에 참여하는 차원을 넘어, 스토리가 관객의 현실 공간에 침투하는” 광범위한 AR·MR 체험이 펼쳐질 것이란 전망을 했다.

스토리리빙 단계에서는 관객이 단순히 스토리를 보는 것이 아니라, 스토리에 직접 참여하고 영향을 미치는 방식으로 행동이 전환된다.

결국 “스토리텔링에서 스토리리빙으로의 전환”은 기술 발전 속도가 관건이다. 하지만, 디즈니-마블-루카스필름 등 초대형 IP 스튜디오는 몰입형 스토리텔링의 미래(스토리리빙의 시대)를 열기 위한 연구 개발이 한창이다.

■ 가상현실(VR) 스토리텔링의 부상과 ILMxLAB의 시작

ILMxLAB 부사장 비키 돕스 벡(Vicki Dobbs Beck)에 따르면, 이들이 추구하는 핵심 비전은 “스토리텔링(Storytelling)을 넘어 ‘스토리리빙(Storyliving)’으로 확장하는 것”이다.

즉, 관객이 이야기를 ‘듣고 보는’ 수동적 주체가 아니라, 이야기 속 세계에 ‘직접 들어가 체험하고 상호작용’하는 주체가 되게끔 만드는 것을 목표로 삼고 있다.

스토리리빙이라는 비전의 시초는 2013년 , ILM의 실시간 그래픽 연구팀과 과거 루카스아츠 게임 팀 간의 합류에서 비롯됐다. 그 무렵 등장한 오큘러스 DK2 등 초기 VR 헤드셋들을 접한 ILMxLAB 초창기 멤버들은 “VR에서 직접 스타워즈 세계를 본다면 어떨까?”라는 아이디어를 실험하기 시작했고, 이를 토대로 소규모 R&D 프로젝트들이 수행되었다.

■ 첫발을 내디딘 실험: ‘트라이얼스 온 타투인(Trials on Tatooine)’

ILMxLAB의 마크 S. 밀러(Mark S. Miller) 부사장은 초기 VR 프로젝트로 ‘트라이얼스 온 타투인’을 언급했다. 이 실험적 데모는 스타워즈 세계관 중 ‘타투인’ 행성의 사막 한가운데 서서 머리 위를 지나치는 밀레니엄 팔콘을 체험하게 만들었다. 이후 플레이어가 라이트세이버를 받아 스톰트루퍼의 블래스터를 막아내는 간단한 상호작용이 추가되었다.

비록 플레이 시간은 짧았지만, 한 번이라도 해당 데모를 체험한 관객들은 “내가 진짜 스타워즈 세계 안에 들어갔다”라는 강렬한 몰입을 맛봤다. 이는 VR 스토리텔링의 ‘존재감(presence)’을 증명해 보인 중요한 사례로 평가된다.

■ ‘카르네 이 레나(Carne y Arena)’: VR의 감정적 공감 능력

오스카 감독상을 받은 알레한드로 G. 이냐리투(Alejandro G. Iñárritu)와의 협업작 ‘카르네 이 레나(Carne y Arena)’ 역시 ILMxLAB의 초기 대표작으로 손꼽힌다. 멕시코-미국 국경에서 이민자들이 체포되는 장면을 VR로 재현한 이 작품은, 단순히 360도 영상을 보는 데서 그치지 않고 관객이 그 상황 한복판에 서서 주변 인물들과 공간을 직접 느끼도록 구성되었다.

비키 돕스 벡은 “이 작품은 6분 남짓이지만 감정적 파급효과가 상당했다”고 전하며, VR이 지닌 ‘감정적 공감’의 힘을 강조했다. 한 예로, 마지막 장면에서 관객이 국경순찰대의 총구와 서치라이트에 노출될 때, 실제로 주저앉아 버리거나 순간적으로 몸을 피하려는 반응이 나타날 만큼 강렬한 몰입감이 형성되었다는 것이다.

결국 ‘카르네 이 레나’는 2017년 칸영화제 역사상 최초의 VR 초청작으로 선정되었고, 시각예술의 혁신을 인정받아 특별 오스카상을 수상했다. 이는 VR이 ‘단순한 놀이’가 아니라, 관객에게 심도 깊은 감정과 메시지를 전달할 수 있는 예술적 매체로 도약할 수 있음을 시사한다.

■ ‘베이더 이모탈(Vader Immortal)’: 정식 서사·대규모 프로젝트로 확장

ILMxLAB이 VR 스토리텔링에서 대중적으로 가장 알려진 순간은 ‘베이더 이모탈(Vader Immortal)’ 시리즈를 통해서다. 이 작품은 에피소드(Chapter) 형식으로 구성된 정식 스타워즈 외전(外傳) 스토리이자, 전편 합해 여러 시간에 달하는 대규모 VR 프로젝트였다.

마크 S. 밀러는 “오래전부터 다스 베이더가 무스타파 행성의 화산 주변에 있는 고독한 성(城)에서 무엇을 하며 지냈는지 궁금했다”며, 그 ‘서사적 공백’을 파고들었다고 설명했다.
유명 작가이자 영화감독 **데이비드 고이어(David Goyer)가 시나리오에 참여해 정식 스타워즈 세계관 내의 ‘빈틈’을 메우는 이야기를 펼쳐냈고, 플레이어가 직접 포스(Force)를 습득하고 베이더와 맞서는 과정까지도 체험하게 된다.

초기에는 플레이어를 ‘유령(ghost)’ 같은 존재로 설정해, 스토리를 간접 구경만 하도록 기획했지만, ILMxLAB은 “VR 매체가 가진 ‘상호작용’과 ‘존재감’을 극대화하려면 플레이어가 직접 이야기의 중심에 서야 한다”는 결론을 내리고 대대적인 방향 전환을 했다.

그 결과, 에피소드 1에서 라이트세이버 전투와 포스의 초기 단서를 익히고, 에피소드 2에서 베이더에게 포스를 전수받고, 최종 에피소드에서 베이더를 상대로 직접 맞서는 구조가 완성되었다.

■ 마블과의 만남: ‘What If…?’ 및 ‘리얼타임 로켓(Real-Time Rocket)’

스타워즈 외에도 ILMxLAB은 디즈니·마블 등과의 협업으로 영역을 확장해 왔다. 그 중 눈길을 끄는 사례가 애플의 비전 프로(Vision Pro) 기기를 통해 선보일 혼합현실(MR) 콘텐츠 ‘What If…?’ 확장판이다.

조너선 하먼(Jonathan Harmon) 테크니컬 아트 슈퍼바이저에 따르면, 비전 프로(Vision Pro)의 정밀한 눈 추적, 손 추적 기술을 통해 사용자는 애니메이션 스타일의 마블 캐릭터가 실제 내 방 안에 등장한 듯한 착각을 일으킨다. 여기에 Full VR 모드와 MR 모드를 오가며 “눈앞의 집 안 풍경이 순식간에 히어로 세계로 재구성되는” 전환이 즉각 이뤄진다.

라이브 엔터테인먼트 기술 '리얼타임 로켓'

한편, 라이브 엔터테인먼트 기술로서 ‘리얼타임 로켓(Real-Time Rocket)’ 프로젝트도 주목받았다. 이는 디즈니 D23 엑스포 현장(마블 부스)에서 ‘가디언즈 오브 갤럭시’의 로켓 라쿤과 관람객이 실시간으로 대화하는 형식의 이벤트다.

관람객들은 단순히 녹화된 영상을 보는 것이 아니라, 로켓이 “분홍색 목걸이를 한 당신, 거기!”라며 직접 지목해 반응하고, 농담을 던지는 라이브 대화를 체험했다. 3일간 행사를 진행하며 약 1만 명 이상이 이 인터랙션을 즐겼고, 보이는 화면 속 로켓은 ILMxLAB의 실시간 렌더링 기술로 구동되었다.

■ “스토리 ‘텔링’에서 ‘리빙’으로”

발표자들은 VR·AR, 나아가 MR(혼합현실) 디바이스와 클라우드 스트리밍을 접목한 다음 단계의 ‘서사적 체험’을 낙관했다.

경량·편의성 향상
과거보다 훨씬 가벼워진 헤드셋, 뛰어난 시야각과 해상도를 갖춘 신제품이 출시되고, 통신 기술과 모바일 프로세서 역시 빠르게 진화하고 있다. 손쉽게 착용·공유할 수 있는 AR 글라스 등이 자리 잡으면, 대중이 느끼는 장벽이 낮아질 것이라는 설명이다.

도시·야외 스케일의 AR 스토리리빙
ILMxLAB이 실험하는 ‘에픽 AR’은 도시 전역을 무대로 디지털 세계를 겹쳐서, “우리 주변 일상 공간에 서사가 펼쳐지는” 형태다. 예컨대 디즈니랜드·유니버설파크뿐 아니라, 일반 도심에서도 AR 안경을 쓰면 스타워즈, 마블, 혹은 다른 세계관의 사건이 ‘현실 세계와 섞여’ 보이게 될 수 있다.
이를 구현하기 위해선 광학 기술뿐 아니라 클라우드 스트리밍을 통한 고품질 렌더링과 정교한 위치 추적(Geo-location) 등이 필수적이다. 가령 디지털 오브젝트가 실제 건물이나 사물에 정확히 그림자를 드리우고, 빛 반사를 공유해야 극사실적(Photoreal) 몰입감을 제공한다.

트랜스미디어(Transmedia)와 크로스 플랫폼
한 IP를 기반으로 영화·드라마·게임·VR·AR·라이브 이벤트 등 다양한 플랫폼에서 각기 다른 측면의 이야기를 풀어내되, 전체가 유기적으로 이어지는 방식을 지향한다. ILMxLAB은 “서사 세계(월드) 자체가 풍부하면 어느 플랫폼이든 확장 가능하다”며, “각 매체가 지닌 고유 강점을 조화롭게 활용해야 한다”고 강조했다.

멀티플레이·소셜 경험 확장
지금까지 VR·AR 체험은 주로 1인용 형식이 많았지만, 친구·가족이 동시에 접속해 온라인상에서 같은 세계를 공유하고 협력·경쟁하는 형태가 증가할 전망이다. 이미 ‘더 보이드(The VOID)’의 ‘시크릿 오브 더 엠파이어(Secrets of the Empire)’ 등으로 오프라인 멀티 VR 체험이 한 차례 주목받았고, 향후 가정용 기기나 클라우드 기술이 발전하면서 다인 플레이 형태가 더욱 대중화될 가능성이 높다.

■ “오래 기다린 미래가 다가온다”

결국 “스토리텔링에서 스토리리빙으로의 전환”은 기술 발전 속도가 관건이지만, 디즈니-마블-루카스필름 등 초대형 IP 스튜디오들의 협업과 연구, 그리고 ILMxLAB 같은 실험 정신이 뒷받침한다면, 머지않아 더 많은 이들이 이 몰입형 미래를 맞이할 것으로 기대된다.

ILM Immersive: Inviting Fans to Step Inside Our Stories

ILM Immersive (formerly ILMxLAB) is the interactive entertainment and immersive storytelling studio under Lucasfilm—best known for creating the Star Wars franchise—focused on developing virtual reality (VR) and mixed reality (MR) technologies. Established in 2015 as ILMxLAB, the studio has introduced a unique portfolio of works across various platforms for nearly a decade.

Major Works

ILM Immersive (ILMxLAB) has transformed various Lucasfilm productions into content for games and immersive experiences. Examples include:

Star Wars: Secrets of the Empire
Vader Immortal: A Star Wars VR Series
CARNE y ARENA – An Academy Award-winning work
Avengers: Damage Control
Star Wars: Tales from the Galaxy’s Edge

Celebrating its 10th anniversary this year, ILM Immersive places great emphasis on offering users even more immersive experiences, aiming to let them directly participate in stories and advance the narrative through meaningful choices.²⁵

Recently, ILM Immersive has continued exploring new possibilities in immersive storytelling and entertainment technology. Notably, it introduced “What If…? – An Immersive Story,” a mixed reality experience from Marvel Studios and Disney+ showcased on Apple Vision Pro.⁶

The Evolution of Immersive Storytelling

Marking its 10th anniversary, ILM Immersive held a session at SXSW2025, one of the world’s largest entertainment tech festivals, to discuss the evolution of immersive technology. Titled “ILM Immersive: Inviting Fans to Step Inside Our Stories,” the session took place in Austin on March 10 during SXSW2025. ILM Immersive explored how mixed reality (MR) has developed over the past decade and how these innovations are “inviting fans to step inside the story.” Speakers included Vicki Dobbs Beck, Alyssa Finley, Jonathan Harman, Mark S. Miller, and Elizabeth Walker.¹³⁵

The ILMxLAB team shared insights from its decade of creating VR/AR immersive content and suggested directions for the future of entertainment. Spun out from Industrial Light & Magic (ILM)—Lucasfilm’s special effects studio—ILMxLAB is a storytelling innovation division that has brought various IPs, including Star Wars, to next-generation platforms such as VR, AR, and MR.

ILM Immersive is well known for its home VR experiences, many of which are game-related. These include the Emmy-nominated Vader Immortal: A Star Wars VR Series and the Academy Award-winning CARNE y ARENA, as well as the recent “What If…? – An Immersive Story” on Apple Vision Pro’s spatial computing platform.

Going beyond simple VR gaming, ILMxLAB’s concept of Immersive Storytelling demonstrates the potential of “experiential narratives” that combine cinematic storytelling with emotion, empathy, and choice. While VR was previously held back from mass adoption by hardware limitations and a shortage of content, recent advancements in AI, lighter devices, and the strong investment of major entertainment companies have ignited a real growth curve in the “experiential narrative market” centered around VR.

At SXSW2025, ILMxLAB predicted that while VR and AR have thus far been spread mainly among gaming enthusiasts, they will expand into film, music, education, healthcare, and many other fields over the next few years.

For instance, in Vader Immortal, the opportunity to “physically hold a lightsaber and confront Darth Vader” offered a level of immersion never before seen by global audiences. But the next phase is expected to go beyond simply having the audience participate in the story, envisioning a widespread AR/MR experience where “the story actually invades the audience’s physical reality.”

At the stage of “storyliving,” the audience does not merely watch the story but instead participates in and influences it through direct action. In short, the shift from “storytelling to storyliving” will depend on the pace of technological progress. However, major IP studios such as Disney, Marvel, and Lucasfilm continue to research and develop new ways to bring about this future era of immersive storytelling.

The Rise of VR Storytelling and the Start of ILMxLAB

According to ILMxLAB Vice President Vicki Dobbs Beck, the studio’s core vision is to go beyond “storytelling” to achieve “storyliving.” In other words, rather than having audiences passively “hear and see” a story, the goal is for them to become active participants who “step directly into the world of the story and interact with it.”

The origin of the “storyliving” concept dates back to 2013, when ILM’s real-time graphics research team joined forces with former members of LucasArts’ game team. Around that time, early VR headsets such as the Oculus DK2 were emerging, prompting ILMxLAB’s founding members to experiment with the question: “What if we could actually see the Star Wars universe in VR?” This led to small-scale R&D projects exploring that possibility.

The First Experiment: “Trials on Tatooine”

Mark S. Miller, Vice President at ILMxLAB, cited “Trials on Tatooine” as an early VR project. This experimental demo placed the user on Tatooine’s desert sands, where they could see the Millennium Falcon fly overhead. Soon after, the user would receive a lightsaber and perform simple interactive tasks like blocking Stormtrooper blaster fire.

Though the playtime was short, anyone who tried the demo experienced a powerful sense of “I’ve really entered the Star Wars world.” It became a significant case study demonstrating VR storytelling’s capacity for generating “presence.”

“Carne y Arena”: VR’s Emotional Empathy

Another early milestone for ILMxLAB was “Carne y Arena”, a collaboration with director Alejandro G. Iñárritu, who won an Oscar for this work. Depicting the arrest of immigrants at the U.S.-Mexico border, this VR experience goes beyond simply watching a 360° video. Instead, it places viewers right in the middle of the scene, allowing them to physically sense the people and the environment around them.

Vicki Dobbs Beck noted that despite its brevity—about six minutes long—Carne y Arena had a substantial emotional impact, underscoring VR’s ability to foster deep empathy. In the final scene, for example, participants found themselves exposed to the guns and searchlights of border patrol agents, and many reflexively crouched or recoiled in response to the intense immersion.

In 2017, Carne y Arena became the first VR piece ever invited to the Cannes Film Festival. It later won a Special Oscar, recognized as an innovative work of visual art. The project demonstrates that VR is not “just for entertainment” but can serve as a powerful artistic medium that delivers profound emotional messages to its audience.

“Vader Immortal”: An Official Narrative on a Large Scale

ILMxLAB’s most widely recognized VR storytelling achievement is the Vader Immortal: A Star Wars VR Series, a multi-episode official Star Wars spinoff featuring hours of content across all chapters. Mark S. Miller explained the creative spark behind it: “We’ve always wondered what Darth Vader was doing around that lonely castle on Mustafar’s volcanic surface.”

Renowned writer and filmmaker David Goyer contributed to the screenplay, filling in narrative gaps within the official Star Wars canon and letting the user experience training in the Force and eventually confronting Darth Vader directly. Initially, the user was conceptualized as a “ghost”—only passively observing events. But to maximize VR’s interactivity and sense of presence, ILMxLAB decided that the user should stand at the center of the story instead.
Accordingly, in Episode 1, players learn the basics of lightsaber combat and the Force. In Episode 2, Vader teaches them how to use the Force. Finally, in the concluding episode, they face Vader himself.

Collaborating with Marvel: “What If…?” and Real-Time Rocket

Beyond Star Wars, ILMxLAB has expanded into Disney, Marvel, and more. One particularly notable example is the “What If…?” mixed reality project showcased through Apple’s Vision Pro device.
Jonathan Harmon, Technical Art Supervisor, explains that the Vision Pro’s precise eye and hand-tracking enable users to feel as though animated Marvel characters appear in their actual living space. The device can seamlessly switch between full VR mode and MR mode, making your real-world environment instantly transform into a hero’s universe.

Live Entertainment Technology: “Real-Time Rocket”

Another highlight is the “Real-Time Rocket” project for live events. At Disney’s D23 Expo (at the Marvel booth), “Rocket Raccoon” from Guardians of the Galaxy could speak and interact in real time with attendees. Rather than watching pre-recorded footage, visitors experienced Rocket directly calling them out—“Hey, you in the pink necklace!”—leading to spontaneous banter. Over three days, more than ten thousand people interacted with Rocket, whose on-screen appearance was driven by ILMxLAB’s real-time rendering technology.

From “Storytelling” to “Storyliving”

The presenters expressed optimism about the next level of “narrative experiences” blending VR/AR/MR devices with cloud streaming.

Lighter, More Convenient Hardware
Headsets are becoming far lighter than before, with enhanced fields of view and resolution. Rapidly evolving communication and mobile processing technologies are making them easier to wear and share, lowering the barrier to entry for the public.

Citywide AR Storyliving
ILMxLAB is experimenting with “Epic AR” at urban scale, overlaying digital worlds onto entire cities and blending narratives with everyday reality. For instance, with AR glasses, a city center—not just a dedicated theme park like Disneyland or Universal Studios—could become a stage where Star Wars, Marvel, or other universes merge with real life. Achieving this requires not only advanced optical technology but also high-quality rendering via cloud streaming and precise geo-location tracking. Digital characters and objects must cast accurate shadows on real buildings or surfaces and share consistent lighting to deliver photorealistic immersion.

Transmedia & Cross-Platform
ILMxLAB envisions using a single IP to tell related stories across films, TV series, games, VR, AR, and live events, all interconnected in an organic way. They emphasize that if the world-building is rich, it can expand onto any platform, and each medium’s unique strengths should be used in harmony.

Multiplayer & Social Experience
While most VR/AR has been single-player, multi-user experiences—where friends and family can simultaneously enter the same virtual world to cooperate or compete—are becoming more feasible. The VOID’s “Secrets of the Empire” is an example of an offline multi-user VR experience. With continued improvements in at-home devices and cloud infrastructure, this kind of multi-user play could become much more common.

“The Long-Awaited Future Is Approaching”

Ultimately, shifting “from storytelling to storyliving” hinges on technological progress. Yet, the research and collaborations undertaken by major IP studios like Disney, Marvel, and Lucasfilm—as well as ILMxLAB’s pioneering spirit—suggest that a new immersive future may be much closer than we think. Soon, far more people will likely have the chance to step inside the stories they love and actively engage with them in unprecedented ways.

ILM Shares Secrets of Future Immersive Storytelling

"ILM Shares Secrets of Future Immersive Storytelling | SXSW LIVE," delves into the innovative work of ILM in the immersive storytelling space. The central theme revolves around how ILM is pushing the boundaries of storytelling through virtual and mixed reality technologies.

Key members of the ILM team discuss their journey, from early experiments like Trials on Tatooine to groundbreaking projects like Vader Immortal and Carne y Arena, highlighting the evolution from traditional storytelling to story living. They also explore the potential of new platforms like Apple Vision Pro with their What If...? immersive experience, emphasizing the power of presence and connection in VR and mixed reality to create deeper emotional impacts and transformative experiences.

1. 🎬 ILM's Journey into Immersive Storytelling (00:00:05)

. ILM's immersive storytelling studio celebrates its 10-year anniversary, originating from a combination of Lucasfilm Learning, Lucas Arts games, and ILM's R&D efforts.

. The studio's foundation was built on achieving interactive, high-quality visuals and sound, coinciding with the emergence of virtual reality technologies.

. Vicky Dobbs Beck, with 33 years at Lucasfilm, saw VR as a mind-blowing new way to tell stories, believing Lucasfilm should be at the forefront of storytelling innovation.

. Mark S. Miller transitioned from film production to immersive storytelling, recognizing VR as the perfect platform for character interaction and deep fan engagement, especially with Star Wars.

. The team aimed to apply the same processes and attention to detail from movie production to their new immersive storytelling ventures.

1. 🎬 ILM의 몰입형 스토리텔링 여정 (00:00:05)

ILM의 몰입형 스토리텔링 스튜디오는 창립 10주년을 맞이했으며, 이는 Lucasfilm Learning, LucasArts 게임팀, 그리고 ILM의 R&D(연구개발) 노력이 결합되어 탄생한 것이다.
스튜디오의 기반은 상호작용성과 고품질 비주얼·사운드를 구현하려는 목표에서 출발했으며, 이는 마침 가상현실(VR) 기술이 등장하던 시기와 맞물려 있었다.
비키 돕스 벡(Vicky Dobbs Beck)은 33년간 루카스필름에서 근무하며 VR이 제시하는 새로운 스토리텔링 가능성에 주목, “루카스필름은 스토리텔링 혁신의 최전선에 서 있어야 한다”고 강조했다.
마크 S. 밀러(Mark S. Miller)는 영화 제작에서 몰입형 스토리텔링으로 전환, 특히 스타워즈 세계관을 VR로 구현하며 팬들에게 깊은 몰입과 캐릭터 상호작용 기회를 제공할 수 있음을 깨달았다.
ILM 팀은 영화 제작에서 쌓은 공정을 VR에서도 동일하게 적용하고, 정교함과 디테일에 집중해 몰입형 스토리텔링을 새롭게 개척하고자 했다.

1.3. ILM's Immersive Storytelling Journey

. ILM team introduces their 10-year journey in the immersive storytelling space at SXSW.

. Elizabeth Walker leads the presentation with team members Mark S. Miller, Vicky Dobbs Beck, Alysa Finley, and Jonathan Harmon.

. Vicky Dobbs Beck, VP of Content Innovation, is described as the "queen bee" leading strategy and vision for ILM's immersive projects.

. The team represents various roles including creative production, content innovation, executive production, and technical art supervision.

. ILM's immersive studio celebrates its 10th anniversary, marking a significant milestone in their innovative storytelling efforts.

1.4. Origins of ILM's Immersive Storytelling Division

. In the early 90s, Lucasfilm Learning combined storytelling, interactivity, and high-quality visuals using computer-driven laser disc technology.

. A team from Lucas Arts games and ILM formed a "Rebel unit" in 2013, focusing on R&D in high-fidelity real-time graphics.

. The emergence of virtual reality technology, particularly the Oculus DK2 headset, was a mind-blowing experience that showcased the power of immersive worlds.

. Lucasfilm saw the combination of R&D and new VR devices as an opportunity to explore new ways of storytelling.

. The studio for immersive storytelling was established based on the foundation of interactive, high-quality visuals and sound achieved through earlier R&D efforts.

1.5. ILM's Strategic Shift to Immersive Storytelling

. ILM was actively searching for "Blue Ocean" opportunities, representing unexplored areas in the industry.

. The concept of "Blue Ocean" refers to defining and creating a new industry or market space.

. This strategic approach guided ILM's venture into immersive storytelling technologies.

. The shift towards immersive storytelling was seen as a way to pioneer new frontiers in the entertainment industry.

. ILM viewed this transition as a relatively straightforward decision, aligning with their innovative ethos.

1.6. Mark Miller's Journey into Immersive Storytelling

. Mark Miller's career took an unexpected turn when he lost his job at Lucasfilm after a Star Wars movie project was cancelled.

. The day after losing his job, Miller was invited to join XLab (now ILMxLAB) to lead development and production, bringing movie-making processes to VR.

. Initially skeptical about VR, Miller's perspective changed as he explored the technology, realizing its potential for interactive storytelling and character engagement.

. Miller recognized VR as the perfect platform for immersing fans deeply into universes like Star Wars, calling it a "perfect marriage" of technology and storytelling.

. The transition from traditional filmmaking to VR allowed Miller to apply his extensive film experience to a new, innovative medium for storytelling.

1.3 ILM의 몰입형 스토리텔링 10년 발자취

ILM 팀은 SXSW 무대에서 10년간 이어온 몰입형 스토리텔링 노하우를 소개했다.
엘리자베스 워커(Elizabeth Walker)가 진행을 맡았고, 마크 S. 밀러, 비키 돕스 벡, 알리사 핀리(Alysa Finley), 조너선 하먼(Jonathan Harmon)이 함께 발표했다.
비키 돕스 벡은 ‘여왕벌(queen bee)’로 불릴 만큼 ILM의 전략과 비전을 이끄는 콘텐츠 이노베이션 부사장이다.
팀은 크리에이티브 프로덕션, 콘텐츠 이노베이션, 이그제큐티브 프로듀서, 테크니컬 아트 슈퍼바이저 등 다양한 역할을 맡고 있다.
몰입형 스튜디오 창립 10주년은 이들의 혁신적 스토리텔링 노력이 얼마나 큰 변화를 이끌어왔는지 보여주는 상징적 이정표이다.

1.4 ILM 몰입형 스토리텔링 부문의 기원

1990년대 초반, Lucasfilm Learning이 스토리텔링·상호작용·고품질 비주얼을 컴퓨터 기반 레이저디스크로 구현하는 실험을 진행했다.
2013년경, LucasArts 게임팀과 ILM의 일부가 ‘반란군(Rebel unit)’처럼 조직되어, 고품질 실시간 그래픽 R&D에 집중했다.
오큘러스 DK2와 같은 VR 헤드셋의 등장은 “가상 세계 속으로 직접 들어간다는 것”이 얼마나 충격적인지를 실감하게 만들었다.
루카스필름은 R&D 성과와 신규 VR 기기를 결합해 스토리텔링의 새로운 길을 모색했다.
상호작용성과 고품질 비주얼·사운드라는 토대 위에서, 몰입형 스토리텔링 전담 스튜디오가 본격적으로 출범했다.

1.5 ILM의 전략적 전환: 몰입형 스토리텔링

ILM은 업계에서 전례 없는 새로운 시장(Blue Ocean)을 찾고 있었고, 이는 미개척 분야를 개척하는 전략과 맞물려 있었다.
“Blue Ocean”은 새로운 산업이나 시장을 정의하고 창출해내는 개념으로, ILM의 VR·AR 탐구에 핵심 동력이 되었다.
몰입형 스토리텔링으로의 전환은 엔터테인먼트 산업의 새로운 영역을 선점하고자 한 ILM의 혁신적 방향성을 보여준다.
스튜디오는 이런 시도를 일종의 “당연한 수순”으로 바라봤으며, 그간 축적된 기술·창의력을 응집해 새 무대를 열고자 했다.

1.6 마크 밀러의 몰입형 스토리텔링 여정

한때 루카스필름에서 스타워즈 영화 제작을 맡았던 마크 밀러는, 프로젝트가 무산되면서 갑작스럽게 직장을 잃게 되었다.
해고 직후, XLab(현 ILMxLAB)에서 개발·프로덕션을 총괄해달라는 제안을 받았고, 영화 제작 공정을 VR에 접목하는 역할을 맡았다.
초기에는 VR에 회의적이었지만 직접 체험한 뒤, 캐릭터 상호작용과 팬 몰입에 특화된 플랫폼이라는 점을 깨닫고 생각이 바뀌었다.
스타워즈 같은 거대 IP와 VR 기술의 결합이 “완벽한 결혼(perfect marriage)”이라는 확신을 갖게 되었다.
전통 영화 경험을 기반으로 새롭고 혁신적인 스토리텔링 매체인 VR에 도전하면서, 몰입형 컨텐츠의 제작 과정을 정립했다.

2. 🎬 Evolution of ILMxLAB's Immersive Storytelling (00:22:44)

. ILMxLAB aimed to transition from storytelling to story living, allowing fans to step inside stories and make meaningful choices that drive the narrative forward.

. "Trials on Tatooine" was an early experiment that placed users in the Star Wars universe, featuring the Millennium Falcon landing and lightsaber interactions.

. Vader Immortal, a three-part narrative series, marked a significant leap from short experiences to multi-hour projects, expanding Star Wars canon.

. The team pivoted from a film-like approach to focusing on VR's strengths: the power of presence and connection with characters, making the user the center of the story.

. Vader Immortal's development emphasized interactivity, allowing users to wield lightsabers, use the Force, and directly confront Vader, creating impactful personal experiences.

2.1. Early Vision and Experiments in VR Storytelling

. ILM aimed to transition from storytelling to story living, inviting fans to step inside stories in unprecedented ways.

. The goal was to put users at the center of the narrative, making them the hero through virtual and mixed reality technologies.

. "Trials on Tatooine" was one of their first experiments, simulating the Millennium Falcon landing experience in VR.

. This project included interactive elements like deflecting blaster bolts with a lightsaber, marking ILM's first foray into immersive Star Wars experiences.

. "Trials on Tatooine" became a foundational project for ILM, shared with the world around 2016-2017.

2.2. Joining ILMxLAB: Diverse Paths to Immersive Storytelling

. Team members came from varied backgrounds, including games, film, and early VR photography, bringing expertise in interactive storytelling and big IPs.

. One member's journey involved working on major game titles before learning about ILMxLAB's innovative projects, leading to a successful job application.

. Another's experience with VR hardware and the powerful impact of Vader Immortal inspired them to join, particularly impressed by the sense of scale and presence.

. The immersive experience of standing next to Darth Vader in VR created a unique and compelling feeling for a lifelong Star Wars fan.

. Early attempts to join Lucasfilm didn't succeed, but persistence and gaining relevant experience eventually led to joining ILMxLAB.

2.3. Vader Immortal: Crafting an Immersive Star Wars Experience

. Vader Immortal, a three-part narrative series released in 2019 for Meta Quest, explores a specific portion of Darth Vader's life.

. The project benefited from unprecedented access to Lucasfilm resources, including scripts, artwork, and directors of Star Wars films.

. Creators discovered Vader had been living in a brutalist castle on Mustafar since his transformation, inspiring the story's setting.

. The narrative focused on filling the gap in Vader's history while incorporating interactive elements like lightsaber use and Force powers.

. Development involved balancing storytelling with engaging gameplay, ensuring players had meaningful actions throughout the experience.

2.4. Pivotal Shift in Vader Immortal's Development

. Initially, Vader Immortal was approached like a film, with the user as a passive observer for over a year of development.

. The team realized they weren't leveraging VR's strengths: the power of presence and connection with characters.

. A major pivot made the user the story's center, focusing on their unfolding relationship with Vader.

. A test scene in a cell with Vader approaching proved the impactful presence possible in VR, even without dialogue.

. This experience gave the team confidence to pursue the new direction, emphasizing connection and pacing in VR storytelling.

2.5. Alyssa's Role in Vader Immortal Development

. Alyssa joined ILMxLAB during the production of Vader Immortal, bringing her experience in episode development.

. The project focused on creating impactful moments, making players feel small yet special in Vader's presence.

. Episode two allowed players to learn Force powers from Vader, while episode three culminated in a direct confrontation.

. Alyssa emphasized principles of interactivity, presence, and story living to create immersive experiences.

. The development process aimed to let people feel the experience and take it away as their own.

2. 🎬 ILMxLAB 몰입형 스토리텔링의 진화 (00:22:44)

ILMxLAB은 관객이 이야기를 단순히 ‘보는’ 단계를 넘어, ‘스토리 속에서 살아가는’(Story Living) 것을 목표로 삼았다.
Trials on Tatooine’은 초기 실험으로, 밀레니엄 팔콘이 착륙하는 순간을 VR로 재현하고 라이트세이버 상호작용을 추가해 주목받았다.
‘Vader Immortal’은 세 개의 에피소드로 구성된 대규모 서사 시리즈로, 짧은 체험에서 벗어나 스타워즈 정식 세계관을 확장했다.
초기에는 영화처럼 전개했지만, VR 고유의 장점(존재감·캐릭터와의 연결)을 살리기 위해 사용자를 이야기 중심으로 대대적 전환을 꾀했다.
유저가 라이트세이버를 사용하고, 포스를 익히며 베이더와 대치하는 등 개인적·직접적 체험을 제공함으로써 몰입감을 극대화했다.

2.1 VR 스토리텔링 초기 비전과 실험

ILM은 스토리텔링에서 스토리 리빙으로 진화, 팬들을 전례 없이 이야기 안으로 초대하고자 했다.
사용자가 가상·혼합현실 기술을 통해 이야기에 중심이 되고, meaningful한 선택을 하도록 유도하는 것이 목표였다.
‘Trials on Tatooine’은 그 첫 걸음으로, VR 속에서 스타워즈 세계관을 직접 맛볼 수 있는 체험이었다.
이 체험에는 밀레니엄 팔콘 착륙, 라이트세이버로 블래스터를 막아내는 간단한 상호작용이 포함됐다.
2016~2017년 무렵 대중에게 공개되어, 이후 ILM 프로젝트의 기초가 되었다.

2.2 ILMxLAB에 합류한 다양한 배경의 인재들

팀원들은 게임, 영화, 초기 VR 사진(QuickTime VR 등) 분야 등 서로 다른 배경에서 경험을 쌓아 왔다.
대형 게임 타이틀을 작업하던 멤버가 ILMxLAB의 혁신적 프로젝트 소식을 듣고 합류한 사례가 소개되었다.
한 멤버는 VR 기기를 꾸준히 실험하던 중 ‘Vader Immortal’의 강렬한 스케일·존재감에 매료되어 입사 지원을 결심했다.
어릴 적부터 스타워즈 팬이었던 그는, 다스 베이더 옆에 서 보는 경험이 “전례 없는 감동”이었다고 말한다.
처음 Lucasfilm 지원에 실패했지만, 관련 경험을 쌓은 뒤 재도전해 ILMxLAB의 문을 두드린 이도 있었다.

2.3 ‘Vader Immortal’: 몰입형 스타워즈의 정수

2019년 메타 퀘스트(구 오큘러스 퀘스트)로 출시된 세 편짜리 시리즈 **‘Vader Immortal’**은 다스 베이더의 특정 시점에 초점을 맞춘다.
이 프로젝트는 루카스필름 리소스(각본, 아트워크, 영화 감독들과의 협업)에 대한 전례 없는 접근 권한을 얻었다.
창작진은 베이더가 이전 작품 이후 무스타파의 화산 근처에 있는 성에서 보낸 시간에 착안하여 스토리를 구상했다.
스토리 공백을 메우면서, 라이트세이버·포스 같은 상호작용 요소를 결합해 플레이어가 직접 행동하도록 설계했다.
핵심은 서사를 탄탄히 하되, 사용자에게 끊임없이 의미 있는 동작을 부여해 몰입도를 유지하는 것이었다.

2.4 ‘Vader Immortal’ 개발 과정의 전환점

초기에는 사용자(플레이어)를 **‘유령 같은 관찰자’**로 설정해, 이야기가 주변에서 전개되도록 했다(영화적 접근).
1년 넘게 개발을 진행한 뒤, “VR의 장점(존재감·캐릭터와의 직접 교감)을 살리지 못한다”는 문제가 대두되었다.
결국 대대적 방향 전환을 통해, 유저가 서사의 주인공이 되어 다스 베이더와 직접 관계를 맺는 스토리로 재설계했다.
베이더가 감방 문을 열고 다가오는 시퀀스 테스트에서, 압도적 존재감 때문에 대사가 들리지 않을 정도로 플레이어가 긴장했다.
이 테스트가 VR 내에서 캐릭터 ‘연결감’의 위력을 증명해줬고, 이후 전체 스토리를 재구성하는 자신감을 얻었다.

2.5 알리사의 ‘Vader Immortal’ 참여

알리사(Alyssa)는 에피소드 1이 이미 제작 중이던 시점에 합류하여, 에피소드형 스토리 개발 역량을 보탰다.
플레이어가 작아 보이지만, 동시에 베이더가 찾던 ‘특별한 존재’가 된다는 감각을 형성하는 데 주력했다.
에피소드 2에서는 베이더에게 포스 사용하는 법을 배우고, 에피소드 3에서는 직접 베이더와 맞서는 경험으로 이어진다.
알리사는 상호작용성·존재감·스토리 리빙의 원칙을 강조하여, 체험 자체가 플레이어의 기억에 남도록 했다.
이 개발 과정은 “플레이어가 직접 느끼고 가져갈 수 있는 체험”을 제공하는 데 초점을 맞췄다.

3. 🎬 Immersive Storytelling: From VR to Mixed Reality (00:36:08)

. Carne y Arena, a VR project directed by Alejandro Iñárritu, showcased the emotional impact of immersive storytelling, winning a special Oscar for its powerful narrative in a new medium.

. The project placed viewers in the center of a border-crossing experience, creating an intense emotional connection that lasted beyond the 6.5-minute runtime.

. What If...?, an immersive story for Apple Vision Pro, seamlessly blends virtual and mixed reality, allowing characters to appear in the user's real space with eye-tracking technology.

. The Apple Vision Pro device's pass-through quality and hand tracking create an intuitive and revolutionary experience, blurring the line between virtual and physical worlds.

. Realtime Rocket, a live interactive experience at D23 Expo, brought Rocket Raccoon to life for fans, demonstrating the potential of real-time character interactions in extended reality.

3.1. Carne y Arena: Pioneering VR Storytelling

. Carne y Arena, directed by Alejandro Iñárritu, was ILM's first major public-facing VR project after Trials on Tatooine.

. The 6.5-minute VR experience depicts immigrants crossing the US-Mexico border at night, designed as a museum installation.

. Iñárritu recognized VR's potential for deeper emotional impact compared to traditional film, envisioning it as "VR first".

. The project received critical acclaim, becoming the first VR selection at Cannes and winning a special Oscar for powerful storytelling in a new medium.

. Despite being years since experiencing it, the intensity of emotions from Carne y Arena remains profound and memorable.

3.2. Powerful Immersion in 'Carne y Arena'

. The visionary director approached the project by filming with actors in the desert, creating a guide for the VR experience.

. This filming process became the foundation for designing the visitor's path through the open world and identifying key points of interest.

. The experience allows users to be a "fly on the wall," observing conversations among a group of people.

. A powerful moment occurs when border patrol turns lights and guns on the user, eliciting strong reactions like falling to knees or freezing.

. The immersive nature of the experience creates super powerful emotional responses from participants.

3.3. 'What If...?' Brings Marvel to Mixed Reality

. 'What If...?' is an immersive extension of the animated Marvel Studios TV show on Disney Plus.

. The project utilizes mixed reality technology on Apple Vision Pro, seamlessly transitioning between virtual and mixed reality.

. Apple Vision Pro offers an innovative experience with hand and eye tracking for intuitive navigation.

. The immersive story explores hypothetical storylines with familiar Marvel characters, providing a creative sandbox for the team.

. This project demonstrates the power of VR to connect with audiences in unique ways compared to traditional storytelling mediums.

3.4. Creative Journey and Technical Breakthroughs in 'What If...?'

. The project initially began with traditional film-like thinking, viewed on computer monitors.

. Access to the Apple Vision Pro device revolutionized the experience, offering incredible pass-through quality and character presence.

. The device's clarity was so impressive that working through it became seamless, blurring the line between virtual and real.

. Eye tracking technology enabled characters to maintain direct eye contact, enhancing the feeling of presence and interaction.

. This project marked a significant advancement in immersive storytelling, seamlessly blending VR and augmented reality.

3.5. Realtime Rocket: Interactive Marvel Experience at D23 Expo

. Realtime Rocket project brought Rocket Raccoon to life as an interactive character at the D23 Expo Marvel booth, providing a unique meet-and-greet experience.

. The project involved collaboration between ILMxLAB, Disney Studio Lab, Marvel Studios, and Disney Live Entertainment, facing challenges of 100% uptime for 11 hours daily.

. Technology allowed Rocket to interact in real-time, recognizing and engaging with fans, creating unexpected and delightful experiences.

. The experience was part of a TVA agent trainee scenario, where attendees explored time portals before meeting Rocket.

. Over 3.5 days, the Realtime Rocket project entertained approximately 10,000 people, demonstrating successful live interactive entertainment at a large scale.

3. 🎬 몰입형 스토리텔링: VR에서 MR로 (00:36:08)

**‘Carne y Arena’(카르네 이 레나)**는 VR을 통해 강력한 감정적 효과를 일으킨 작품으로, 새로운 매체에서의 서사적 성과를 인정받아 특별 오스카상을 수상했다.
알레한드로 이냐리투(Alejandro Iñárritu)가 연출한 이 VR 체험은 국경을 넘는 이민자 경험을 구현해, 단 6분 남짓에도 불구하고 관객에게 깊은 감정적 충격을 남겼다.
Apple Vision Pro에서 선보일 ‘What If...?’ 몰입형 스토리는 가상현실과 혼합현실을 매끄럽게 오가며, 눈동자 추적을 통해 캐릭터들이 사용자의 시선을 정확히 바라본다.
Apple Vision Pro의 패스스루(pass-through)와 손 추적 기술은 현실과 가상의 경계를 허무는 혁신적인 체험을 가능케 한다.
‘Realtime Rocket’(리얼타임 로켓) 프로젝트는 라이브 캐릭터 ‘로켓 라쿤’을 팬들 앞에서 실시간으로 구현하여, 대규모 박람회 현장에서 상호작용하는 새로운 형태의 XR 체험을 보여주었다.

3.1 ‘Carne y Arena’: VR 스토리텔링의 선구적 사례

‘Carne y Arena’는 ‘Trials on Tatooine’ 이후, ILM이 공개적으로 선보인 VR 프로젝트 중 가장 큰 화제를 모았다.
미술관 설치물 형태로 제작된 이 작품은, 밤중에 국경을 넘다 체포되는 이민자 집단을 1인칭으로 체감하게 만든다.
감독 이냐리투는 전통 영화보다 더 깊은 정서적 몰입을 제공할 수 있는 VR 매체의 잠재력을 ‘VR 퍼스트’ 접근으로 실현했다.
2017년 칸 영화제 최초의 VR 초청작이자, 새로운 매체에서 강력한 서사를 펼쳤다는 공로로 특별 오스카상을 받았다.
체험 시간이 짧음에도, 한 번 겪은 사람은 오래도록 강렬한 감정을 기억할 만큼 영향력이 컸다.

3.2 ‘Carne y Arena’의 강력한 몰입감

감독은 실제 사막에서 배우·스태프와 함께 로케이션 촬영을 하고, 이를 VR 설계의 가이드로 삼았다.
사용자가 VR 속을 자유롭게 이동하며, 이민자 그룹 대화를 엿듣다가 결정적 순간에 국경순찰대의 총구와 서치라이트를 직면하게 된다.
관객 중 일부는 실제로 무릎을 꿇거나 몸을 웅크리는 등 극도의 공포와 긴장 반응을 보일 정도로 몰입도가 높았다.
“당신이 거기 있다”는 강렬한 체험이, 전례 없는 감정적 반응을 이끌어낸 대표 사례다.

3.3 ‘What If...?’: 마블을 혼합현실로 확장

디즈니 플러스 애니메이션 시리즈 **‘What If...?’**를 기반으로 한 몰입형 확장판으로, Apple Vision Pro 기기를 활용한다.
가상현실과 혼합현실을 자연스럽게 넘나들며, 사용자 현실 공간에 마블 캐릭터가 등장해 말을 거는 형태다.
Apple Vision Pro는 손 추적, 눈 추적 기능을 제공해 직관적 조작이 가능하고, 높은 패스스루 품질로 현실 배경을 그대로 보여준다.
기존 TV 시리즈의 ‘가상 시나리오’를 확장해, 다양한 캐릭터와 스토리를 탐색할 수 있는 창의적 무대를 마련했다.
‘What If...?’ 프로젝트는 전통적 영상 매체와 달리 사용자와의 능동적 교감을 통해 몰입과 서사를 더욱 강화한다.

3.4 ‘What If...?’ 제작 과정과 기술 혁신

초기에는 모니터로만 보며 일반적인 영상 제작처럼 접근했으나, Vision Pro 실기를 체험한 뒤 인식이 완전히 바뀌었다.
기기의 뛰어난 시야 투과성과 해상도 덕에, 실제 내 방 안에 캐릭터가 함께 있는 듯한 현실감이 형성된다.
눈 추적 기술로 캐릭터가 사용자의 움직임·시선을 쫓아 반응함으로써 강력한 존재감이 구현된다.
VR·AR 간 전환이 유연해, 물리 세계와 가상 세계가 경계 없이 섞이는 새로운 경험을 제공한다.
이 프로젝트는 VR과 AR이 융합된 스토리텔링의 중요한 이정표로 평가된다.

3.5 ‘Realtime Rocket’: 마블 캐릭터의 실시간 소통

D23 엑스포 현장에서 ‘리얼타임 로켓’ 프로젝트를 통해 ‘가디언즈 오브 갤럭시’의 로켓 라쿤이 실시간으로 팬들과 상호작용했다.
ILMxLAB, 디즈니 스튜디오랩, 마블 스튜디오, 디즈니 라이브 엔터테인먼트가 협업하여 하루 11시간씩 3일간 쉬지 않고 운영했다.
로켓은 관람객을 “핑크색 목걸이 한 당신!”이라 실명 호명하며 대화를 주고받는 등 라이브 쇼처럼 진행되었다.
TVA 요원 훈련생이라는 설정을 도입해, 참석자들이 여러 포털을 조사한 뒤 로켓을 만나는 스토리로 전개되었다.
3일 반 동안 약 만여 명이 체험을 했으며, 실시간 렌더링 기술로 고품질 그래픽을 유지하며 대중에게 호평받았다.

4. 🔮 Future of Immersive Storytelling (00:47:37)

. Mixed reality and VR combinations are transforming storytelling, allowing for unexpected experiences in familiar places.

. AR story living at city scale is emerging, with geolocated story vignettes and cloud streaming enabling seamless blending of digital and physical worlds.

. Cross-platform storytelling is gaining traction, creating rich worlds with compelling characters across multiple devices and platforms.

. Integration of interactive content with traditional linear content is expanding, offering hybrid experiences and "lean-back" options for users.

. Lightweight VR devices and the broadening of focus from gaming to entertainment are expected to drive mainstream adoption within the next couple of years.

4.1. Future Trends in Immersive Storytelling

. The convergence of software and hardware is creating an inflection point for immersive experiences, bringing film-like quality and presence to headset devices.

. Immersive storytelling is exploring diverse mechanisms beyond traditional technology, including entire buildings like the Sphere and animatronics.

. The power of mixed media allows for transformative experiences, combining mixed reality and VR to bring stories to unexpected places.

. Future innovations focus on interactive storytelling and delivering narratives in ways that blur the line between watching and participating.

. Excitement builds around the potential to engage audiences in new immersive ways, unrestricted by specific technologies or hardware.

4.2. Expanding Horizons of Immersive Storytelling

. AR story living at city scale is envisioned, using geolocated story vignettes throughout environments, anticipating future AR glasses technology.

. Experiments with cloud streaming enable seamless blending of digital and physical worlds, creating believable interactions with correct shadows and reflections.

. Transmedia storytelling is resurging, focusing on cross-platform narratives that leverage the strengths of individual platforms for a holistic experience.

. The industry is at a new touchpoint with major tech companies introducing innovative devices, though progress feels slow to some enthusiasts.

. Efforts are being made to create "lean-back experiences" that bring interactivity to home devices, allowing users to choose their level of engagement with the story.

4.3. Hybrid Experiences: Merging Linear and Interactive Content

. ILM is integrating linear film and television content with interactive experiences, creating hybrid forms of storytelling.

. The Abba Voyage show in London, directed by Ben Morris, is highlighted as an extraordinary example of this integration.

. This expanded capability allows ILM to be better creative partners and aspirational leaders in visual storytelling.

. The music industry is exploring new ways to bring immersive experiences to audiences, making shows more accessible.

. These developments are particularly relevant for events like SXSW, which focuses on the convergence of various media industries.

4.4. Future of VR Gaming: Mixed Reality and Accessibility

. Mixed reality integration with VR will transform stories and spaces, creating immersive real-time memory spaces.

. Lightweight VR devices are emerging, making the experience of putting on and sharing VR goggles much easier.

. A balance between accessible, shareable experiences and high-fidelity VR worlds is becoming possible with new devices.

. Seamless sharing of VR experiences, such as drawing apps, allows for collaborative viewing and interaction.

. The future of VR gaming lies in the combination of lightweight accessibility and high-fidelity immersion.

4.5. Mainstream Adoption and Multi-User Experiences in Immersive Tech

. Immersive tech is expected to go mainstream in the next couple of years, driven by a broader entertainment focus beyond gaming.

. The adoption of immersive tech will accelerate as devices become lighter, easier to use, and more shareable.

. Multi-viewer experiences are evolving, allowing users to interact and play together in virtual spaces, as seen in examples like The Void's productions.

. Younger generations are increasingly using VR headsets for social interactions, treating virtual spaces as digital playgrounds.

. The technology is rapidly evolving to address current limitations like battery life and device comfort, moving away from the "toaster with a battery" perception.

4. 🔮 몰입형 스토리텔링의 미래 (00:47:37)

혼합현실(MR)과 VR 결합으로 스토리텔링이 진화 중이며, 익숙한 공간에서도 예상치 못한 체험이 가능해지고 있다.
도시 전체 규모로 확장된 AR 스토리 리빙이 대두되고, 지리정보(Geo-location) 기반의 이야기 장면이 곳곳에 배치될 수 있다.
클라우드 스트리밍이 디지털·물리 세계를 매끄럽게 잇게 해주며, 그림자·반사 같은 세밀한 디테일까지 물리 세계와 일치시킨다.
크로스 플랫폼, 트랜스미디어 스토리텔링이 확산되며, 한 IP 세계관을 여러 디바이스와 매체에서 다채롭게 경험할 수 있게 된다.
게임 중심이었던 헤드셋 시장이 엔터테인먼트 전반으로 확대되면서, 경량화·편의성 향상과 함께 2~3년 내 대중화를 기대하고 있다.

4.1 몰입형 스토리텔링의 미래 트렌드

소프트웨어와 하드웨어의 융합이 가속화되어, 헤드셋 내에서도 영화 같은 품질과 현존감이 구현되는 전환점이 오고 있다.
건물 자체를 몰입형 공간으로 만드는 스피어(Sphere) 같은 사례나, 애니매트로닉스 등의 새로운 접근이 등장한다.
다양한 형태의 **혼합 미디어(mixed media)**가 결합되어, 단순 시청을 넘어 스토리에 참여하는 방식을 무궁무진하게 만든다.
사용자에게 “얼마나 능동적으로 이야기에 개입할 것인가”를 선택하게 하는 방식(lean-back/lean-forward)을 늘려나가는 중이다.
큰 제약 없이 관객을 깊이 끌어들이는 몰입형 경험을 구축하기 위한 업계의 열정이 커지고 있다.

4.2 몰입형 스토리텔링의 영역 확장

도시 단위 AR 스토리 리빙을 위해, 장소마다 지오로케이션 스토리를 제공하는 실험이 진행 중이다.
클라우드 스트리밍으로 디지털 객체와 물리 환경이 사실적으로 상호작용하며, 그림자·반사 등을 실시간으로 재현한다.
한때 사장됐던 ‘트랜스미디어(Transmedia)’가 다시 주목받으며, 플랫폼 간 유기적 연결을 통해 “전체가 부분의 합을 뛰어넘는” 경험을 추구한다.
빅 테크 기업들이 차세대 기기를 속속 내놓으면서, 기술 진보 속도가 빨라진 반면 아직 갈 길이 남았다는 시각도 존재한다.
집 TV나 PC 기반의 **‘lean-back 경험’**에도 상호작용 요소를 더해, 소비자가 원하는 수준만큼 몰입할 수 있게 하는 시도가 늘고 있다.

4.3 선형·인터랙티브 콘텐츠의 하이브리드화

ILM은 기존의 영화·TV와 상호작용형 콘텐츠를 융합해 하이브리드 스토리텔링을 구현하려 노력 중이다.
런던의 ‘Abba Voyage’ 쇼(벤 모리스 연출)는 라이브 공연과 디지털 기술을 결합한 놀라운 사례로 소개된다.
이런 통합 역량 덕분에 ILM은 더욱 강력한 비주얼 스토리텔링 파트너가 될 수 있고, 업계 리더십도 강화할 수 있다.
음악 업계 역시 공연을 확장하거나 원격으로 즐길 수 있는 몰입형 경험을 모색하고 있다.
이런 발전 방향은 여러 매체가 융합하는 SXSW의 성격과도 긴밀히 맞닿아 있다.

4.4 VR 게이밍의 미래: MR과 접근성

VR와 MR의 결합이 스토리를 확장하고, 사용자 주변 공간을 새롭게 변신시킴으로써 창의적 플레이를 가능케 한다.
경량·무선 VR 기기가 등장해, 공유와 착용이 간편해지고 있다.
보다 손쉽게 착용·교환 가능한 헤드셋들이 속속 출시되어, 고품질 VR 세계와 접근성 높은 경험 간 균형을 맞출 것으로 기대된다.
함께 그린 그림을 공유하거나, 여러 명이 동시에 VR 공간에서 놀이·탐험을 하는 등 협업형·소셜형 경험이 증가 추세다.
미래 VR 게이밍은 “접근성 높은 경량 기기”와 “고품질 몰입” 두 가지가 조화를 이룰 것으로 보인다.

4.5 대중화와 멀티 유저 경험

몰입형 기술이 단순 게임을 넘어 엔터테인먼트 전반으로 확장되면서, 향후 1~2년 내 주류 시장으로 진입할 것으로 예상한다.
기기가 더욱 가벼워지고 편의성이 개선됨에 따라, 일반 사용자도 쉽게 접하도록 진입장벽이 낮아진다.
다인 체험(multi-viewer experiences)이 늘어나, 더 보이드(The VOID) 사례처럼 여러 사람이 같은 공간에서 협동·경쟁하며 스토리를 즐길 수 있게 될 전망이다.
젊은 세대는 VR 헤드셋을 ‘디지털 놀이터’로 활용해 방과 후 약속까지 가상 공간에서 잡는 등 새로운 문화가 형성되고 있다.
하드웨어·배터리·착용감 문제 등을 해결하기 위한 노력도 빨라져, “머리에 쓰는 토스터”라는 인식을 벗어나고 있다.

5. 🎮 Balancing Audience Choices in Immersive Storytelling (01:02:33)

. Choice-based navigation allows audiences to decide which areas to explore and characters to interact with, branching the story while maintaining a central narrative spine.

. The main plot and overall structure are controlled by creators, but audiences can weave their way through the experience uniquely.

. Giving players positive reinforcement for their interactions and exploration is crucial to enhance the experience.

. Creators aim to provide unique experiences for repeat visits or different family members while maintaining the same core story.

. Balancing audience decisions with narrative control allows for personalized journeys within a structured storyline.

5.1. Advancements in XR Devices

. Wireless headsets significantly enhance user experience, eliminating limitations of cable connections.

. Future XR devices are expected to become lighter and smaller, with improved wearability and shareability.

. Upcoming devices promise to be easier to use, addressing long-standing user requests.

. The industry anticipates numerous advancements in XR technology in the coming years.

. Major tech companies like Google, Meta, and potentially Apple are driving these improvements in XR devices.

5.2. Convincing Decision-Makers to Adopt XR Technology

. Prototyping and experimentation are crucial to demonstrate the potential of XR technology to stakeholders.

. Creating small-scale experiments, like ILM's geolocated vignettes, can help push forward larger visions such as "epic AR".

. Forming strategic partnerships with aligned goals, like ILM's collaboration with Meta, can drive success in XR adoption.

. Tailoring communication to internal stakeholders is essential, focusing on advantages that resonate with their perspective.

. Leadership that prioritizes innovation and storytelling over immediate revenue is key to pushing boundaries in XR technology.

5.3. XR Integration in Theme Parks and Beyond

. Theme parks offer opportunities for enhanced interactions, including character interactions and hidden discoveries, expanding the playground for XR.

. Wearable devices will likely improve XR experiences in parks, overcoming current limitations of phone-based AR.

. The potential to bring theme park experiences into homes is an exciting prospect for expanding audience reach.

. Design decisions for multi-user experiences often draw inspiration from Imagineering principles used in theme parks.

. XR technology aims to bring more play to more people more often, extending beyond traditional theme park boundaries.

5.4. Extending Real-World Experiences with XR

. Tales from the Galaxy's Edge serves as a perfect example of integrating digital and real-world experiences without duplication.

. The experience allows visitors to explore areas outside of Galaxy's Edge and Black Spire Outpost in the Wilds of Batu.

. Unique locations were created that complement the park, such as Mabo's workshop's back room and views from Cecil Slack Cantina.

. The park serves as a jumping-off point for adventures in different time frames and locations within the Star Wars universe.

. This approach enables extensive storytelling, offering unique perspectives like learning the Force from different viewpoints.

5.5. Balancing User Agency and Narrative Control in XR Experiences

. ILM employs choice-based navigation in XR experiences, allowing users to explore different areas and characters while maintaining a central storyline.

. The approach aims to provide unique experiences for each user while preserving control over the main plot and overall story structure.

. User choices branch the story, but the narrative always returns to a central spine, ensuring coherence and progression.

. The focus is on positive reinforcement and encouraging interaction and exploration within the experience.

. This structure allows for replay value and different experiences for users, while still delivering the same core story.

5. 🎮 몰입형 스토리텔링에서 관객 선택의 균형 (01:02:33)

선택 기반 내비게이션(choice-based navigation)은 플레이어가 특정 장소나 인물을 만나는 순서를 고를 수 있으면서도, 전체 서사는 중앙 줄거리(spine)를 유지하는 방식을 취한다.
크리에이터는 큰 스토리 구조와 결말을 통제하면서도, 사용자가 선택하는 경로에 따라 세부 경험이 달라지게 한다.
사용자의 행동에 긍정적 보상을 제공하여, 탐험과 상호작용에 대한 동기 부여를 강화한다.
가족·친구가 각각 다른 순서로 플레이해도, 모두 같은 큰 줄거리를 공유하면서도 세부 체험은 달라진다.
이용자 자유도와 이야기 일관성을 균형 있게 조절하는 것은 몰입형 스토리텔링에서 핵심적 과제다.

5.1 XR 기기의 발전

무선 헤드셋은 유선 케이블 제약을 없애며, 훨씬 자유로운 움직임을 보장한다.
가까운 미래 XR 기기는 더욱 가볍고 작아질 것으로 예상되며, 착용성과 공유성이 대폭 향상될 전망이다.
이미 구글, 메타, 애플 등 대형 업체들이 차세대 XR 기기를 준비하고 있어, 사용자 요구에 부합하는 제품이 꾸준히 등장한다.
업계는 기존 한계를 해결하고, 보다 편안하고 직관적인 인터페이스를 제공하기 위해 적극적인 기술 개발을 추진 중이다.

5.2 XR 기술 도입을 위한 의사결정 설득

프로토타입과 실험 결과를 제시해, XR 기술이 제공하는 잠재력을 직접 보여주는 것이 유효하다.
ILM 역시 지오로케이션 바투(Batuu) 실험처럼 소규모 프로젝트를 통해, “도시 규모 에픽 AR” 같은 큰 청사진을 단계별로 설득했다.
목표가 일치하는 파트너십(예: ILM과 메타)은 XR 분야 성공에 큰 도움이 되었다.
내부 이해관계자에게 기술적 장점과 투자 가치를 맞춤형으로 제시해, 공감대를 끌어내야 한다.
단기 수익보다 혁신성과 스토리텔링 가치를 우선하는 리더십이 있을 때, XR 분야의 새로운 도전에 성공할 가능성이 커진다.

5.3 테마파크와 그 너머의 XR 활용

테마파크에서 캐릭터 상호작용, 줄 서는 동안의 엔터테인먼트 등 XR을 결합하면 한층 풍부한 체험을 제공할 수 있다.
향후 AR 안경 같은 웨어러블 디바이스가 보편화되면, 현재 폰 기반 AR의 제약이 크게 줄어들 전망이다.
테마파크 경험을 가정에서도 구현하거나 확장하는 시도도 흥미롭게 거론된다.
멀티 유저 경험 설계 시, 디즈니의 이매지니어링(Imagineering) 접근법이 큰 영감을 주고 있다.
목표는 더 많은 사람들에게, 더 자주, 더 폭넓은 ‘놀이’를 제공하는 것이며, 테마파크 내부든 외부든 XR이 크게 기여할 수 있다.

5.4 현실 세계 경험과 XR의 결합

‘Tales from the Galaxy’s Edge’는 실제 테마파크(갤럭시 엣지)와 디지털 세계를 연결하되, 중복 없이 확장하는 방식을 선보인 좋은 예다.
이는 블랙 스파이어 아웃포스트(Black Spire Outpost)의 외곽인 ‘와일드 오브 바투(Wilds of Batuu)’ 등 오프라인으로 못 가는 지역을 VR로 체험하게 한다.
이용자는 모보스 워크숍 뒷방 등, 테마파크에서는 볼 수 없는 공간도 들여다볼 수 있다.
시점·공간을 넘나드는 스토리라인 구성으로, 다른 시기에 다른 방식으로 포스를 배우는 색다른 경험을 제공한다.
이러한 확장은 “테마파크가 출발점이자, 더 넓은 세계로 들어가는 관문” 역할을 하도록 만든다.