혹시 이런 경험 해보신 적 있으신가요? 최신 AI 모델이 만든 영상이나 이미지 속 인물들이 꽤나 자연스럽게 움직이는데, 여러 인물이 동시에 등장해서 각자 다른 행동을 하도록 지시하면 갑자기 AI가 혼란에 빠지는 모습을 말이죠. 예를 들어, 한 인물에게는 “춤춰!“라고 하고 다른 인물에게는 “걸어!“라고 했는데, 엉뚱한 인물이 춤을 추거나 둘 다 어색하게 움직이는 상황이요. 마치 여러 명의 배우에게 동시에 다른 대본을 주고 연기하라고 했더니 동선이 꼬이고 대사가 뒤섞이는 연극 무대 같달까요?

최근 몇 년간 AI가 생성하는 이미지와 영상 기술은 놀라운 발전을 거듭했습니다. 텍스트 몇 줄만으로 상상 속의 장면을 현실처럼 구현해내는 시대가 도래했죠. 하지만 이 기술들은 대부분 ‘단일 주체(single-agent)‘의 움직임을 제어하는 데 집중되어 있었습니다. 즉, 한 번에 한 명의 인물이나 사물에 대한 지시를 처리하는 데는 능숙했지만, 복수의 인물들이 각자의 의도대로 정교하게 움직이도록 하는 것은 여전히 풀기 어려운 숙제였습니다.

오늘 우리가 살펴볼 ‘ActionParty’ 논문은 바로 이 근본적인 문제를 해결하려는 시도입니다. AI가 생성하는 가상 환경에서 여러 주체가 각자에게 할당된 행동을 정확하게 수행하도록 만드는, 다시 말해 ‘액션 바인딩(action binding)‘의 문제를 혁신적으로 풀어낸 연구입니다. 이 기술이 상용화된다면 우리가 상상하는 AI 기반의 게임, 시뮬레이션, 그리고 메타버스 환경은 지금과는 차원이 다른 몰입감과 현실감을 선사할 것입니다.

이 소식의 배경

최근 몇 년간 AI는 텍스트를 이미지로, 이미지를 영상으로, 이제는 텍스트를 영상으로 바로 만들어내는 비약적인 발전을 이루었습니다. Open AI의 Sora, Google의 Lumiere, Stability AI의 Stable Video Diffusion 등 텍스트 프롬프트만으로 현실과 구분하기 어려운 고품질 영상을 생성하는 ‘비디오 확산 모델(Video Diffusion Model)‘의 등장은 전 세계를 놀라게 했죠. 이 모델들은 단순히 정적인 이미지를 넘어, 시간의 흐름에 따라 변화하는 ‘세상 모델(World Model)‘을 구축하여 인터랙티브한 환경을 시뮬레이션할 수 있는 잠재력을 보여주었습니다.

하지만 이러한 ‘세상 모델’은 아직 넘어야 할 산이 많습니다. 가장 큰 한계 중 하나는 대부분 ‘단일 에이전트(single-agent)’ 설정에 국한된다는 점입니다. 즉, AI가 가상 세계를 이해하고 특정 객체의 움직임을 제어하는 데는 능숙하지만, 한 장면에 여러 객체(주체)가 동시에 등장하여 각자 다른 행동을 하도록 정교하게 제어하는 데는 어려움을 겪었습니다. 마치 AI가 세계를 이해하고 한 명의 주인공을 연기하는 데는 뛰어나지만, 수많은 엑스트라와 다른 주연 배우들의 동선을 동시에 관리하며 각자의 역할극을 시키는 데는 버거워하는 것과 같았습니다.

이러한 한계는 특히 ‘액션 바인딩(action binding)’ 문제로 나타납니다. “A는 점프하고, B는 달리고, C는 손을 흔들어라"와 같은 복합적인 지시를 내렸을 때, 기존 모델들은 어떤 주체에게 어떤 행동을 연결해야 할지 혼란스러워했습니다. 그 결과, 엉뚱한 인물이 엉뚱한 행동을 하거나, 모든 인물이 하나의 행동을 따라 하거나, 혹은 아예 일관성을 잃고 부자연스럽게 움직이는 현상이 빈번하게 발생했습니다. 이는 AI가 현실 세계의 복잡한 상호작용을 제대로 시뮬레이션하고, 나아가 우리가 원하는 대로 가상 세계를 구축하는 데 있어 결정적인 걸림돌이었습니다. ActionParty는 바로 이 지점에서, 다중 주체 환경에서 AI의 제어 능력을 한 차원 끌어올리며 게임 체인저가 될 가능성을 제시한 것입니다.

핵심 내용 분석

ActionParty 연구팀은 기존 비디오 확산 모델이 다중 주체 환경에서 겪는 ‘액션 바인딩’ 문제를 해결하기 위해 근본적인 접근 방식을 제시합니다. 이들이 주목한 핵심은 바로 각 주체의 ‘상태’를 AI 모델이 명확하게 인지하고 지속적으로 추적하는 것입니다.

이 논문의 핵심 아이디어는 ‘주체 상태 토큰(subject state tokens)‘이라는 개념입니다. 이는 장면 내 각 주체의 상태를 지속적으로 포착하는 ‘잠재 변수(latent variables)‘를 도입하는 것입니다. 쉽게 말해, AI가 영상을 생성할 때 전체 장면의 정보만 보는 것이 아니라, ‘플레이어 1은 지금 어떤 상태인지’, ‘NPC 2는 어떤 행동을 하고 있는지’와 같은 각 주체에 대한 고유한 정보를 별도의 토큰 형태로 저장하고 업데이트합니다. 이 토큰들은 각 주체의 정체성, 위치, 그리고 의도된 행동 등 중요한 정보를 응축하여 담고 있습니다.

ActionParty는 이 주체 상태 토큰들을 영상의 전체적인 잠재 변수(video latents)와 함께 모델링합니다. 여기서 중요한 역할을 하는 것이 ‘공간 편향 메커니즘(spatial biasing mechanism)‘입니다. 이 메커니즘은 AI가 영상을 렌더링할 때, 특정 주체에 대한 행동 지시가 그 주체의 공간적 위치에 집중적으로 영향을 미치도록 합니다. 예를 들어, “오른쪽 끝에 있는 캐릭터는 점프해라"라는 명령이 들어오면, AI는 ‘주체 상태 토큰’을 통해 해당 캐릭터의 위치를 파악하고, ‘공간 편향 메커니즘’을 통해 그 캐릭터 주변 영역에만 점프 동작이 반영되도록 유도하는 것입니다. 이를 통해 전체 영상 프레임을 렌더링하는 과정과 개별 주체의 액션을 제어하는 과정을 효과적으로 분리할 수 있게 됩니다.

이러한 혁신적인 접근 방식 덕분에 ActionParty는 다음과 같은 놀라운 성과를 달성했습니다.

  • 기존 비디오 확산 모델의 한계 극복: 다중 에이전트 제어 및 특정 행동-주체 바인딩의 실패 문제를 해결했습니다. 이제 AI는 여러 인물에게 각기 다른 지시를 내리고, 그 지시가 정확한 인물에게 적용되도록 할 수 있습니다.
  • ‘주체 상태 토큰(subject state tokens)’ 도입: 각 주체의 정체성, 위치, 의도된 행동 등 고유한 상태 정보를 지속적으로 포착하는 잠재 변수를 활용하여 복잡한 다중 주체 상호작용을 가능하게 했습니다.
  • 기술적 접근의 혁신: 주체 상태 토큰과 전체 비디오 잠재 변수를 ‘공간 편향 메커니즘’과 결합하여 모델링함으로써, 전역적인 영상 렌더링과 개별 주체의 행동 업데이트를 효과적으로 분리했습니다. 이는 복잡한 다중 주체 환경에서 각자의 행동이 서로 간섭하지 않도록 보장하는 핵심 기술입니다.
  • 멜팅 팟(Melting Pot) 벤치마크에서의 압도적 성능: ActionParty는 다중 에이전트 환경 시뮬레이션의 표준 벤치마크인 ‘Melting Pot’에서 최대 7명의 플레이어를 46가지 다양한 환경에서 동시에 제어하는 데 성공했습니다. 이는 기존 비디오 세상 모델 중 최초의 성과입니다.
  • 정확도 및 일관성 대폭 향상: 연구 결과, ActionParty는 행동 추종 정확도(action-following accuracy)와 정체성 일관성(identity consistency)에서 현저한 개선을 보였습니다. 즉, AI가 시킨 대로 정확히 움직이고, 움직이는 동안 자신의 정체성을 잃지 않는다는 의미입니다. 복잡한 상호작용 속에서도 주체들을 견고하게 ‘자동 회귀 추적(autoregressive tracking)‘할 수 있게 된 것이죠.

우리에게 어떤 의미인가

ActionParty의 등장은 단순히 AI 연구의 한 진보를 넘어, 우리가 AI와 상호작용하는 방식과 AI가 세상을 시뮬레이션하는 능력에 있어 거대한 변화의 서막을 알립니다. 이 기술은 마치 오케스트라의 지휘자가 개별 악기 연주자들에게 정확한 지시를 내리면서도 전체적인 하모니를 유지하는 것과 같습니다. 이제 AI는 단일 연주자가 아닌, 전체 오케스트라를 지휘할 수 있게 된 셈이죠.

가장 먼저 떠오르는 분야는 단연 게임 산업입니다. 현재 AI 기반 게임 캐릭터들은 주로 정해진 스크립트나 단순한 반응 로직에 의존합니다. 하지만 ActionParty와 같은 기술이 적용되면, 게임 속 NPC들은 훨씬 더 지능적이고 자율적으로 행동할 수 있게 됩니다. 수많은 NPC들이 각자의 역할을 수행하며 상호작용하는 대규모 멀티플레이어 온라인 게임(MMORPG)이나 전략 게임에서 AI의 행동이 훨씬 더 현실적이고 예측 불가능해질 수 있습니다. AI가 플레이어의 행동에 따라 동적으로 반응하고, 다른 NPC들과 유기적으로 협력하거나 경쟁하는 모습을 보면서 플레이어는 전에 없던 몰입감을 경험할 것입니다. 나아가, 게임 전체가 AI에 의해 실시간으로 생성되고 변화하는 ‘생성형 게임(Generative Games)‘의 가능성을 한층 더 현실로 만들 수 있습니다.

또한, 이 기술은 시뮬레이션 분야와 로봇 공학에도 엄청난 파급 효과를 가져올 것입니다. 자율주행차 개발을 위한 복잡한 교통 시뮬레이션, 스마트 도시 계획을 위한 인구 이동 시뮬레이션, 재난 상황 대응 훈련을 위한 가상 환경 시뮬레이션 등 다수의 에이전트가 복잡하게 얽혀 있는 상황을 훨씬 더 정교하고 정확하게 모델링할 수 있게 됩니다. 각 에이전트(차량, 보행자, 로봇 등)에게 개별적인 행동 지침을 부여하고, 이들이 서로에게 미치는 영향을 실시간으로 반영하여 예측 불가능한 변수까지 고려한 시뮬레이션이 가능해지는 것이죠. 이는 실제 환경에서 발생할 수 있는 다양한 시나리오를 가상 공간에서 미리 학습하고 대비하는 데 결정적인 역할을 할 것입니다.

한국의 IT 실무자들에게도 이는 중요한 기회가 될 수 있습니다. 국내 게임 개발사들은 ActionParty와 같은 기술을 활용하여 차세대 게임 엔진을 개발하거나, 기존 게임의 AI를 혁신적으로 개선할 수 있습니다. 메타버스 플랫폼을 개발하는 기업들은 수많은 아바타가 동시에 각기 다른 행동을 수행하며 상호작용하는 훨씬 더 풍부하고 생동감 있는 가상 세계를 구현할 수 있을 것입니다. 또한, 로봇 제조 기업이나 스마트 팩토리 솔루션 기업들은 다수의 로봇이 협업하는 환경을 더욱 정밀하게 시뮬레이션하고 최적화하여 생산

출처: ArXiv | 발행일: 2026-04-05