파운데이션 모델 엔지니어링

20.7 AGI로 가는 길과 World Models

AGI를 만드는 확립된 엔지니어링 레시피는 없습니다. 이 용어는 추론, 학습, 계획, 행동, 감독처럼 서로 다른 역량을 묶으며, 연구자마다 각 요소의 중요성을 다르게 봅니다. world model 은 이 논쟁에서 유용한 시스템 개념입니다. 특히 에이전트가 행동할 때 환경이 어떻게 변할지 예측하는 모델을 뜻합니다.

이 정의는 시스템이 “세계를 이해한다”는 말보다 좁고 시험하기 쉽습니다. 상태, 행동, 전이 오차, 계획 범위, 불확실성, 제어에 관한 엔지니어링 질문으로 이어집니다.

1. 시퀀스 예측에서 행동 조건부 예측으로

언어 모델링은 p(xt+1∣x≤t)p(x_{t+1}\mid x_{\le t}) 같은 분포를 추정합니다. world-model 목적은 관측 oo, 행동 aa, 보상이나 성공 신호 rr, 목표 gg를 포함할 수 있습니다.

p(ot+1:t+k,rt+1:t+k∣o≤t,at:t+k,g)p(o_{t+1:t+k}, r_{t+1:t+k} \mid o_{\le t}, a_{t:t+k}, g)

핵심적으로 추가되는 것은 행동 변수입니다. 시스템은 무엇이 일어날지뿐 아니라 에이전트가 다른 행동을 골랐을 때 결과가 어떻게 달라지는지도 추정해야 합니다. 그럴듯한 비디오를 생성하면서도 행동 조건부 시뮬레이터로서는 형편없을 수 있으므로 시각 품질만으로는 world model을 평가할 수 없습니다.

world model은 model-based reinforcement learning에서 오랜 계보를 가집니다. World Models 와 Dreamer는 잠재 동역학을 학습하고 상상한 trajectory를 제어 개선에 활용한 대표 사례입니다 [1], [2]. 최근의 멀티모달 연구는 더 풍부한 관측과 개방형 환경으로 이 설정을 확장합니다.

2. JEPA와 표현 공간 예측

JEPA는 표면의 모든 세부사항을 복원하는 대신 유용한 표현을 예측하자는 영향력 있는 제안입니다 [3]. 픽셀이나 토큰이 중요하지 않다는 뜻은 아닙니다. 예측할 수 없는 세부사항에 비용을 쓰는 대신 안정적이고 의사결정에 중요한 구조를 표현하는 편이 에이전트에 유리할 수 있다는 동기입니다.

이는 일반 지능에 표현 예측만으로 충분하다는 증명이 아니라 설계 계열입니다. 실제 구현에는 representation collapse 방지, context와 target 정의, 시간·행동 조건화, 학습한 상태가 후속 의사결정에 도움이 된다는 평가가 필요합니다.

3. 단일 아키텍처를 넘어선 역량 축

AGI 논의는 역량 축으로 나누면 더 구체적이 됩니다.

축엔지니어링 질문측정 예
학습·기억기존 능력을 지우지 않고 새 기술을 얻는가?forward transfer, retention, forgetting curve
추론·검증여러 단계의 작업을 풀고 확인하는가?실행 또는 사람이 검증한 held-out task
상태·world modeling행동에 따른 변화를 예측하는가?다단계 rollout 오차와 counterfactual 정확도
계획·도구제약 아래에서 행동을 고르고 수정하는가?작업 성공, 도구 오류, 복구율, 비용
grounding·embodiment실제 관측과 개입에서도 행동이 유효한가?simulator-to-real 전이와 개입 테스트
alignment·oversight사람이 제한하고 검사하며 중단할 수 있는가?정책 준수, escalation, audit, rollback 훈련

scale과 test-time compute는 여러 축을 개선할 수 있지만 다른 축을 보장하지 않습니다. 도구 사용은 부족한 사실·계산 능력을 보완하면서도 권한, prompt injection, 부작용, 복구 문제를 만듭니다. 따라서 파라미터 수나 단일 benchmark에서 추론하지 말고 시스템으로 평가해야 합니다.

4. 시스템 엔지니어링 관점의 World Model

world model은 통제된 시스템의 구성요소로 보는 것이 좋습니다.

구성요소계약시험할 실패
상태 표현어떤 사실이 유지·만료되며 불확실한가?오래되거나 모순된 상태
행동 schema어떤 행동과 parameter가 허용되는가?잘못되거나 과도한 권한의 행동
동역학 모델행동 뒤 상태가 어떻게 변하는가?누적되는 rollout 오차
planner 또는 policy후보 행동을 어떻게 고르는가?reward hacking 또는 취약한 search
관측 갱신실제 피드백과 예측을 어떻게 조정하는가?도구 오류나 새 근거 무시
verifier어떤 제약이 계획이나 결과를 거부하는가?자신감 있지만 잘못된 전이
복구 제어pause, retry, rollback, escalation을 어떻게 하는가?되돌릴 수 없는 부작용

이 관점은 로봇에만 적용되지 않습니다. 고객지원 agent의 상태에는 티켓 상태, 정책, 권한, 이전 행동이 포함됩니다. 이 agent의 “world model”에는 환불, 데이터베이스 쓰기, 이메일이 무엇을 바꿀지에 대한 예측이 들어갑니다. 고위험 행동은 모델이 상상한 상태에만 의존하지 말고 preview, dry run, idempotency key, 승인 경계, 외부 source of truth를 사용해야 합니다.

5. Genie와 frontier 주장에 대한 근거 경계

Google DeepMind는 Genie 3를 텍스트로 interactive environment를 생성하고 실시간으로 실행하는 general-purpose world model로 설명합니다 [4]. 같은 공식 페이지는 제한된 행동 공간, 불완전한 multi-agent interaction, 일관성 실패, 수 분 규모의 상호작용 범위라는 중요한 한계도 공개합니다. 이것이 AGI로 가는 디딤돌이 될 수 있다는 DeepMind의 표현은 공급자의 연구 주장 이며, AGI가 달성됐거나 이것이 유일한 경로라는 증거가 아닙니다.

OpenAI의 초기 Sora 연구는 비디오 생성을 “world simulators”라는 표현으로 설명했습니다 [5]. 이 연구는 scale한 비디오 모델이 유용한 시뮬레이션 행동을 보일 수 있다는 근거이지만, 모든 생성 장면에서 신뢰할 수 있는 인과 모델, 지속 상태, 행동 조건부 계획을 확립하지는 않습니다.

frontier 시스템에는 학습 데이터, 행동 인터페이스, 파라미터 수, 개입 protocol, 평가셋, 실패 분포, 접근 조건 가운데 무엇이 공개됐고 무엇이 공개되지 않았는지 기록합니다. 데모에서 내부 아키텍처를 추론하지 않습니다.

비교적 확립된 것

  • model-based control과 latent dynamics는 확립된 연구 영역입니다.
  • 정확한 표면 복원만이 유용한 예측 목적은 아닙니다.
  • 긴 상상 rollout에서는 오차가 누적되므로 이를 측정해야 합니다.

떠오르는 것

  • 생성, 상호작용, agent 학습을 결합한 대형 멀티모달 모델
  • 학습 curriculum과 counterfactual data를 만드는 learned simulator
  • LLM이 계획하고 simulator가 예측하며 외부 도구가 검증하는 하이브리드 시스템

여전히 추측인 것

  • 하나의 world-model 아키텍처가 AGI에 빠진 결정적 요소라는 주장
  • 생성 환경에서의 성공이 물리 세계로 안전하게 전이된다는 주장
  • scale만으로 grounding, 장기 계획, oversight가 해결된다는 주장

6. 실전 엔지니어링 로드맵

AGI를 만든다고 주장하지 않아도 엔지니어링 팀은 world-model 관점을 활용할 수 있습니다.

  1. 상태와 source of truth를 정의합니다. field, freshness, 불확실성, owner, 권위 있는 외부 시스템을 명시합니다.
  2. 행동 계약을 정의합니다. 각 도구의 typed schema, 권한, 비용, idempotency, timeout, 가역성 여부를 기록합니다.
  3. 실행 전에 예측합니다. 예상 상태 변화와 위험을 쓰게 하고 실행 후 실제 관측과 비교합니다.
  4. 안전한 simulator를 사용합니다. SQL dry run, 결제 preview, 이메일 draft, code sandbox를 부작용 전에 실행합니다.
  5. 다단계 오차를 측정합니다. 한 단계 정확도, rollout 열화, calibration, 예상 밖 관측 뒤 복구, 목표 완수를 평가합니다.
  6. counterfactual test를 만듭니다. 도구 실패, 악성 관측, 누락 데이터, 지연 결과, 사용자 목표 변경을 변형합니다.
  7. 부작용에 gate를 둡니다. 자금 이동, 삭제, 외부 통신, 권한 변경에 사람 승인과 자동 중단 임계값을 둡니다.
  8. 복구를 연습합니다. artifact bundle을 고정하고 모든 상태 전이를 기록하며 last-known-good policy와 rollback을 시험합니다.

release gate에는 작업 성공률, 핵심 slice 최소치, 위험 행동률, tool-call 유효성, 상태 일관성 오류, 복구율, 지연 시간, 비용이 포함되어야 합니다. 선별한 몇 trajectory가 아니라 paired trial과 불확실성으로 후보를 비교합니다.

7. Practical Takeaway

world model은 행동이 상태를 어떻게 바꾸는지 예측하고, 불확실성을 드러내며, 실제 관측으로 예측을 교정하라는 엔지니어링 문제를 선명하게 만듭니다. 중요한 연구·시스템 설계 방향이지만 AGI 논쟁을 끝내지는 않습니다. 실무 기준은 관찰 가능한 역량, 문서화된 한계, 통제된 행동, 복구 가능한 운영입니다.

Quizzes

Quiz 1: 행동 조건부 world-model 목적은 일반적인 next-token prediction과 무엇이 다른가요? 후보 행동을 미래 관측이나 결과의 조건으로 명시하여, 선택한 행동이 상태를 어떻게 바꾸는지 counterfactual 질문을 할 수 있습니다.

Quiz 2: 시각적으로 설득력 있는 비디오 모델이 계획용 world model로는 형편없을 수 있는 이유는 무엇인가요? 그럴듯한 픽셀이 올바른 인과 전이, 지속 상태, 보정된 불확실성, 여러 단계 개입에 대한 정확한 반응을 보장하지 않기 때문입니다.

Quiz 3: JEPA식 표현 예측의 실용적 동기는 무엇인가요? 예측하기 어려운 모든 표면 세부를 복원하는 대신 안정적이고 의사결정에 중요한 구조에 용량을 집중할 수 있다는 것입니다. 다만 후속 과업의 유용성은 따로 증명해야 합니다.

Quiz 4: Genie 3의 AGI 프레이밍을 공급자 주장으로 표시해야 하는 이유는 무엇인가요? 공식 페이지가 연구 방향과 중요한 한계를 함께 제시하기 때문입니다. 이 시스템이 AGI이거나, 접근법이 충분하거나, 다른 경로가 불가능하다는 증거는 아닙니다.

Quiz 5: 업무 agent를 단순한 텍스트 생성기가 아니라 작은 world-model 시스템으로 만드는 요소는 무엇인가요? 운영 상태를 추적하고, 도구 행동의 효과를 예측하며, 실제 관측으로 예측을 수정하고, 권한·검증·rollback을 사용해 안전하게 목표로 이동하는 것입니다.

References

  1. Ha, D., & Schmidhuber, J. (2018). World Models. arXiv:1803.10122.
  2. Hafner, D., et al. (2020). Dream to Control: Learning Behaviors by Latent Imagination. arXiv:1912.01603.
  3. LeCun, Y. (2022). A Path Towards Autonomous Machine Intelligence. OpenReview.
  4. Google DeepMind. (2026). Genie. Official model page.
  5. OpenAI. (2024). Video generation models as world simulators. OpenAI.