16.3 자기 개선 에이전트 (Self-Improving Agents)

이전 절에서는 자율 에이전트를 control loop 안에 들어간 LLM으로 설명했습니다. 자기 개선 에이전트는 그 loop 바깥에 또 하나의 loop를 둡니다. 단지 “다음에 무엇을 할까?”를 묻는 것이 아니라, “다음 행동을 결정하는 시스템 자체를 어떻게 바꿔야 할까?”를 묻습니다.

이 차이는 생각보다 큽니다. 일반적인 autonomous coding agent는 저장소를 읽고, 파일을 수정하고, 테스트를 실행하고, 실패하면 재시도합니다. 반면 self-improving coding agent는 다음 세대의 에이전트가 더 잘 작동하도록 자기 자신의 tool, prompt, memory policy, reviewer, search strategy, evaluation harness를 수정할 수 있습니다. 최적화 대상이 단순한 답이 아니라 에이전트를 만드는 과정 으로 올라가는 것입니다.

비유하자면 숙제를 푸는 학생과 공부법 자체를 고치는 학생의 차이입니다. Reflection은 “이번에 이런 실수를 했으니 다음에 기억하자”에 가깝습니다. Self-improvement는 “내가 연습하고, 평가하고, 문제를 고르는 방식도 시스템의 일부이니 그 시스템도 수정 대상이다”라고 보는 관점입니다.

1. 왜 Outer Loop가 중요한가

앞 절의 control loop는 한 가지 local problem을 해결합니다. 복잡하고 지저분한 과업 안에서 에이전트가 어떻게 계속 진행할 것인가의 문제입니다. Self-improvement는 더 긴 호흡의 질문을 던집니다. 같은 종류의 실패가 반복된다면, 에이전트는 한 번 더 replan하면 충분할까요? 아니면 그 실패를 계속 만들어 내는 machinery 자체를 바꿔야 할까요?

예를 들어 coding agent가 올바른 파일을 수정하면서도 관련 regression test 실행을 반복해서 잊는다고 해 봅시다. 일반적인 autonomous agent는 다음 step에서 실수를 알아차리고 테스트를 실행할 수 있습니다. 하지만 self-improving agent라면 durable change가 필요한지 물어야 합니다. 더 강한 checklist, 더 나은 test-selection tool, reviewer agent, 또는 테스트 없는 patch를 reject하는 evaluator가 필요할 수 있습니다. 적응의 단위가 trajectory 에서 agent scaffold 로 이동하는 것입니다.

이 지점에서 self-improvement는 reflection 및 model training과도 구분됩니다. Reflection은 보통 다음 context window에 lesson을 적어 넣습니다. Model training은 weight를 바꿉니다. 현재의 self-improving agent 시스템 대부분은 그 중간에 있습니다. base model은 고정한 채, 그 주변의 code, prompt, tool, memory policy, search procedure, evaluation harness를 바꿉니다.

이 중간 계층이 중요한 이유는 개선이 누적되기 때문입니다. 더 좋은 verifier, 더 깔끔한 editing tool, 더 신뢰할 수 있는 experiment loop는 현재 과업뿐 아니라 같은 scaffold를 거치는 모든 미래 과업에 영향을 줍니다. 위험도 함께 누적됩니다. evaluator가 약하면 에이전트는 실제 일을 더 잘하는 대신 measurement를 exploit하는 데 능숙해질 수 있습니다.

2. 최소 자기 개선 루프

대부분의 실용적인 시스템은 다음과 같은 outer loop로 단순화할 수 있습니다.

1. 에이전트나 연구 시스템에 대한 변경안을 제안 한다
2. 통제된 환경에서 변경을 적용 한다
3. 안정적인 task distribution에서 평가 한다
4. variant를 채택, 폐기, 또는 archive 한다
5. 성공한 variant를 다음 탐색의 stepping stone 으로 사용한다

이것이 software engineering처럼 들린다면 정확히 맞습니다. 현재의 self-improving agents는 신비한 recursive intelligence라기보다 자동화된 실험 엔지니어링에 가깝습니다. 어려운 점은 loop를 작성하는 것이 아니라, 에이전트가 쉽게 속일 수 없는 evaluation signal을 설계하는 데 있습니다.

형식적으로는 agent scaffold를 editable parameter 또는 code $\theta$를 가진 프로그램 $A_\theta$로 볼 수 있습니다. 자기 개선 연산자 $M$은 다음 candidate를 제안합니다.

여기서 $H$는 이전 시도들의 history이고, $E$는 평가에서 나온 evidence입니다. 후보는 budget $B$ 안에서 evaluator $J$를 개선할 때만 채택됩니다.

어려운 부분은 $J$ 안에 숨어 있습니다. evaluator가 약하면 에이전트는 task가 아니라 measurement를 exploit하는 법을 배웁니다. evaluator가 너무 비싸면 loop가 실용적이지 않습니다. evaluator가 너무 좁으면 개선이 다른 과업으로 transfer되지 않습니다.

3. 초기 연구 루프: Autoresearch와 AI Scientists

Karpathy의 Autoresearch

Andrej Karpathy의 autoresearch는 이 아이디어를 매우 작게 보여 주는 예입니다 [1]. 이 repository는 AI coding agent에게 작은 LLM training setup을 줍니다. 에이전트는 train.py 한 파일을 수정하고, 고정된 5분 training experiment를 실행하고, validation bits per byte (val_bpb)를 측정하고, 개선된 변경은 유지하며 나빠진 변경은 폐기합니다.

이 설계가 흥미로운 이유는 오히려 제약이 강하기 때문입니다.

• 수정 가능한 training file이 하나뿐이라 diff를 검토하기 쉽다
• prepare.py와 data preparation은 고정된다
• 모든 experiment가 같은 wall-clock budget에서 실행된다
• metric이 숫자로 나오며 비교가 명확하다

이것은 general AI scientist가 아닙니다. 작은 ML system을 위한 자동화된 실험대에 가깝습니다. 하지만 교육적으로는 매우 중요합니다. self-improvement에는 tight loop, 좁은 search space, 그리고 agent가 압박해도 버틸 수 있는 metric이 필요하다는 점을 잘 보여 주기 때문입니다.

The AI Scientist

Sakana AI의 The AI Scientist 는 training-script optimization을 end-to-end ML research로 확장했습니다 [2]. 이 시스템은 research idea를 만들고, code를 작성하고, experiment를 실행하고, result를 시각화하고, paper를 쓰고, automated review process를 돌립니다. 후속 연구인 AI Scientist-v2 는 human-authored template 의존도를 줄이고, agentic tree search를 사용하며, figure 품질 개선을 위한 vision-language reviewer loop를 추가했습니다 [3].

핵심 변화는 artifact가 단일 code patch가 아니라 research trajectory 가 된다는 점입니다. 시스템은 더 이상 model만 튜닝하지 않습니다. idea space, implementation space, experimental evidence, written communication을 함께 탐색합니다.

한계도 분명합니다. paper처럼 보이는 artifact는 논리적으로 그럴듯해도 contribution이 약하거나, novelty가 부족하거나, brittle automated reviewer에 맞춰 최적화되었을 수 있습니다. 자동화된 과학에서 evaluator는 과학적 계측기의 일부입니다. 계측기가 잘 보정되어 있지 않으면 전체 loop가 그럴듯하지만 가치가 낮은 artifact를 찍어내는 기계가 됩니다.

Google DeepMind Co-Scientist

Google DeepMind의 Co-Scientist 는 완전 자율 연구자라기보다 인간 과학자를 돕는 multi-agent partner에 가깝습니다 [4]. 이 시스템은 hypothesis를 생성하고, 가까운 아이디어를 clustering하고, virtual peer reviewer처럼 reflection하며, idea tournament로 hypothesis를 ranking하고, 유망한 후보를 evolve한 뒤 최종 research proposal을 합성합니다. 2025년 arXiv paper는 Gemini 기반 biomedical hypothesis generation 시스템을 설명하고, 2026년 5월 DeepMind update는 Nature publication 및 Gemini for Science rollout을 보고했습니다 [5].

이 접근이 중요한 이유는 evaluation 문제를 더 명시적으로 다루기 때문입니다. Co-Scientist는 novelty, correctness, literature grounding, testability를 확인하는 데 상당한 compute를 씁니다. 또한 최종 validation path에 인간 과학자를 포함합니다. 실제 과학에서는 보통 이것이 더 적절한 자세입니다. 에이전트는 hypothesis search를 가속할 수 있지만, 실험적 진실은 여전히 모델 밖에 있습니다.

4. DGM: 선형 반복에서 Open-Ended Archive로

Darwin Gödel Machine (DGM) 은 practical recursive self-improvement에 더 직접적으로 접근한 연구입니다 [6]. DGM은 coding agent에서 시작해, 에이전트가 자기 codebase를 수정하게 하고, 새 variant를 coding benchmark에서 평가한 뒤, 성공한 variant를 archive에 저장합니다.

핵심은 archive입니다. 단순 hill-climber는 현재 best agent만 유지합니다. 하지만 어떤 변경은 즉시 모든 metric을 이기지 못해도 나중 개선을 가능하게 하는 stepping stone일 수 있습니다. DGM은 population-like archive를 유지해 여러 과거 agent에서 새로운 분기가 생기도록 합니다.

논문에서 보고된 개선 폭은 큽니다. DGM은 SWE-bench에서 20.0%에서 50.0%로, Polyglot에서 14.2%에서 30.7%로 개선되었습니다. 발견된 변경도 추상적인 prompt trick이 아니라 더 나은 editing tools, long-context management, peer-review mechanisms 같은 구체적인 engineering improvement였습니다.

다만 DGM에는 숨은 alignment advantage가 있습니다. 평가 과업이 coding이고, 수정 대상도 code입니다. coding ability가 좋아지면 더 나은 self-modification을 작성하는 능력도 직접 좋아질 수 있습니다. 이 점은 강점이지만 동시에 domain-specific합니다. 과업이 poetry critique, protein hypothesis generation, robotics reward design이라면 task performance 향상이 self-improvement machinery 수정 능력으로 자동 연결되지는 않습니다.

5. DGM-H: Hyperagents가 의미 있는 진전인 이유

2026년 Hyperagents 논문은 이 한계를 다루기 위해 DGM-Hyperagents (DGM-H) 를 제안했습니다 [7]. DGM-H는 두 역할을 분리합니다.

• task agent: target task를 해결한다
• meta agent: agent를 수정하고 improved variant를 만든다

그리고 이 둘을 hyperagent 라는 하나의 editable program 안에 넣습니다. 중요한 차이는 meta agent가 고정된 handcrafted outer loop가 아니라는 점입니다. meta-level modification procedure 자체가 수정 가능합니다.

논문이 이 메커니즘을 metacognitive self-modification 이라고 부르는 이유가 여기에 있습니다. 시스템은 자신이 무엇을 하는지만 개선하는 것이 아니라, 앞으로의 개선을 찾는 방식까지 개선할 수 있습니다.

기존 자기 개선 에이전트 대비 DGM-H의 개선점

DGM-H의 기술적 개선은 단순히 “에이전트를 더 많이 쓴다”가 아닙니다. 무엇이 evolve될 수 있는지 를 바꿉니다.

1. Meta-policy가 editable해진다. DGM은 handcrafted instruction-generation mechanism을 사용했습니다. DGM-H는 future variant가 future variant를 생성하는 process 자체를 바꿀 수 있게 합니다.
2. Task skill과 self-modification skill이 같을 필요가 줄어든다. Robotics reward designer가 반드시 codebase improver일 필요는 없습니다. meta agent가 modification에 특화될 수 있습니다.
3. 개선이 domain을 넘어 transfer될 수 있다. 논문은 persistent memory, performance tracking 같은 meta-level improvement가 paper review와 robotics reward design에서 Olympiad-level math grading으로 transfer되는 사례를 보고합니다.
4. Open-ended archive가 계속 중심에 있다. DGM-H는 DGM의 archive 구조를 유지해, 하나의 incumbent로 수렴하지 않고 다양한 stepping stone을 보존합니다.

가장 흥미로운 주장은 DGM-H가 recursive self-improvement를 해결했다는 것이 아닙니다. 아직 그렇지 않습니다. 중요한 점은 self-improvement가 더 이상 “해결 중인 task”와 “solver를 개선하는 skill” 사이의 우연한 겹침에 덜 의존하게 되었다는 것입니다.

Hyperagent loop

DGM-H에서 candidate hyperagent는 task-solving logic과 meta-improvement logic을 모두 포함합니다. 실행은 대략 다음과 같이 진행됩니다.

1. archive에서 parent hyperagent를 sample한다
2. parent의 meta agent가 modified child hyperagent를 제안한다
3. child task agent를 task distribution에서 평가한다
4. 성공적이거나 흥미로운 child를 archive에 추가한다
5. 이후 세대가 task component와 meta component를 모두 수정할 수 있게 한다

즉, 이 시스템은 더 나은 에이전트를 찾는 에이전트들 에 대한 search process를 만듭니다. 문장만 보면 순환적으로 들리지만, 구현은 구체적입니다. code, prompt, tool, memory, performance log, selection logic이 editable artifact가 됩니다.

6. 앞으로의 자기 개선 에이전트를 위한 엔지니어링 교훈

방향은 유망하지만 open problem도 뚜렷합니다.

Evaluator는 First-Class System이어야 한다

Self-improvement는 evaluator만큼만 좋습니다. 앞으로의 시스템은 다음 조건을 만족하는 evaluator가 필요합니다.

• generation 간 비교가 가능할 만큼 stable해야 한다
• overfitting을 줄일 만큼 broad해야 한다
• hallucinated evidence에 휘둘리지 않을 만큼 grounded해야 한다
• 사람이 실패를 검사할 수 있을 만큼 auditable해야 한다
• 추가 확신이 비용을 정당화하는 지점에서만 비싸야 한다

이 점 때문에 self-improving agents는 챕터 17의 evaluation과 직접 연결됩니다. 약한 benchmark는 recursive improvement를 recursive Goodharting으로 바꿉니다.

Search Space에는 Boundary가 필요하다

에이전트가 모든 것을 수정할 수 있게 두면 우아해 보이지만, debugging과 safety 측면에서는 위험합니다. 실용적인 시스템은 층을 나눠야 합니다.

• task code와 prompt
• tool-use policy
• memory와 retrieval policy
• evaluator configuration
• meta-agent strategy
• sandbox와 permission boundary

안쪽 층은 더 editable할 수 있습니다. 바깥쪽 safety와 measurement layer는 천천히, 더 엄격한 review를 거쳐 바뀌어야 합니다.

Single Incumbent보다 Archive가 강하다

DGM과 DGM-H는 모두 single-path self-improvement가 취약하다는 점을 보여 줍니다. 다양한 archive는 stepping stone, fallback, later recombination을 가능하게 합니다. 이는 version control, experiment tracking, model registry와 같은 실무 감각과도 같습니다. 현재 leaderboard winner가 아니라는 이유로 유용한 중간 구조를 버리면 안 됩니다.

Self-Improvement에는 Provenance가 필요하다

채택된 모든 변경에는 provenance가 있어야 합니다.

• parent agent
• diff 또는 configuration change
• evaluation set과 seed
• metric movement
• known regression
• human review status

provenance가 없으면 개선되는 시스템은 강해질수록 이해하기 어려워집니다. 안전 관점에서는 정확히 반대 방향으로 가는 셈입니다.

7. 핵심 정리

Self-improving agents는 evaluation 아래에서 자기 agent scaffold를 수정하는 실험 시스템 으로 이해하는 편이 가장 현실적입니다. Autoresearch는 가장 작은 유용한 loop를 보여 줍니다. AI Scientist와 Co-Scientist는 이 loop가 research workflow로 확장될 때의 가능성과 위험을 보여 줍니다. DGM은 self-modified coding agents의 archive가 실제 benchmark gain을 만들 수 있음을 보여 줍니다. DGM-H는 meta-improvement process 자체를 editable하게 만들어 coding-specific alignment에 대한 의존도를 줄입니다.

다음 frontier는 단순히 더 많은 autonomy가 아닙니다. 신뢰할 수 있는 autonomy입니다. agents가 자신이 의존하는 measurement system을 조용히 망가뜨리지 않도록 evaluator, archive, sandbox, provenance, human review path를 함께 설계해야 합니다.

다음 절에서는 자기 개선하는 단일 시스템에서 나아가, 여러 전문화된 에이전트가 작업을 나누고, 서로를 비판하고, 구조화된 상태를 통해 협력하는 방식을 살펴봅니다.

Quizzes

References

1. Karpathy, A. (2026). autoresearch. GitHub repository. github.com/karpathy/autoresearch.
2. Lu, C., Lu, C., Lange, R. T., Foerster, J., Clune, J., & Ha, D. (2024). The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery. arXiv:2408.06292.
3. Yamada, Y., Lange, R. T., Lu, C., Hu, S., Lu, C., Foerster, J., Clune, J., & Ha, D. (2025). The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search. arXiv:2504.08066.
4. Gottweis, J., et al. (2025). Towards an AI co-scientist. arXiv:2502.18864.
5. Google DeepMind. (2026). Co-Scientist: A multi-agent AI partner to accelerate research. DeepMind blog.
6. Zhang, J., Hu, S., Lu, C., Lange, R., & Clune, J. (2025). Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents. arXiv:2505.22954.
7. Zhang, J., Zhao, B., Yang, W., Foerster, J., Clune, J., Jiang, M., Devlin, S., & Shavrina, T. (2026). Hyperagents. arXiv:2603.19461.