15.5 검증 가능한 보상을 이용한 추론 사후 학습

앞 절에서 살펴본 검증기는 추론 시 좋은 답을 고르는 데 쓰입니다. 같은 검증 결과를 학습 신호로도 사용할 수 있습니다. 프로그램이 숨겨진 테스트를 통과하거나 수학 답이 신뢰할 수 있는 검사기를 만족하면, 강화학습으로 그 행동의 생성 확률을 높입니다. 이것이 검증 가능한 보상을 이용한 강화학습(RLVR) 입니다. 후보를 생성하는 정책을 바꾸지만 신뢰할 수 있는 검증기의 필요성은 사라지지 않습니다.

2026-10-18 기준 연구 스냅샷. 아래에서는 논문이 공개한 메커니즘과 운영상 권고를 구분합니다. 소개하는 9월 연구는 제한된 실험 근거를 가진 preprint이며, 모든 모델에 성립하는 학습법으로 확립된 것은 아닙니다.

1. PPO에서 그룹 상대 업데이트로

전통적인 언어 모델 PPO는 학습된 가치 함수로 baseline을 추정합니다. GRPO는 같은 프롬프트의 여러 응답을 묶어 상대적인 보상 신호를 계산합니다. DeepSeek-R1은 이 접근을 추론 학습의 대표 사례로 만들었습니다 [1].

프롬프트 $x$ 에 대해 고정된 rollout 정책 $\pi_{old}$ 에서 $G$ 개 응답 $y_i$ 를 생성하고 보상 $r_i$ 를 계산합니다. 흔히 쓰는 GRPO 정규화는 다음과 같습니다.

\bar r=\frac{1}{G}\sum_{i=1}^{G}r_i,\qquad A_i=\frac{r_i-\bar r}{\operatorname{std}(r_1,\ldots,r_G)+\epsilon}.

$G$ 는 그룹 크기, $A_i$ 는 응답 단위 advantage, $\epsilon>0$ 은 0으로 나누기를 막는 값입니다. 모집단·표본 표준편차 중 무엇을 쓰는지, 정규화를 사용하는지 명시해야 합니다. 상대 advantage는 정책이 생성한 유효 응답 토큰에 적용합니다. 토큰 확률비를 $\rho_{i,t}=\pi_\theta(y_{i,t}\mid x,y_{i,<t})/\pi_{old}(y_{i,t}\mid x,y_{i,<t})$ 로 두면 대표적인 clipping 목적은 다음과 같습니다.

J(\theta)=\mathbb E\!\left[\mathcal R_m\!\left( \min\left(\rho_{i,t}A_i,\operatorname{clip}(\rho_{i,t},1-\delta_-,1+\delta_+)A_i\right) \right)\right]-\beta\,\mathbb E[D_{KL}(\pi_\theta\|\pi_{ref})].

$\theta$ 는 정책 파라미터, $\delta_-$ 와 $\delta_+$ 는 clipping 경계, $\mathcal R_m$ 은 명시적으로 선택한 마스크 기반 배치 집계, $\pi_{ref}$ 는 별도로 고정한 기준 체크포인트, $\beta$ 는 KL 계수입니다. 이는 목적함수의 한 계열을 설명하며 모든 GRPO 변형이 같은 집계·KL 추정법을 쓴다는 뜻은 아닙니다. rollout 스냅샷과 고정 reference는 역할이 다르므로 서로 대신 사용하면 안 됩니다.

그룹의 보상이 모두 같으면 중심화된 보상 advantage는 0입니다. 작은 epsilon을 분모에 넣어도 보상 대비는 생기지 않습니다. KL이나 다른 정규화 항은 여전히 그래디언트를 만들 수 있습니다. 전부 정답인 그룹과 전부 오답인 그룹을 구분합니다. 포화와 탐색 부족은 서로 다른 조치가 필요합니다.

2. 길이와 샘플링도 목적함수의 일부다

비슷해 보이는 두 집계는 다른 가중치를 줍니다.

시퀀스 평균: 응답마다 유효 토큰을 평균한 뒤 응답을 평균합니다. 짧은 응답과 긴 응답의 총가중치가 같습니다.
토큰 평균: 모든 유효 응답 토큰을 합산한 뒤 전체 토큰 수로 나눕니다. 긴 응답이 더 많은 토큰을 기여합니다.

두 방식을 구현 세부사항으로 보고 바꾸어서는 안 됩니다. Dr. GRPO는 GRPO 정규화의 최적화 편향을 연구합니다 [3]. DAPO는 clipping, 동적 샘플링, 토큰 단위 손실, 지나치게 긴 응답 처리를 함께 다룹니다 [2]. 분모 하나만 바꾸면 논문의 전체 성능을 재현할 수 있다는 뜻은 아닙니다.

응답 한도와 timeout, 잘린 응답의 제외·페널티 여부, 형식 오류·sandbox 오류와 오답의 구분을 사전에 정합니다. 동적 샘플링으로 동일 보상 그룹을 제외한다면 도메인·난도별 채택률과 제외 이유를 기록합니다. 학습에 남는 분포는 요청한 분포와 다릅니다. 방법 비교에는 폐기한 생성까지 포함한 전체 rollout·검증 예산 을 맞춥니다.

3. 9월 연구: 개선을 해석하는 중요한 경계

부분 기술을 배워도 조합은 보장되지 않는다

He 등의 연구는 결정적으로 보상을 계산할 수 있는 자료구조 과업에서 비대칭 전이를 관측합니다. 분해된 기술을 학습해도 조합 과업으로 안정적으로 전이되지 않지만, 조합 과업 학습은 구성 요소로 더 쉽게 전이됩니다. 도구 호출로 확장한 결과는 예비 근거입니다 [4].

이 결과의 실무적 의미는 평가 설계이며 모든 모델에 대한 보편 정리가 아닙니다. 레코드를 검색하고 변환한 뒤 업데이트하는 에이전트라면 개별 도구 기술과 권한 범위 안의 전체 작업 을 모두 평가합니다. 조합 구조·엔티티 그룹·더 긴 궤적을 holdout으로 남깁니다. 세 개의 단위 기술이 통과했다고 전체 과업도 통과한다고 결론 내리지 않습니다.

도움을 받은 조건이 학습 분포 이동을 만들 수 있다

HATCH는 힌트에 의한 보상 이동(hinted reward shift) 을 연구합니다. 어려운 문제에 힌트를 주면 보상 대비가 생기지만, 평가에서는 힌트가 없어도 도움받은 성공 궤적이 업데이트를 지배할 수 있습니다. 제안한 힌트 기여도 감소와 그래디언트 투영은 소형 모델의 수학 추론에서 평가됐습니다 [5].

도움을 별도 데이터 조건으로 다룹니다. 힌트 출처와 사용 가능 여부를 기록하고, 해답에서 만든 힌트를 평가로 유출하지 않으며, 봉인된 힌트 없는 평가셋을 기준으로 출시합니다. 도움받은 rollout의 보상이 빨리 오른다고 독립적인 추론이 개선된 것은 아닙니다. 이 연구는 frontier 에이전트의 자율적인 재귀 개선을 입증하지 않습니다.

10월 연구: 보상을 부여하는 단위가 응답보다 클 수 있다

2026-10-18 기준, Mosaic은 문맥 압축이나 분기된 세션을 잇는 궤적을 연구합니다. 궤적 수준의 세션 사용 신호와 세션별 advantage 조정을 결합하며, BrowseComp 실험은 Qwen3.5-4B를 사용합니다 [7]. 모든 에이전트 모델에 일반화된 개선을 입증하지는 않습니다. 특히 주변 정보 이득 신호는 학습 시 정답 정보를 사용하므로 배포 시 이용 가능한 정답 판별기로 설명하면 안 됩니다.

다른 10월 프리프린트는 문서에 근거한 과학 아이디어 집합을 한 번에 생성하고, 개별 품질과 앞선 아이디어 대비 새로움을 함께 보상합니다 [8]. 과제별 결과와 전문가 4명의 파일럿은 해당 설정에 관한 근거이며 과학적 타당성의 자동 검증은 아닙니다. 이런 학습·루브릭 보상은 실행 가능한 검증기와 구별해야 합니다.

실험에서는 보상 단위가 토큰·응답·세션·궤적·후보 집합 중 무엇인지 명시합니다. 다중 세션 rollout에는 부모·자식 세션 ID, 압축 전후 입력, 생성 토큰 마스크, 세션별 이전 로그 확률, 최종 도구 효과를 남깁니다. 집합 보상에서는 구성원을 분할·재표집할 때도 함께 유지해야 합니다. 독립 표본으로 취급하면 불확실성을 과소평가합니다. 총예산을 맞추고 고정된 외부 평가로 성공률과 자원 사용을 비교합니다. 종료 보상을 모든 세션에 복사하는 것은 중립적 기본값이 아니라 기여도 할당의 선택입니다.

4. 첫 rollout 전에 정하는 실험 계약

다음은 실험의 엔지니어링 점검표이며 실행 가능한 학습 코드는 아닙니다. 구현과 optimizer 변형을 고정합니다. 알고리즘 이름만으로 실행을 재현할 수 없습니다.

계약	필요한 내용
입력 아티팩트	base/SFT 정책, 토크나이저 고유 채팅 템플릿, 고정 reference의 정체성 또는 명시적 미사용, 검증기/container 버전, 불변 데이터 manifest
목적함수	보상 구성·답 추출·KL 추정법/계수·그룹 baseline·clipping·정확한 배치 집계
하이퍼파라미터	그룹 크기·temperature/top-p·입력/응답 한도·토큰 배치·누적·학습률·업데이트 횟수·rollout 유효기간·seed
데이터 격리	출처·라이선스/동의·PII/비밀 처리·분할 전 중복 제거와 의미 군집·필터/혼합 버전·shard hash·sample ID·평가 격리
길이 조건	EOS·잘림 정책·가변 길이 마스크·padding 제외·도구 결과 마스크·필터 후 그룹 구성
채택 기준	고정 예산의 목표 품질·기존 역량 유지·안전·도구/형식 정확성·비용·지연, 짝지은 불확실성과 중요 구간 차단 조건

서빙과 같은 토크나이저 고유 채팅 템플릿 으로 프롬프트를 렌더링합니다. BOS/EOS, add_generation_prompt, 잘림 방향, padding을 확인합니다. 정책 손실에는 의도된 종료 토큰을 포함한 정책 생성 assistant 구간을 넣고, 프롬프트·padding·외부 도구 결과·종료 후 위치는 제외합니다. 도구 대화는 하나의 연속 suffix라는 가정 대신 구간 메타데이터가 필요합니다. packing한 독립 episode 사이의 어텐션을 차단합니다. 분산 토큰 평균은 전역적으로 일관된 유효 토큰 수와 집계가 필요합니다.

불변 rollout 기록에는 프롬프트/sample/group ID, 정책 리비전, 포맷된 토큰·마스크, 이전 로그 확률, 생성 seed/설정, 응답·종료 이유, 도구 transcript, 검증 결과·보상 구성, 힌트·필터 출처를 남깁니다. 별도 보상 감사에서 올바른 풀이와 검사기 악용을 구분해야 합니다.

5. 연산량·관측·복구

critic을 없애도 학습이 저렴해지는 것은 아닙니다. 자원 계획에서 다음 항목을 분리합니다.

정책 파라미터·그래디언트·optimizer 상태
KL을 사용할 때 고정 reference 가중치
rollout 복제본과 KV 또는 recurrent 상태
학습 activation·재계산·임시 버퍼·CUDA graph
collective·가중치 배포·sandbox/검증 용량·체크포인트·평가 오버헤드

정밀도·optimizer·sharding·시퀀스 길이·재계산·동시성·활성 expert 가정을 밝힙니다. 희소 모델도 모든 expert의 가중치를 저장해야 합니다. 9월 rollout 효율 survey는 처리량뿐 아니라 데이터 신선도·일관성·통계적 타당성도 제약으로 정리합니다 [6]. 오래된 정책이나 수치 불일치가 업데이트를 오염시키면 생성 처리량이 높아도 유효 학습량은 줄 수 있습니다.

토큰 정규화 학습·검증 손실, holdout 보상과 도메인 구간, 보상 대비 없는 그룹, entropy·KL·확률비/clipping 비율, 응답 길이·잘림·힌트 의존·보상 악용·검증 오류를 관측합니다. nonfinite/overflow 수, gradient/activation norm, rollout/학습 처리량, MFU, 데이터 대기, collective/straggler 시간, queue age, 정책 지연, 재구성 가능한 batch ID도 기록합니다. 성공한 rollout뿐 아니라 전체 시도와 폐기 토큰을 보고합니다.

시작 전에 pause/abort 경계를 정합니다. 지속적인 nonfinite, 과도한 정책 지연, entropy 붕괴, 길이/KL 폭주, 검증 오류, 힌트 없는 holdout 개선 없이 보상만 오르는 상황이 대상입니다. 각 경계에는 책임자와 관측 구간을 두며 중요 안전 실패는 즉시 중단합니다.

체크포인트는 sharded 모델/optimizer, scheduler, scaler/FP8 상태, 전역 step/토큰 수, RNG, sampler 상태와 정확한 데이터 커서, 아티팩트/config hash, 고정 reference/검증기 ID, rollout 저장소 커서와 처리 중 응답의 정책을 포함합니다. checksum과 완료 표식을 갖춰 원자적으로 공개합니다. 보존·원격 복제·지원되는 world-size 변경·복원 훈련·학습 연속성 동등성 검사도 명시합니다.

6. 출시 기준과 실무적 결론

전체 아티팩트 묶음을 도메인 과업, 힌트 없는 조합 과업, 기존 역량 유지, 안전, 형식/도구 사용, 지연, 비용, 오류율로 평가합니다. 짝지은 불확실성이나 근거 있는 표본 수를 사용하고, 평균 보상이 중요 구간 실패를 가리지 못하게 합니다. 사전 출시 조건을 통과한 뒤 제한된 권한으로 canary를 진행합니다. 정상 동작이 확인된 이전 묶음을 보관하고 대화 상태·도구 효과까지 포함해 rollback을 훈련합니다.

RLVR는 신뢰할 수 있는 피드백으로 후보 분포를 바꾸는 방법입니다. 병목은 학습에서 탐색·검증기 무결성·조합 범위·rollout 시스템으로 옮겨갈 수 있습니다. 다음 장은 이 역량을 도구 사용 에이전트로 연결하며, 실제 외부 효과를 위한 별도 권한·복구 계약을 다룹니다.

Quizzes

Quiz 1: 모든 응답이 같은 오답 보상을 받은 GRPO 그룹에서 epsilon을 키워도 문제가 해결되지 않는 이유는 무엇인가요?

중심화된 보상 분자가 계속 0이기 때문입니다. epsilon은 0으로 나누기만 막으며 상대적인 보상 신호를 만들지 않습니다. 다른 정규화 항은 여전히 정책을 업데이트할 수 있습니다.

Quiz 2: 방법 비교에 폐기한 rollout을 포함해야 하는 이유는 무엇인가요?

필터는 학습 분포를 바꾸고 생성·검증 예산도 소비합니다. 남은 예시만 세면 샘플링 편향과 실제 연산 비용을 숨길 수 있습니다.

Quiz 3: 힌트가 있을 때 학습 보상이 올라도 독립 추론은 개선되지 않을 수 있는 이유는 무엇인가요?

평가에 없는 도움 조건의 성공 궤적이 업데이트를 지배할 수 있기 때문입니다. 도움 여부를 별도 기록하고 봉인된 힌트 없는 사례로 평가합니다.

Quiz 4: rollout 정책과 reference 체크포인트는 어떻게 다른가요?

rollout 정책은 행동 분포와 이전 로그 확률의 기준입니다. 고정 reference는 KL을 사용할 때 기준점이 됩니다. 둘을 바꾸면 목적함수가 달라집니다.

Quiz 5: 개별 도구 기술이 통과했다는 이유만으로 출시할 수 없는 이유는 무엇인가요?

조합 과업은 상태 의존성·순서·권한·복구 조건을 추가합니다. 전체 작업과 새로운 조합 구조를 holdout으로 남겨 평가해야 합니다.

References

DeepSeek-AI. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948.
Yu, Q., et al. (2025). DAPO: An Open-Source LLM Reinforcement Learning System at Scale. arXiv:2503.14476.
Liu, Z., et al. (2025). Understanding R1-Zero-Like Training: A Critical Perspective. arXiv:2503.20783.
He, Y., Li, Y., Wang, Y., & Vitercik, E. (2026). Compositional Reasoning in Language Models under Reinforcement Learning Post-Training. arXiv:2609.19465.
Wang, Z., et al. (2026). Teach to Learn: Hint Annealing for Self-improving LLM Reasoning. arXiv:2609.34975.
Gholipour, N., et al. (2026). Rollout Efficiency in Reinforcement Learning for Reasoning Large Language Models: A Taxonomy and Future Directions. arXiv:2609.25463.
Xu, Y., et al. (2026). Mosaic: Multi-Session Agentic Reinforcement Learning. Preprint. Source.
Wadhwa, M., et al. (2026). Training Reasoning Models to Generate Diverse Scientific Ideas. Under review. Source.