2505.00662.pdf

LLM, 자신의 실수를 스스로 찾아내게 만들기: DeepCritic

거대 언어 모델(LLM)이 계속 발전하려면 자신의 결과물을 스스로 검토하고 개선하는 능력이 중요합니다.
사람이 모든 LLM 결과물을 일일이 확인하고 피드백을 주는 것은 너무 비싸고 어렵습니다.
따라서 LLM을 '비평가'로 사용하여 자동 감독하는 방식이 주목받고 있지만, 기존 LLM 비평가는 오류를 깊이 파고들지 못하고 피상적인 비판만 하는 한계가 있었습니다.
이 논문은 LLM이 단순히 맞고 틀림을 넘어, 왜, 어디서 틀렸는지 그 과정을 '의도적으로' 깊이 파헤치는 비판 능력을 갖추도록 훈련하는 방법을 제시하며, 이는 LLM의 자기 개선과 신뢰성 향상에 큰 기여를 할 수 있습니다.

LLM은 많은 분야에서 인간 능력을 뛰어넘는 성과를 보이지만, 여전히 정확도 향상을 위해 지속적인 감독이 필요합니다.
LLM의 발달 속도를 따라잡기 위해 사람의 수작업 감독은 비효율적입니다.
LLM 스스로 다른 LLM이나 자신의 결과물을 비판하고 개선하는 'LLM 비평가' 모델이 유망한 대안으로 떠오르고 있습니다.
하지만 특히 수학 문제와 같이 복잡한 추론 과정에서 기존 LLM 비평가는 피상적인 검토만 하여 정확도가 낮고 구체적인 개선 피드백을 제공하지 못하는 문제가 있습니다.

LLM의 비판 능력을 활용하여 LLM을 평가하거나 개선하는 시도는 이미 있었습니다 ('LLM-as-a-Judge', 'LLM-as-a-Critic').
LLM의 추론 능력을 향상시키기 위해 고품질 데이터를 모으거나 검색 기반 샘플링을 활용하는 등의 연구도 활발했습니다.
하지만 기존의 수학 비판 모델들은 문제 풀이의 각 단계에 대해 깊이 있고 분석적인 비판을 제공하는 데는 한계가 있었습니다.
본 논문은 기존 비평가 모델의 '피상적인 비판' 문제점을 해결하는 데 초점을 맞춥니다.

이 논문은 LLM이 '의도적인 비판(Deliberate Critique)' 능력을 갖추도록 하는 2단계 훈련 파이프라인 DeepCritic을 제안합니다.

1단계 (비판 가르치기 - SFT)
- 매우 강력한 LLM(Qwen2.5-72B)을 활용하여 약 4.5K개의 '심층 비판' 데이터를 만듭니다.
- 이 데이터는 문제 풀이의 각 단계를 독립적으로, 여러 관점에서 검토하고 심지어 최초 비판 자체를 다시 비판(메타 비판)하는 긴 형식의 비판문으로 구성됩니다.
- 이 데이터셋으로 목표 모델(Qwen2.5-7B)을 지도 학습(SFT)하여 기본적인 심층 비판 능력을 가르칩니다.

2단계 (비판 능력 강화 - RL)
- SFT된 모델에 강화 학습(RL)을 적용하여 비판 능력을 더욱 극대화합니다.
- RL 데이터는 기존 사람 레이블 데이터(PRM800K)나 몬테카를로 샘플링 기법으로 자동 생성한 데이터를 활용할 수 있습니다.

Qwen2.5-7B 모델을 기반으로 훈련한 DeepCritic 모델의 성능을 다양한 수학 비판 벤치마크(MR-GSM8K, PRM800K, ProcessBench)에서 평가했습니다.
주요 결과
- 약 4.5K개의 심층 비판 데이터로 SFT한 DeepCritic-7B-SFT 모델은 기반 모델(Qwen2.5-7B-Instruct)보다 비판 성능(F1 점수)이 20점 이상 크게 향상되었습니다 (34.1 → 54.1).
- 자동 생성 데이터(약 14K개)로 RL한 모델은 성능을 54.1에서 63.5로 향상시켜, 사람 데이터 없이도 비판 능력을 강화할 수 있음을 보여주었습니다.
- 사람 레이블 데이터(약 40K개)로 RL한 DeepCritic-7B-RL 모델은 같은 크기의 최신 모델은 물론, GPT-4o까지 포함한 모든 비교 모델을 능가하는 최고의 비판 성능을 달성했습니다.
- DeepCritic 모델은 여러 번 비판하여 다수결로 최종 판단하거나(Majority Voting), 생성 모델의 틀린 과정을 정확하게 피드백하여 생성 모델 스스로 결과물을 개선하는 데 효과적임을 입증했습니다.

이 논문은 LLM이 수학 추론 과정에서 각 단계를 '의도적으로' 깊이 파헤치는 비판 능력을 훈련하는 효과적인 2단계 파이프라인(DeepCritic)을 성공적으로 제시했습니다.
개발된 DeepCritic 모델은 다양한 벤치마크에서 기존 LLM 비평가 모델들을 압도하는 우수한 성능을 보였으며, 특히 자신보다 더 큰 생성 모델의 결과물을 감독하고 개선하는 데 활용될 수 있음을 보여주었습니다.
이는 LLM의 신뢰성을 높이고 자동화된 대규모 감독(Scalable Oversight) 및 '약한 모델이 강한 모델을 감독'하는 가능성을 보여줍니다.
(잠재적 한계): 이 연구는 주로 수학 분야에 집중했습니다. 다른 복잡한 추론 영역(예: 코딩, 과학)에서의 심층 비판 능력은 추가 연구가 필요할 수 있습니다. 또한, 고품질 심층 비판 데이터를 만드는 과정 자체의 복잡성도 고려해야 합니다.

단순히 '맞다/틀리다'가 아니라 '왜 틀렸는지' 깊이 파고드는 LLM 비평가를 훈련하여, LLM의 자기 개선 능력을 혁신적으로 높이는 방법을 보여준 논문.

LIST