🤔 VL-Rethinker: 비전-랭귀지 모델의 느린 사고 능력을 강화하는 강화 학습

최근 GPT-o1, DeepSeek-R1 같은 느린 사고 방식 모델들이 수학, 과학 문제에서 뛰어난 성능을 보여주고 있어요.
하지만, 이런 모델들의 멀티모달(이미지-텍스트) 추론 능력은 아직 빠른 사고 모델들과 비슷해요.
이 논문은 **비전-랭귀지 모델(VLM)**이 사람처럼 깊이 생각하고 추론하는 능력을 키우는 새로운 방법을 제시합니다.
특히, 강화 학습을 사용해서 VLM의 "느린 사고" 능력을 직접 훈련시키는 방법을 제안했다는 점에서 의미가 큽니다. 마치 학생에게 스스로 답을 검토하고 다시 생각해보도록 가르치는 것과 같아요.

📜 서론

GPT-o1, DeepSeek-R1 같은 느린 사고 모델은 복잡한 문제 해결에 강하지만, 멀티모달 분야에서는 아직 빠른 사고 모델만큼의 성능을 못 냈어요.
예를 들어, GPT-o1은 이미지와 텍스트를 함께 이해해야 하는 MathVista 같은 문제에서 빠른 사고 모델과 비슷한 수준이었죠.
그래서 연구자들은 "어떻게 하면 VLM에게 느리고 깊이 있는 사고 능력을 효과적으로 키워줄 수 있을까?" 라는 질문을 던졌어요.
이 논문은 강화 학습을 통해 VLM의 멀티모달 추론 능력을 직접 향상시키는 방법을 연구했습니다. 기존의 지식 증류 방식에 의존하지 않고 말이죠.

기존 연구들은 주로 지식 증류 방식을 사용했어요. 즉, 더 똑똑한 모델(선생님 모델)의 지식을 따라 하게 만드는 거죠.
하지만 이 논문은 선생님 모델 없이, 강화 학습만으로 VLM을 훈련시키는 새로운 접근 방식을 시도했습니다. 마치 혼자 공부해서 실력을 키우는 것과 같아요.
기존 강화 학습 알고리즘인 GRPO를 VLM에 적용하려고 했는데, "vanishing advantages problem" 이라는 문제점이 있었어요.
이 문제는 모델이 점점 똑똑해지면서 강화 학습 신호가 약해지는 현상인데, 마치 칭찬(보상)에 익숙해져서 더 이상 동기 부여가 안 되는 것과 비슷해요.

이 논문에서는 "vanishing advantages problem" 을 해결하기 위해 SSR(Selective Sample Replay) 이라는 기술을 GRPO에 적용했어요.
SSR은 마치 오답노트처럼, 모델이 잘못 풀거나 애매하게 풀었던 문제들을 다시 학습시키는 방법입니다.
이를 통해 학습 신호가 약해지는 것을 막고, 모델이 다양한 사고 방식을 탐험하도록 유도합니다.
또한, Forced Rethinking 이라는 새로운 기술도 제안했어요.
Forced Rethinking은 모델이 답을 낸 후에 "잠깐, 이거 진짜 맞나?" 하고 스스로에게 질문하게 만드는 방법입니다.
마치 시험 볼 때 답을 쓰고 나서 다시 한번 검토하는 것처럼, 모델이 자신의 생각을 되돌아보고 수정하도록 돕는 거죠.
이를 위해 자기 검증, 자기 수정, 자기 질문과 같은 "재사고 유발" 텍스트를 모델에게 추가적으로 입력했습니다.
이 두 가지 기술을 합쳐서 VL-Rethinker 라는 새로운 모델을 만들었어요.

연구자들은 VL-Rethinker 모델을 다양한 멀티모달 벤치마크 (MathVista, MathVerse, MathVision 등)로 평가했어요.
실험 결과, VL-Rethinker는 기존 모델들보다 훨씬 뛰어난 성능을 보여줬어요. 특히, 수학 관련 문제에서 눈에 띄는 향상을 보였습니다.
특히 놀라운 점은, VL-Rethinker가 GPT-o1 같은 최고 성능 모델과 비슷하거나 더 나은 점수를 기록했다는 거예요.
또한, SSR과 Forced Rethinking 기술이 각각 성능 향상에 얼마나 기여하는지 세부적인 실험(Ablation Study) 을 통해 분석했습니다.
SSR은 학습 안정성을 높이고 성능을 향상시키는 데 효과적이었어요. 마치 오답노트 복습이 시험 점수 향상에 도움이 되는 것처럼요.
Forced Rethinking은 모델이 스스로 생각하는 능력을 키워주는 데 중요한 역할을 했어요. 마치 검토 습관이 실수를 줄여주는 것처럼요.

VL-Rethinker는 강화 학습과 SSR, Forced Rethinking 기술을 통해 VLM의 느린 사고 능력을 효과적으로 향상시킬 수 있음을 보여주었습니다.
특히, 지식 증류 없이 강화 학습만으로 VLM을 훈련시킨 새로운 접근 방식을 제시했다는 점에서 큰 의미가 있습니다.
하지만, VL-Rethinker도 여전히 사람 전문가 수준에는 미치지 못하는 부분이 있어요. 특히, 더 일반적인 멀티모달 문제 (EMMA, MEGA-Bench)에서는 성능 향상이 제한적이었죠.
연구자들은 앞으로 더 고품질의 멀티모달 학습 데이터를 구축하여 VLM의 추론 능력을 더욱 발전시킬 계획이라고 합니다.

VL-Rethinker는 강화 학습과 새로운 기술들을 통해 비전-랭귀지 모델도 사람처럼 깊이 생각하고 문제를 해결할 수 있다는 가능성을 보여준 획기적인 연구입니다!

LIST