[논문리뷰] AM-Thinking-v1: Advancing the Frontier of Reasoning at 32B Scale

🔗 https://arxiv.org/pdf/2505.08311.pdf

작지만 강한 AI의 등장: 320억개 매개변수 AI의 놀라운 추론 능력 

• 최근 인공지능 모델들은 엄청난 성능을 보여주지만, 수천억 개 이상의 매개변수를 가진 '초거대' 모델이 많아요.
• 이런 모델들은 똑똑하지만, 컴퓨터 자원이 엄청나게 필요해서 사용하거나 개선하기가 매우 어렵죠.
• 이 논문은 "모델 크기가 작더라도 (320억개 정도) 똑똑하게 잘 생각하게 만들 수 없을까?"라는 중요한 질문에 답합니다.
• 공개된 데이터와 영리한 훈련 방법만으로도 가능하다는 것을 증명하며, 실용적인 AI 개발에 새로운 방향을 제시했어요.

서론

• 최근 AI(LLM)는 수학 문제 풀이, 코딩 같은 복잡한 '추론' 분야에서 눈부시게 발전했어요.
• 특히 Qwen3처럼 아주 큰 MoE(Mixture-of-Experts) 모델들이 추론 성능의 선두를 달리고 있죠.
• 하지만 이런 거대 모델은 운영 비용과 복잡성이 매우 높다는 단점이 있어요.
• 이 연구는 공개된 320억개 매개변수의 Qwen2.5 모델을 기반으로, 실제 사용하기 좋은 규모에서도 최고 수준의 추론 능력을 달성하는 방법을 보여줍니다.

기존 연구

• LLM은 점점 더 복잡한 논리적 사고가 필요한 문제도 잘 풀게 진화하고 있어요.
• DeepSeek-R1과 같은 공개 모델들도 상업용 모델에 필적하는 강력한 성능을 보여왔죠.
• 그러나 많은 최신 성과는 대부분 매우 큰 규모의 MoE 구조 모델에서 나왔습니다.
• 이러한 MoE 모델들은 높은 성능을 제공하지만, 엄청난 계산 자원과 복잡한 구조 때문에 널리 사용하기 어렵다는 한계가 있습니다.

방법론

• 이 논문은 공개된 Qwen2.5-32B 모델을 시작으로, 특별히 설계된 '훈련 후 과정'을 거쳤어요.
• 데이터 준비: 훈련에는 오직 공개된 데이터만 사용했으며, 저품질 데이터를 걸러내고 수학 문제의 답은 여러 번 검증하는 등 데이터를 꼼꼼하게 다듬었어요.
• 훈련 파이프라인: 모델은 크게 두 단계를 거쳐 똑똑해집니다. 먼저 '지도 미세 조정(SFT)'으로 기본적인 추론 능력과 문제 풀이 시 '생각하는 과정'을 거치도록 가르쳤어요 (마치 교과서로 기본을 배우는 것).
• 그 다음 '강화 학습(RL)'을 통해 더 어려운 문제에 도전하고, 결과에 따라 스스로 개선하는 과정을 반복했어요 (마치 문제를 풀고 피드백 받으며 실력을 키우는 것).
• 핵심 포인트:
  • 100% 공개 데이터와 모델 활용
  • 데이터의 철저한 품질 관리 및 검증
  • SFT와 RL을 결합한 체계적인 훈련 설계
  • '생각 과정 → 답변' 패턴 학습 유도

실험 및 결과

• AIME(수학 경시 대회 문제), LiveCodeBench(실시간 코딩 문제), Arena-Hard(사용자 대화 평가) 등 어려운 추론 테스트들로 성능을 측정했어요.
• 결과적으로 AM-Thinking-v1(32B)은 DeepSeek-R1(더 큰 MoE)보다 수학 및 코딩 문제에서 더 좋은 점수를 얻었어요.
• 심지어 Qwen3-235B-A22B(훨씬 더 큰 MoE)와 같은 최고 성능 모델들과도 비슷하거나 일부 앞서는 결과를 보여주었습니다.
• 일반 대화 능력도 우수했지만, 가장 큰 모델들보다는 약간 낮은 평가를 받기도 했습니다.
• 핵심 포인트:
• 고난도 수학 및 코딩 벤치마크에서 뛰어난 성능 입증
• 더 큰 MoE 모델들을 능가하거나 견주는 수준 도달
• 모델 크기 대비 매우 높은 효율성 보여줌
• 실용적인 크기에서도 최고 수준 추론이 가능함 증명

결론 및 한계

• AM-Thinking-v1은 320억개 매개변수의 적당한 크기 모델도 공개 데이터와 정교한 훈련만으로 최고 수준의 추론 능력을 가질 수 있음을 보여주었습니다.
• 이는 고성능 AI를 더 많은 사람이 쉽게 사용하고 배포할 수 있게 만드는 중요한 성과입니다.
• 한계점: 복잡한 기능 호출(도구 사용), 이미지나 소리를 이해하는 능력(멀티모달)은 아직 지원하지 않아요. 안전성 검증도 더 필요하고, 한국어 같은 특정 언어나 아주 전문적인 분야에서는 성능이 다를 수 있습니다.
• 핵심 포인트:
• 32B 모델의 추론 능력 가능성 확장
• 성능과 실용성 사이의 균형점 제시
• 기능적 제약 및 추가 개선 필요성 인지

한 줄 요약

거대함만이 답은 아니다! 320억개 매개변수 AI, 똑똑한 훈련으로 초거대 AI 추론 능력에 도전장을 던지다!