반응형
SMALL
🔗 https://arxiv.org/pdf/2504.17761.pdf
Step1X-Edit: AI 사진 편집, 오픈소스로 GPT-4o 수준까지! 🎨🤖
AI가 글뿐만 아니라 이미지도 자유자재로 만들고 편집하는 시대입니다. 특히 "말"로 원하는 사진 편집을 지시하는 기술은 사용자들에게 엄청난 편리함을 제공하죠. 하지만 현재 가장 뛰어난 성능을 보여주는 AI 사진 편집 모델들(GPT-4o, Gemini 등)은 내부 구조나 학습 데이터가 공개되지 않아 누구나 자유롭게 활용하거나 개선하기 어려웠습니다. 이 논문은 이러한 '폐쇄형 최고 성능 모델'과 '오픈소스 모델' 사이의 큰 격차를 줄이는 데 목표를 둡니다. Step1X-Edit이라는 새로운 오픈소스 모델을 공개하고, 모델 개발에 필수적인 대규모 고품질 데이터셋 구축 방법과 실제 사용자 요청을 반영한 새로운 평가 기준까지 제시합니다. 이는 AI 사진 편집 기술의 발전과 대중화에 크게 기여하는 중요한 발걸음이라고 할 수 있습니다.
서론
- 사진을 자연어(말)로 편집하는 기술은 사용자에게 직관적이지만, AI에게는 이미지 내용 이해, 정확한 위치 파악, 자연스러운 편집 등 여러 기술적 도전 과제를 안겨줍니다.
- 기존의 이미지 생성 모델(Diffusion Model)들은 이미지 품질은 좋지만, 복잡하거나 섬세한 편집 지시를 따르는 데는 한계가 있었습니다.
- GPT-4o와 같은 최신 비공개 모델들은 이 분야에서 뛰어난 성능을 보이지만, 투명성 부족으로 연구 발전에 제약이 따랐습니다.
- 이 논문은 오픈소스 AI 모델로도 비공개 최고 모델에 필적하는 성능을 달성하고자 합니다.
핵심 포인트:
- 자연어 이미지 편집은 유용하지만 기술적 난제 존재.
- 최고 성능 모델은 비공개, 기존 오픈소스는 부족.
- 오픈소스로 성능 격차 해소가 목표.
기존 연구
- 초기에는 이미지를 토큰으로 보고 순차적으로 생성하는 방식(AR 모델)도 있었지만, 고해상도 이미지나 사실적인 표현에 어려움이 있었습니다.
- 최근에는 노이즈를 제거하며 이미지를 만드는 방식(Diffusion Model)이 이미지 생성 품질을 크게 높였습니다.
- 하지만 Diffusion 모델도 대부분 미리 정해진 방식이나 간단한 조건에 의존하며, 복잡한 대화나 유연한 언어 이해에는 약점을 보였습니다.
- GPT-4o처럼 이미지와 언어를 함께 학습한 모델들이 뛰어난 편집 능력을 보여주며 이 분야를 이끌고 있습니다.
핵심 포인트:
- 이미지 생성 기술(AR, Diffusion) 발전.
- Diffusion 모델, 편집 지시 이해에 한계.
- 이미지-언어 통합 모델(GPT-4o 등)이 가능성 제시.
방법론
- 기존 이미지 편집 학습 데이터는 양이나 질이 부족하다는 문제를 해결하기 위해, 대규모 고품질 데이터셋을 새로 구축했습니다.
- 인터넷의 실제 편집 사례를 분석하여 11가지 주요 편집 유형을 정의했습니다.
- 다양한 AI 모델과 사람의 검토를 결합하여 100만 개 이상의 '원본 이미지-편집 지시-결과 이미지' 쌍을 만들었습니다.
- Step1X-Edit 모델은 '이미지를 이해하는 AI (MLLM)'와 '이미지를 그리는 AI (Diffusion)'를 영리하게 연결했습니다.
- 사용자의 편집 지시와 원본 이미지를 MLLM이 분석하여 편집에 필요한 핵심 정보를 추출합니다. (마치 똑똑한 비서가 지시를 요약하듯)
- 추출된 정보는 '커넥터' 모듈을 거쳐 Diffusion 모델에 전달됩니다.
- Diffusion 모델은 이 정보를 바탕으로 원본 이미지를 참고하여 자연스럽게 편집된 이미지를 생성합니다. (마치 지시를 받은 화가가 그림을 그리듯)
핵심 포인트:
- 대규모 고품질 학습 데이터셋 새로 구축 (11가지 편집 유형, 100만+ 데이터).
- 이미지를 이해하는 AI(MLLM)와 이미지를 그리는 AI(Diffusion) 결합.
- MLLM이 지시를 파악, 커넥터가 전달, Diffusion이 이미지 생성.
실험 및 결과
- 모델 평가를 위해 기존과 다른, '진짜' 사용자 요청 기반의 새로운 평가 기준 'GEdit-Bench'를 만들었습니다.
- Reddit 등에서 수집한 606개의 실제 사용자 편집 요청과 실제 사진을 사용해 현실적인 평가가 가능하게 했습니다.
- 평가 데이터에 포함된 개인 정보는 모두 안전하게 처리했습니다.
- Step1X-Edit 모델의 성능을 GEdit-Bench에서 기존 오픈소스 모델들과 GPT-4o, Gemini 같은 비공개 모델들과 비교 평가했습니다.
- 이미지 품질, 지시 이행도 등을 포함하는 VIEScore를 사용하고, AI 평가와 사용자 선호도 조사를 모두 진행했습니다.
- 결과적으로 Step1X-Edit은 모든 면에서 기존의 오픈소스 모델들을 뛰어넘는 압도적인 성능을 보였습니다.
- GPT-4o에는 전반적으로 약간 못 미치지만, Gemini나 Doubao 같은 다른 최고 비공개 모델들과는 대등하거나 특정 편집 유형, 특히 한국어/중국어 지시 처리에서는 더 나은 결과도 보여주었습니다.
핵심 포인트:
- 실제 사용자 요청 기반의 새로운 평가 기준 'GEdit-Bench' 개발.
- 기존 오픈소스 모델들 대비 압도적 성능 우위 확인.
- 최고 비공개 모델(GPT-4o, Gemini 등)과 대등한 수준의 경쟁력 입증.
결론 및 한계
- 이 논문은 'Step1X-Edit'이라는 강력한 오픈소스 범용 이미지 편집 모델을 공개했습니다.
- 모델 학습을 위한 대규모 고품질 데이터 생성 파이프라인과 실제 사용자 요청 기반의 새로운 평가 기준(GEdit-Bench)도 함께 제시했습니다.
- Step1X-Edit은 기존 오픈소스 모델과의 성능 격차를 크게 줄이고, 비공개 최고 성능 모델에 필적하는 결과를 달성했습니다.
- 다만, 전반적인 성능 면에서 아직 GPT-4o가 우위를 보이는 부분이 있어 개선의 여지가 남아 있습니다.
핵심 포인트:
- Step1X-Edit 모델, 데이터 파이프라인, 평가 기준 공개.
- 오픈소스-비공개 모델 간 성능 격차 대폭 축소.
- 여전히 최고 중의 최고(GPT-4o)와는 미세한 차이 존재.
한 줄 요약
Step1X-Edit은 오픈소스 AI 사진 편집 기술을 비공개 최고 모델 수준으로 끌어올린 중요한 기여이자, 누구나 쓸 수 있는 전문가용 편집 도구의 가능성을 보여줍니다.
반응형
LIST