오늘의 한줄
오늘은 LLM 후학습을 더 싸고 모듈화하려는 시도와, 멀티모달·비전 모델을 더 일반화된 인터페이스로 확장하려는 연구가 두드러졌습니다. 동시에 로보틱스와 에이전트 시스템에서는 명시적 중간표현, 메모리, 검증 가능한 파이프라인을 통해 신뢰성과 제어 가능성을 높이려는 흐름이 뚜렷합니다.
📄Multimodal & Generative7
MuScriptor: An Open Model for Multi-Instrument Music TranscriptionMuScriptor: 다중 악기 음악 전사를 위한 오픈 모델⭐ 556
MuScriptor는 합성 데이터 사전학습에 실제 음악 파인튜닝과 RL 후학습, 악기 존재 조건부 입력을 결합해 복잡한 실제 믹스에서도 동작하는 오픈 가중치 다중 악기 전사 모델을 제시했습니다.
Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation가르칠 수 있는 범위를 넘어: 에이전트형 시각 생성의 지식 경계 확장⭐ 6
SearchGen은 2만+ 프롬프트의 SearchGen-20K/Bench로 최신 오픈 생성기의 점수가 21~28점까지 붕괴함을 보이고, 생성기가 모르는 지식만 검색으로 보완하는 지식 경계 기반 에이전트형 시각 생성 문제를 정식화했습니다.
Blind-Spots-Bench: Evaluating Blind Spots in Multimodal ModelsBlind-Spots-Bench: 멀티모달 모델의 맹점을 평가하는 벤치마크⭐ 3
Blind-Spots-Bench는 인간에게는 쉬우나 모델이 자주 실패하는 235개 과제를 자동 채점 파이프라인과 함께 제시해, 폐쇄형 모델이 약 10%포인트 앞서도 여전히 단순한 맹점이 남아 있음을 보여줍니다.
💡 생성 모델은 이제 단순히 잘 그리는 수준을 넘어, 무엇을 모르는지 파악하고 검색으로 보완하거나 정체성·의상·모션·3D 구조를 세밀하게 제어하는 방향으로 이동하고 있습니다. 공통적으로 보이는 흐름은 더 많은 자유도를 주되, 그 자유도를 다루는 인터페이스를 명시적으로 설계해 실사용성을 높인다는 점입니다.
👁️Computer Vision3
MonkeyOCRv2: A Visual-Text Foundation Model for Document AIMonkeyOCRv2: 문서 AI를 위한 비주얼-텍스트 파운데이션 모델⭐ 144
MonkeyOCRv2는 17개 언어 1억 1,300만 장 규모의 MonkeyDoc v2와 이미지-텍스트 생성+픽셀 복원 사전학습을 통해 OCR, 수식 인식, 변조 탐지 등 5개 문서 과제에서 인코더 교체만으로 일관된 성능 향상을 보였습니다.
Let RGB Be the Language of VisionRGB를 비전의 공통 언어로⭐ 7
RINO는 마스크·깊이맵 같은 구조화된 시각 정보를 모두 RGB로 통일해 다양한 비전 과제를 RGB-to-RGB 편집 문제로 바꾸고, 태스크별 파인튜닝 없이 분할·깊이 추정·조건부 생성에서 강한 제로샷 성능을 냈습니다.
4D Human-Scene Reconstruction from Low-Overlap Captures낮은 중첩 카메라로 만드는 4D 인간-장면 재구성
StudioRecon은 배경과 사람을 분리해 비디오 디퓨전으로 배경 시점을 증강하고, 교차 시점 ID 연계와 삼각측량 기반 초기화로 희소·저중첩 카메라에서도 더 일관된 4D 인간 장면 재구성을 달성했습니다.
💡 비전 연구에서는 문서, 4D 재구성, 범용 시각 표현처럼 서로 다른 문제를 하나의 통일된 표현과 사전학습 전략으로 묶으려는 시도가 강합니다. 특히 RGB나 문서 복원 같은 저수준 신호를 다시 전면에 세우며, 범용성과 세밀한 지각을 동시에 잡으려는 방향이 인상적입니다.
💻Code & Agents2
Towards Autonomous and Auditable Medical Imaging Model Development자율적이고 감사 가능한 의료영상 모델 개발을 향해⭐ 9
AMID는 데이터 조건부 방법 계획과 검증 유도 2단계 최적화를 갖춘 멀티에이전트 프레임워크로, 의료영상 모델 개발을 자동화하면서 검증 프로토콜과 예측 산출물의 감사 가능성까지 함께 확보합니다.
LightMem-Ego: Your AI Memory for Everyday LifeLightMem-Ego: 일상을 위한 AI 메모리
LightMem-Ego는 시각·오디오 자아중심 스트림을 현재·단기·장기 메모리 계층으로 축적하고 질의별로 적절한 메모리 수준에 검색을 라우팅해, 스마트폰과 AI 안경에서 경량 장기 기억 보조를 구현합니다.
💡 에이전트 시스템은 점점 더 '자동화' 자체보다 검증 가능성과 장기 운용성을 중시하고 있습니다. 의료영상 개발의 감사 가능 파이프라인과 일상 기억 시스템 모두, 실제 배포를 위해선 계획·기억·검증이 함께 설계되어야 함을 보여줍니다.
📄Training & Optimization2
Weak-to-Strong Generalization via Direct On-Policy DistillationDirect On-Policy Distillation으로 구현한 약한 모델에서 강한 모델로의 일반화
Direct-OPD는 작은 모델의 RL 전후 체크포인트 로그 비율을 암묵적 보상으로 삼아 RL로 얻은 정책 변화만 큰 모델에 증류함으로써, 비싼 강모델 롤아웃 없이 추론 성능을 이전하는 후학습 기법입니다.
Proxy Exploration and Reusable Guidance: A Modular LLM Post-Training Paradigm via Proxy-Guided Update Signals프록시 탐색과 재사용 가능한 가이던스: 프록시 유도 업데이트 신호 기반 모듈형 LLM 후학습
PUST는 가벼운 프록시 모델로 고보상 행동을 먼저 탐색한 뒤 초기·최적화 상태의 상대적 개선 신호만 본 모델에 전달해, 탐색과 정렬을 분리하는 재사용 가능한 모듈형 후학습 패러다임을 제안했습니다.
💡 LLM 후학습은 비싼 본모델 탐색을 줄이고, 작은 모델이나 프록시에서 얻은 '업데이트 방향'만 재사용하는 쪽으로 진화하고 있습니다. 이는 RL 성능 향상을 더 저렴하고 이식 가능하게 만들며, 앞으로 후학습 스택의 모듈화와 비동기화가 빨라질 가능성을 시사합니다.
🗣️Language Models3
Metacognition in LLMs: Foundations, Progress, and OpportunitiesLLM의 메타인지: 기초, 진전, 그리고 기회
이 서베이는 LLM 메타인지의 정의·평가·유도·개선 기법과 활용 가능성을 체계화해, 신뢰성·투명성·자기점검 능력을 차세대 LLM 핵심 축으로 정리한 첫 종합 개관입니다.
NeuroCogMap Reveals Cognitive Organization of Large Language ModelsNeuroCogMap이 밝힌 대규모 언어모델의 인지 조직
NeuroCogMap은 LLM 내부 표현을 인지 기능별 parcel로 조직화해 환각·편향·아첨·거부 실패가 서로 다른 표현·행동 제어 시스템의 교란과 연결됨을 보여주는 해석 프레임워크를 제시했습니다.
AdvancedMathBench: A Benchmark Suite for Advanced Mathematical Proof Generation and VerificationAdvancedMathBench: 고급 수학 증명 생성·검증 벤치마크
AdvancedMathBench는 학부~박사자격 수준 296문항의 ProverBench와 전문가 주석 기반 자동 검증기를 통해, 최종 답이 아니라 증명 과정의 오류 유형까지 평가하는 고급 수학 추론 벤치마크를 제안했습니다.
💡 언어모델 연구는 성능 경쟁을 넘어, 메타인지·내부 인지 조직·고급 수학 증명처럼 '어떻게 생각하고 어떻게 실패하는가'를 측정하는 단계로 들어섰습니다. 벤치마크와 해석 프레임워크가 함께 발전해야 신뢰성과 고난도 추론의 병목을 제대로 다룰 수 있음을 보여줍니다.
📄Robotics & RL3
EgoSteer: A Full-Stack System Towards Steerable Dexterous Manipulation from Egocentric VideosEgoSteer: 자아중심 영상 기반 조종 가능한 정교 조작을 향한 풀스택 시스템
EgoSteer는 9.6K시간 자아중심 영상 데이터 파이프라인 EgoSmith, 텔레옵·교정 스택, 월드모델 강화 VLA를 묶어 40개 이상 작업에서 자유형 언어 지시를 수행하는 조종 가능한 손 조작 정책을 학습했습니다.
Xiaomi-Robotics-U0: Unified Embodied Synthesis with World Foundation ModelXiaomi-Robotics-U0: 월드 파운데이션 모델 기반 통합 임바디드 합성
Xiaomi-Robotics-U0는 380억 파라미터 멀티모달 자기회귀 모델로 텍스트-이미지, 편집, 임바디드 장면·전이·비디오 생성을 공동 최적화해, 다중 로봇 형태와 다중 시점 일관성을 지원하는 통합 합성을 제시했습니다.
ABot-N1: Toward a General Visual Language Navigation Foundation ModelABot-N1: 범용 시각-언어 내비게이션 파운데이션 모델을 향해
ABot-N1은 CoT 기반 느린 추론기와 빠른 제어기를 분리하고 픽셀 목표를 공통 인터페이스로 쓰는 slow-fast 구조로, 좌표 드리프트를 줄이며 다양한 VLN 과제에서 해석 가능성과 범용성을 함께 노렸습니다.
💡 로보틱스에서는 거대한 엔드투엔드 정책보다, 데이터 파이프라인·월드모델·명시적 목표 표현을 갖춘 계층형 시스템이 힘을 얻고 있습니다. 사람 영상에서 얻은 사전지식과 픽셀 목표 같은 중간표현이 범용성, 제어 가능성, 해석 가능성을 동시에 끌어올리는 핵심으로 보입니다.