오늘의 한줄
오늘은 에이전트 시스템을 모델 바깥의 하네스·메모리·검증 루프로 끌어올리는 연구와, 로봇·비디오·디지털 휴먼으로 확장되는 장기 시계열 멀티모달 모델이 특히 눈에 띕니다. 동시에 RL과 포스트트레이닝도 더 정교한 보상·가이던스·데이터 레짐 설계로 실전 성능을 끌어올리는 방향으로 진화하고 있습니다.
📄Robotics & RL5
GigaBrain-0.7: Scaling Embodied Foundation Models to Emergent Capabilities with a Three-System Architecture세 시스템 아키텍처로 구현한 대규모 체화 파운데이션 모델 GigaBrain-0.7⭐ 2,611
GigaBrain-0.7은 이해·예측·행동을 묶는 3-시스템 구조와 3만7천 시간 이상 이기종 데이터, one-stage alignment로 다양한 로봇 형태 전반의 일반화를 크게 높인 VLA 기반 체화 모델입니다.
Agent-G^2: Gaussian Guidance for Agentic Reinforcement Learning에이전트 강화학습을 위한 가우시안 가이던스⭐ 29
Agent-G^2는 전문가 궤적 prefix 깊이가 단일 최적점이 아니라 가우시안 대역을 이룬다는 관찰을 바탕으로, 추가 probe rollout 없이 온라인으로 guidance depth를 추정해 장기 agentic RL을 안정화합니다.
StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models비전-언어-행동 모델을 위한 스트리밍 멀티모달 시간 모델링⭐ 23
StreamPI는 추가 파라미터 없이 instruction-anchored temporal modeling과 random-interval streaming training으로 단일 프레임 VLA에 시간 추론을 부여해 실제 로봇 배치 적합성을 높였습니다.
💡 로보틱스는 더 큰 VLA를 만드는 경쟁을 넘어, 시간 정보 보존·멀티암 협업·이기종 embodiment 일반화처럼 실제 배치에서 막히던 병목을 구조적으로 푸는 방향으로 가고 있습니다. 동시에 RL은 guidance depth나 데이터 레짐처럼 '언제 어떤 안정화가 필요한가'를 세분화하며 대규모 병렬 학습 시대에 맞게 재설계되고 있습니다.
📄Multimodal & Generative4
Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds지속형 스토리와 인터랙티브 월드를 위한 장기 오디오비주얼 생성⭐ 1,959
JoyAI-Echo-1.5는 cross-shot memory와 기하 인식 6-DoF 조건화를 결합해 캐릭터·음성 일관성을 유지하는 장편 영상과 상호작용형 월드 생성까지 하나의 오디오비주얼 시스템으로 확장했습니다.
WeMM-Embedding: WeChat Multi-Modal Embedding Technical Report위챗 범용 멀티모달 임베딩 WeMM-Embedding 기술 보고서⭐ 178
WeMM-Embedding은 텍스트·이미지·비디오·문서를 아우르는 2B·4B·9B 범용 임베딩 계열로, 2B가 기존 8B 오픈소스 기준선을 MMEB-v2에서 넘고 9B는 종합 80.6 SOTA를 달성했습니다.
From Seeing to Acting: Smart Glasses as First-Person Intelligence Platforms보는 것을 넘어 행동으로: 스마트 글라스를 1인칭 지능 플랫폼으로⭐ 13
이 서베이는 스마트 글라스를 인식-상태-상호작용-행동의 폐루프로 재정의하며, 에너지·열·프라이버시 제약 아래 1인칭 지능 시스템을 통합적으로 보는 첫 체계적 프레임워크를 제시합니다.
💡 멀티모달 생성은 짧은 데모를 넘어 장편 서사, 실시간 디지털 휴먼, 범용 임베딩, 웨어러블 지능까지 시스템 단위로 확장되고 있습니다. 핵심은 모달리티를 더 많이 붙이는 것보다, 장기 일관성·실시간성·공유 표현을 동시에 만족시키는 인프라를 만드는 데 있어 보입니다.
🗣️Language Models1
Skill Issue: Are Skills Language-Invariant in LLMs?LLM의 능력은 언어가 달라도 같을까?⭐ 421
이 연구는 다국어 self-play 게임으로 지식과 분리된 '기술' 자체를 측정해, 같은 LLM도 언어에 따라 승률·무효 행동·전략 성향이 크게 달라질 수 있음을 정량적으로 보여줍니다.
💡 언어모델 연구에서는 단순 평균 점수보다 '언어가 바뀌면 같은 모델의 실현 능력도 바뀐다'는 운영 관점의 문제가 더 중요해지고 있습니다. 다국어 제품을 만드는 실무자라면 번역 품질만이 아니라 전략적 행동과 오류 양상 자체를 언어별로 따로 검증해야 함을 시사합니다.
💻Code & Agents5
VoiceMem: Streaming Dual-Brain Memory for Real-Time Interaction실시간 상호작용을 위한 스트리밍 듀얼 브레인 메모리 VoiceMem⭐ 108
VoiceMem은 정보형 left brain과 감정형 right brain을 분리한 스트리밍 메모리 구조로, top-5 검색에서 Mem0 top-200 대비 약 30점 향상과 134ms 지연으로 실시간 대화 메모리를 구현했습니다.
SWE Refactor Bench: Can Coding Agents Complete a Long-Horizon, Whole-Repository Stack Migration?코딩 에이전트는 장기 저장소 전체 스택 마이그레이션을 끝낼 수 있을까?⭐ 34
SWE Refactor Bench는 테스트만 통과하고 마이그레이션은 하지 않는 'Blindness'를 막기 위해 20개 저장소 전면 리팩터링과 3단계 검증 프로토콜을 제안한 장기 코딩 에이전트 벤치마크입니다.
JIT-Agent: Scaling Harness Intelligence via Just-in-Time Harness Evolution즉시형 하네스 진화로 확장하는 에이전트 하네스 지능⭐ 24
JIT-Agent는 작업별로 메모리·계획·도구 오케스트레이션 하네스를 즉석 생성·수리·진화시키는 모델로, DeepSeek-V4-Flash를 DeepSearchQA에서 GPT-5.6보다 9.1점 높게 끌어올렸습니다.
💡 에이전트 성능의 상한이 이제 모델 자체보다 하네스, 메모리, 검증 루프, 벤치마크 설계에 더 크게 좌우된다는 흐름이 분명합니다. 즉석 하네스 생성, 실패 추적 기반 자동 패치, 재귀적 메모리 진화가 한데 모이면서 '에이전트 운영체제'를 학습하는 시대가 열리고 있습니다.
📄Training & Optimization4
Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs주석을 롤아웃으로 활용하는 비디오 MLLM용 효율적 강화학습⭐ 44
OraRL은 주석을 oracle rollout으로 직접 활용하되 advantage inversion을 막는 decoupled advantage estimator를 도입해 비디오 MLLM의 RL 포스트트레이닝 샘플 효율과 확장성을 높였습니다.
On-Policy Self-Distillation in Diffusion Models디퓨전 모델의 온폴리시 자기 증류⭐ 63
DiffusionOPSD는 이미지 보상을 중간 denoising 단계의 명시적 clean-output 타깃으로 바꾸는 온폴리시 자기증류 프레임워크로, 보상 정렬 디퓨전 학습의 타깃 구성과 실제 개선 간 간극을 체계적으로 분석합니다.
Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation멀티 교사 온폴리시 증류의 능력 불균형을 진단하고 고치는 Open-MOPD⭐ 50
Open-MOPD는 멀티 교사 온폴리시 증류가 오라클 앙상블 대비 가용 향상의 35.6%만 회수한다는 capability integration gap을 밝히고, 원인이 gradient conflict가 아니라 토큰 예산 오배분임을 보여줍니다.
💡 포스트트레이닝은 더 이상 보상 하나를 잘 주는 문제가 아니라, oracle rollout·루브릭·증류 예산처럼 학습 신호를 얼마나 세밀하게 분해하느냐의 경쟁으로 옮겨가고 있습니다. 특히 멀티모달과 멀티교사 환경에서 크레딧 할당을 구조화해야 실제 성능 향상으로 이어진다는 점이 반복해서 확인됩니다.
👁️Computer Vision1
VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning네이티브 비주얼 추론을 위한 확장 가능하고 검증 가능한 스위트 VBVR-Pro⭐ 15
VBVR-Pro는 생성 자체를 추론 매체로 쓰는 native visual reasoning을 위해 300개 절차적 과제와 검증 가능한 보상기를 제공하며, 학습 모델이 7개 외부 비주얼 추론 벤치로 강하게 전이됨을 보였습니다.
💡 비전 분야에서는 생성 모델을 단순 출력기가 아니라 추론의 작업 공간으로 쓰려는 시도가 본격화되고 있습니다. 이를 위해서는 대규모 과제 생성과 검증 가능한 보상 설계가 필수이며, VBVR-Pro는 그 실험 인프라를 정면으로 겨냥한 사례입니다.