오늘의 한줄
오늘은 장기 시계열을 다루는 생성·에이전트 시스템과, 테스트타임 최적화 및 하네스 설계처럼 모델 바깥의 성능 레버를 겨냥한 연구가 두드러집니다. 동시에 로보틱스와 게임, 도시 내비게이션까지 월드모델링이 실제 상호작용 환경으로 빠르게 확장되고 있습니다.
📄Multimodal & Generative6
Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds지속형 스토리와 인터랙티브 월드를 위한 장기 오디오-비주얼 생성⭐ 1,959
JoyAI-Echo-1.5는 cross-shot memory와 geometry-aware 6-DoF 조건화를 결합해 장편 영상에서 인물·음성 정체성을 유지하고 인터랙티브 월드 생성까지 지원하는 통합 오디오-비주얼 생성 시스템입니다.
UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City실제 규모 도시에서 로컬 지각을 공간적 에이전시로 잇는 UrbanGround⭐ 42
UrbanGround는 홍콩 전역 3D 지리정보로 구축한 실규모 도시 샌드박스에서 MLLM 에이전트의 장거리 내비게이션과 공간 추론을 평가해, 로컬 장면 이해가 실제 도시 행동으로 얼마나 이어지는지 검증할 수 있게 합니다.
Super Star: Towards Streaming Real-time Interactive Agents for Digital Humans디지털 휴먼을 위한 스트리밍 실시간 인터랙티브 에이전트⭐ 6
Super Star는 스트리밍 음성 응답 모듈과 causal gesture generator를 결합해 미래 음성 없이도 낮은 지연으로 발화 동기화 제스처를 생성하는 실시간 디지털 휴먼 프레임워크를 제안합니다.
💡 멀티모달 생성은 이제 짧은 데모를 넘어 장기 일관성, 실시간성, 그리고 상호작용 가능한 월드모델링으로 이동하고 있습니다. 특히 평가 축도 단순 시각 품질에서 시각적 충실성, 분포적 정렬, 도시·라이브 환경 적응처럼 훨씬 운영 현실에 가까운 방향으로 정교해지고 있습니다.
🗣️Language Models2
Skill Issue: Are Skills Language-Invariant in LLMs?LLM의 스킬은 언어가 달라도 동일할까?⭐ 421
동일 모델이 언어 인터페이스만 달라져도 8개 언어·6개 게임에서 승률, invalid action, 전략 품질이 크게 달라짐을 multilingual self-play로 정량화해, 다국어 LLM의 성능 격차가 지식이 아니라 스킬 차이일 수 있음을 보여줍니다.
VoiceMem: Streaming Dual-Brain Memory for Real-Time Interaction실시간 상호작용을 위한 스트리밍 듀얼 브레인 메모리⭐ 108
VoiceMem은 정보 기억용 left brain과 감정·페르소나용 right brain을 분리한 스트리밍 메모리 구조로, top-5 retrieval에서 Mem0 top-200 대비 약 30점 높고 134ms 지연으로 실시간 SLM 메모리를 구현했습니다.
💡 언어모델 연구는 단순 성능 향상보다 실제 사용 맥락에서의 안정적 능력 발현에 더 집중하는 모습입니다. 다국어 환경에서 스킬 자체가 흔들리고, 장기 대화에서는 메모리 구조가 병목이 된다는 점이 분명해졌습니다.
📄Robotics & RL4
Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization인간 비디오 문맥으로 열린 과제 일반화를 구현하는 월드-액션 모델⭐ 135
Zero-WAM은 인간 시연 영상을 문맥으로 넣어 보지 못한 조작 과제를 수행하는 causal video-action 모델이며, 74.2K 규모 HumanGen 페어 데이터셋으로 로봇의 in-context task generalization을 실현했습니다.
Agent-G^2: Gaussian Guidance for Agentic Reinforcement Learning에이전트 강화학습을 위한 가우시안 가이던스⭐ 29
Agent-G^2는 힌트 기반 RL에서 expert prefix 깊이를 단일 값이 아닌 가우시안 분포로 온라인 추정해 샘플별 이질성을 반영하며, 추가 probe rollout 없이 장기 과제 탐색 효율을 높입니다.
StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models비전-언어-행동 모델을 위한 스트리밍 멀티모달 시간 모델링⭐ 23
StreamPI는 추가 파라미터 없이 instruction-anchored temporal modeling과 random-interval streaming training으로 단일 프레임 VLA에 시간 추론 능력을 부여해 실제 로봇 배치의 비동기성까지 다룹니다.
💡 로보틱스에서는 언어 지시를 넘어서 인간 비디오, 시간 스트림, 다중 팔 역할 분해처럼 더 구조적인 문맥이 일반화의 핵심으로 떠오릅니다. RL 쪽에서도 긴 과제의 탐색 문제를 guidance depth나 in-context world-action modeling처럼 더 세밀한 제어 변수로 풀려는 흐름이 강합니다.
📄Training & Optimization2
Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation멀티-티처 온폴리시 증류의 역량 불균형을 진단하고 고치는 Open-MOPD⭐ 50
Open-MOPD는 멀티-티처 RL 증류가 오라클 앙상블 대비 가용 성능 향상의 35.6%만 흡수하는 원인이 gradient conflict가 아니라 token-level 예산 오배분임을 밝히고, 재현 가능한 개선 레시피를 제시합니다.
TTPO: Test-Time Policy Optimization테스트타임 정책 최적화⭐ 20
TTPO는 다수결 pseudo-label의 오류 전파를 줄이기 위해 일치 rollout은 OPSD로 증류하고 불일치 rollout은 Grouped RL로 벌점하는 비대칭 목표를 도입해, 정답 라벨 없이도 테스트타임 적응을 안정화합니다.
💡 최적화 연구는 더 이상 학습률이나 스케줄 수준에 머물지 않고, 토큰 예산 배분과 테스트타임 업데이트의 비대칭성처럼 실패 메커니즘 자체를 겨냥합니다. 이는 후학습과 적응 단계가 점점 더 별도의 핵심 연구 영역이 되고 있음을 시사합니다.
💻Code & Agents4
Procedura: Agentic 3D Modeling with Procedural Control절차적 제어로 구현한 에이전트형 3D 모델링⭐ 63
Procedura는 LLM이 3D 형상을 procedural assembly code로 작성하고 compile·mate·connectivity 검사를 통과한 부품만 채택하도록 해, 편집 가능하고 파트 구조가 살아있는 3D 모델링을 가능하게 합니다.
SWE Refactor Bench: Can Coding Agents Complete a Long-Horizon, Whole-Repository Stack Migration?코딩 에이전트는 장기적 전체 저장소 스택 마이그레이션을 끝낼 수 있을까?⭐ 34
SWE Refactor Bench는 20개 전체 저장소 마이그레이션과 Migration Audit·Behavioral Tests·Agentic Verification의 3단계 평가로, 테스트만 통과하고 실제 리팩터링은 하지 않는 Blindness 문제를 드러냅니다.
GameWAM: A World Action Model for Video Games비디오 게임을 위한 월드 액션 모델⭐ 22
GameWAM은 미래 화면과 실행 가능한 키보드·마우스 궤적을 병렬 생성하는 첫 게임용 WAM으로, block-causal conditioning과 flow matching으로 폐루프 게임플레이와 GUI 제어를 함께 다룹니다.
💡 코드·에이전트 분야에서는 모델 본체보다 하네스, 평가 프로토콜, 환경 인터페이스가 성능을 좌우한다는 인식이 강해졌습니다. 특히 장기 리팩터링이나 3D/게임 조작처럼 복합 작업에서는 '무엇을 생성하느냐'보다 '어떻게 실행·검증·수정하느냐'가 경쟁력이 되고 있습니다.
👁️Computer Vision2
VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning확장 가능하고 검증 가능한 네이티브 비주얼 추론 벤치마크⭐ 15
VBVR-Pro는 300개 절차적 과제와 verifiable reward를 제공해 생성 자체를 추론 매체로 쓰는 native visual reasoning을 학습·최적화 가능하게 만들고, 7개 외부 벤치마크로의 전이 성능도 입증했습니다.
LibriBrain100: One Hundred Hours of Broad and Deep MEG Data for Neural Speech Decoding at Scale대규모 신경 음성 해독을 위한 100시간 규모 MEG 데이터셋⭐ 13
LibriBrain100은 자연 발화를 들을 때의 고품질 MEG를 100시간 이상 수집하고 단일 피험자 80시간으로 기존 유사 데이터셋 대비 최대 8배 깊이를 제공해, 비침습 뇌-텍스트 해독의 표준 평가 기반을 마련했습니다.
💡 비전 연구는 생성형 추론과 뇌신호 해독처럼 전통적 인식 밖의 문제를 다루면서도, 공통적으로는 대규모·검증 가능한 벤치마크 인프라를 먼저 세우는 방향을 택하고 있습니다. 즉 모델 혁신 못지않게 무엇을 어떻게 측정할지가 핵심 전장으로 보입니다.