오늘의 한줄
오늘은 장기 시계열 생성과 에이전트 실행력 향상이 두드러졌습니다. 특히 실시간·스트리밍 환경에서의 멀티모달 생성, 로봇·게임 에이전트의 세계모델링, 그리고 테스트타임 최적화·하네스 자동화처럼 실제 배포 성능을 끌어올리는 연구가 많았습니다.
📄Multimodal & Generative5
Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds지속적 스토리와 인터랙티브 월드를 위한 장기 오디오-비주얼 생성⭐ 1,959
JoyAI-Echo-1.5는 cross-shot memory와 geometry-aware 6-DoF 조건화를 결합해 긴 영상에서도 캐릭터 외형·음성 정체성을 유지하고 인터랙티브 월드 생성을 지원하는 통합 오디오-비주얼 생성 시스템입니다.
UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City실제 규모 도시에서 로컬 지각을 공간적 행동으로 잇는 UrbanGround⭐ 42
UrbanGround는 홍콩 전역 3D 지리 데이터를 바탕으로 구축한 도시 샌드박스로, MLLM 에이전트가 로컬 스트리트뷰 이해를 장거리 내비게이션과 공간적 의사결정으로 얼마나 연결하는지 폐루프 환경에서 검증합니다.
Super Star: Towards Streaming Real-time Interactive Agents for Digital Humans디지털 휴먼을 위한 스트리밍 실시간 인터랙티브 에이전트⭐ 6
Super Star는 스트리밍 음성 응답 모듈과 causal gesture 생성기를 결합해 미래 음성 없이도 저지연으로 발화 동기 제스처를 생성하는 실시간 디지털 휴먼 프레임워크를 제안했습니다.
💡 멀티모달 생성은 이제 짧은 데모를 넘어 장기 일관성, 실시간성, 상호작용성, 그리고 확률적 세계모델링으로 이동하고 있습니다. 단순히 보기 좋은 결과보다 캐릭터 정체성 유지, 제어 가능성, 분포 수준의 물리 타당성까지 요구하는 방향이 뚜렷합니다.
🗣️Language Models1
Skill Issue: Are Skills Language-Invariant in LLMs?LLM의 능력은 언어가 바뀌어도 동일할까?⭐ 421
이 연구는 다국어 TextArena 자기대전을 통해 같은 LLM도 언어 인터페이스에 따라 승률·무효 행동·전략성이 크게 달라짐을 보여주며, 지식이 아니라 스킬 자체의 언어 의존성을 정량화했습니다.
💡 언어모델 평가는 평균 점수보다 어떤 언어에서 어떤 능력이 무너지는지를 더 세밀하게 봐야 한다는 신호입니다. 다국어 확장은 지식 번역 문제가 아니라 스킬 발현의 인터페이스 문제일 수 있음을 보여줍니다.
📄Robotics & RL5
Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization인간 비디오 문맥으로 열린 과제를 일반화하는 월드-액션 모델⭐ 135
Zero-WAM은 인간 시연 비디오를 문맥으로 넣어 보지 못한 조작 과제를 수행하는 causal video-action 모델이며, 7.42만 쌍의 HumanGen 데이터셋으로 로봇의 in-context task generalization을 확장했습니다.
GameWAM: A World Action Model for Video Games비디오 게임을 위한 월드-액션 모델⭐ 22
GameWAM은 미래 시각 관측과 실행 가능한 키보드·마우스 궤적을 함께 생성하는 최초의 게임용 WAM으로, block-causal conditioning과 flow matching으로 폐루프 게임플레이와 GUI 제어를 통합했습니다.
Agent-G^2: Gaussian Guidance for Agentic Reinforcement Learning에이전트 강화학습을 위한 가우시안 가이던스⭐ 29
Agent-G^2는 전문가 궤적 prefix 길이를 단일 값이 아닌 가우시안 분포로 샘플링해 long-horizon agent RL의 희소 보상을 완화하며, 추가 probe rollout 없이 온라인으로 guidance depth를 추정합니다.
💡 로봇과 게임 에이전트는 정책 하나만 학습하는 단계에서 벗어나, 비디오 문맥·시간 메모리·세계모델·역할 분해를 함께 다루는 방향으로 진화하고 있습니다. 특히 unseen task generalization과 long-horizon exploration을 구조적으로 푸는 시도가 많아졌습니다.
💻Code & Agents4
VoiceMem: Streaming Dual-Brain Memory for Real-Time Interaction실시간 상호작용을 위한 스트리밍 듀얼 브레인 메모리⭐ 108
VoiceMem은 정보형 left brain과 감정형 right brain으로 나눈 스트리밍 메모리 구조로, top-5 검색에서 Mem0의 top-200 대비 약 30점 높고 페르소나 벤치마크 종합 점수도 4.29점 개선했습니다.
Procedura: Agentic 3D Modeling with Procedural Control절차적 제어로 수행하는 에이전트형 3D 모델링⭐ 63
Procedura는 LLM이 3D 형상을 procedural assembly 코드로 작성하고 compile·mate·connectivity 검사를 통과한 부품만 채택해, 편집 가능하고 파트 구조가 살아있는 3D 모델을 생성하는 에이전트 프레임워크입니다.
SWE Refactor Bench: Can Coding Agents Complete a Long-Horizon, Whole-Repository Stack Migration?코딩 에이전트는 장기 저장소 전체 스택 마이그레이션을 끝낼 수 있을까?⭐ 34
SWE Refactor Bench는 20개 저장소 단위 마이그레이션과 Migration Audit·Behavioral Tests·Agentic Verification의 3단계 평가로, 테스트만 통과하고 실제 리팩터링은 회피하는 Blindness 문제를 정면으로 측정합니다.
💡 에이전트 성능의 핵심이 모델 자체보다 하네스·메모리·검증 프로토콜에 있다는 점이 분명해지고 있습니다. 코딩과 3D 모델링 모두에서, 더 강한 생성기보다 실패를 감지하고 구조적으로 수정하는 실행 시스템이 경쟁력의 중심이 되고 있습니다.
📄Training & Optimization3
Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation멀티 티처 온폴리시 증류의 능력 불균형 진단과 개선⭐ 50
Open-MOPD는 멀티 티처 온폴리시 증류가 오라클 앙상블 대비 가용 성능 향상의 35.6%만 회수함을 보이고, 원인이 gradient conflict가 아니라 토큰 단위 최적화 예산의 오배분임을 밝혀 재현 가능한 개선 레시피를 제시했습니다.
TTPO: Test-Time Policy Optimization테스트타임 정책 최적화⭐ 20
TTPO는 다수결 의사라벨과 불일치한 rollout을 RL로 억제하고 일치 rollout만 OPSD로 증류하는 비대칭 목적함수로, 정답 라벨 없이도 테스트타임 학습의 불안정을 줄이는 방법입니다.
V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning루브릭 기반 강화학습으로 높이는 시각적 충실성⭐ 12
V-Rubrics는 답변을 Visual Faithfulness·Reasoning Consistency·Instruction Following의 원자적 루브릭으로 분해해 부분 점수를 주는 RL을 제안하며, 멀티모달 후학습의 credit assignment 문제를 정교하게 해결합니다.
💡 후학습과 최적화 연구는 더 좋은 목적함수와 더 정밀한 credit assignment를 통해 실제 성능 병목을 푸는 데 집중하고 있습니다. 테스트타임 학습, 멀티티처 증류, 루브릭 기반 보상처럼 '무엇을 얼마나 업데이트할지'를 세분화하는 흐름이 강합니다.
👁️Computer Vision2
VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning생성 자체로 추론하는 네이티브 비주얼 리즈닝 검증 스위트⭐ 15
VBVR-Pro는 300개의 절차적 과제와 검증 가능한 reward scorer를 제공해 visual generation 기반 추론을 학습·최적화 가능하게 만들었고, 학습 모델은 RISE-Video 등 7개 외부 벤치마크로 강한 전이를 보였습니다.
LibriBrain100: One Hundred Hours of Broad and Deep MEG Data for Neural Speech Decoding at Scale대규모 신경 음성 디코딩을 위한 100시간 규모 MEG 데이터셋⭐ 13
LibriBrain100은 100시간 이상의 자연 발화 MEG와 단일 피험자 80시간 심층 데이터를 제공해 기존 유사 데이터셋 대비 최대 8배 깊이를 확보했으며, 단어 분류에서 SOTA를 달성했습니다.
💡 비전 연구에서도 모델 자체보다 훈련 가능한 과제 공간과 대규모 표준 데이터의 중요성이 커지고 있습니다. 네이티브 비주얼 추론과 신경 디코딩 모두, 재현 가능한 평가 기반을 먼저 세우는 작업이 다음 성능 도약의 전제처럼 보입니다.