오늘의 한줄
오늘은 장기 시계열 생성과 실시간 상호작용, 그리고 에이전트의 실행력 평가·최적화가 핵심 흐름으로 보입니다. 특히 월드 모델을 단순 생성기가 아니라 행동·분포·메모리까지 다루는 시스템으로 확장하려는 시도가 여러 분야에서 동시에 나타났습니다.
📄Multimodal & Generative5
Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds지속형 스토리와 인터랙티브 월드를 위한 장기 오디오-비주얼 생성⭐ 1,959
JoyAI-Echo-1.5는 cross-shot memory와 geometry-aware 6-DoF 조건화를 결합해 장편 영상에서 캐릭터 외형·음성 일관성과 인터랙티브 시점 제어를 함께 지원하는 통합 오디오-비주얼 생성 시스템입니다.
Super Star: Towards Streaming Real-time Interactive Agents for Digital Humans디지털 휴먼을 위한 스트리밍 실시간 인터랙티브 에이전트⭐ 6
Super Star는 미래 음성 없이 현재까지의 응답 오디오와 모션 이력만으로 제스처를 생성하는 causal multimodal autoregressive 구조를 통해, 디지털 휴먼의 저지연 실시간 동작 합성을 가능하게 합니다.
V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning루브릭 기반 강화학습으로 높이는 시각적 충실성⭐ 12
V-Rubrics는 응답을 원자적 명제로 분해해 Visual Faithfulness·Reasoning Consistency·Instruction Following별 부분 점수를 주는 RL 보상 설계로, 멀티모달 후학습의 시각 근거 부족 문제를 정밀하게 교정합니다.
💡 멀티모달 생성은 이제 짧은 클립 품질 경쟁을 넘어 장기 일관성, 실시간성, 그리고 분포 수준의 세계 모델링으로 이동하고 있습니다. 특히 편집·제스처·월드모델 평가까지 연결되며, 생성 모델이 인터랙티브 시스템의 핵심 런타임으로 자리 잡는 흐름이 뚜렷합니다.
🗣️Language Models2
Skill Issue: Are Skills Language-Invariant in LLMs?LLM의 스킬은 언어가 달라도 같을까?⭐ 421
이 논문은 다국어 self-play 기반 TextArena 확장으로 동일 LLM의 언어별 행동 역량을 분리 측정해, 8개 언어·6개 게임에서 승률·무효 행동·전략 오류가 체계적으로 달라진다는 점을 보여줍니다.
VoiceMem: Streaming Dual-Brain Memory for Real-Time Interaction실시간 상호작용을 위한 스트리밍 듀얼 브레인 메모리⭐ 108
VoiceMem은 정보형 left brain과 감정형 right brain으로 나눈 스트리밍 메모리 구조로, 134ms 검색 지연에서 Mem0 top-200 대비 top-5 기준 약 30점 높은 정확도와 페르소나 벤치마크 SOTA를 달성했습니다.
💡 언어모델 연구에서는 단순 성능 향상보다 실제 사용 맥락에서의 안정성과 개인화가 더 중요해지고 있습니다. 언어별 스킬 편차와 실시간 메모리 구조를 함께 보면, 앞으로의 경쟁력은 '무엇을 아는가'보다 '상황에 맞게 얼마나 일관되게 꺼내 쓰는가'에 달려 있어 보입니다.
📄Robotics & RL4
Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization인간 비디오 문맥으로 여는 개방형 로봇 작업 일반화⭐ 135
Zero-WAM은 인간 시연 영상을 문맥으로 넣는 causal video-action model과 74.2K 규모 HumanGen을 통해, 파라미터 업데이트 없이 보지 못한 조작 작업으로의 zero-shot 일반화를 노립니다.
Agent-G^2: Gaussian Guidance for Agentic Reinforcement Learning에이전트 강화학습을 위한 가우시안 가이던스⭐ 29
Agent-G^2는 전문가 궤적 prefix 길이를 단일 값이 아닌 가우시안 분포로 샘플링해 추가 probe rollout 없이 과제별 적정 guidance depth를 온라인 추정하는 장기 과제용 RL 프레임워크입니다.
StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models비전-언어-행동 모델을 위한 스트리밍 멀티모달 시간 모델링⭐ 23
StreamPI는 추가 파라미터 없이 instruction-anchored temporal modeling과 random-interval streaming training을 도입해 단일 프레임 VLA에 시간 추론 능력과 실제 로봇 배치 적합성을 부여합니다.
💡 로보틱스는 VLA와 WAM 계열 모델을 통해 문맥 학습, 시간 추론, 다중 팔 협업까지 빠르게 넓어지고 있습니다. 공통적으로는 고정된 작업 정책보다 문맥·역할·과거 관측을 유연하게 조합해 보지 못한 작업으로 일반화하려는 방향이 강합니다.
💻Code & Agents5
UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City실제 규모 도시에서 로컬 지각을 공간적 행동으로 잇다⭐ 42
UrbanGround는 홍콩 전역 3D 지리 데이터로 만든 실규모 도시 샌드박스에서 MLLM 에이전트의 장면 이해, 공간 추론, 장거리 내비게이션을 폐루프 방식으로 검증할 수 있게 한 첫 평가 환경입니다.
Procedura: Agentic 3D Modeling with Procedural Control절차적 제어로 만드는 에이전트형 3D 모델링⭐ 63
Procedura는 LLM이 조립 그래프와 machine-checkable mates를 갖는 절차적 3D 코드를 작성하고 vision critic이 수정하는 방식으로, 편집 가능하고 부품 구조가 살아있는 3D 모델 생성을 가능하게 합니다.
SWE Refactor Bench: Can Coding Agents Complete a Long-Horizon, Whole-Repository Stack Migration?코딩 에이전트는 장기 전사적 스택 마이그레이션을 끝낼 수 있을까?⭐ 34
SWE Refactor Bench는 20개 저장소 단위 마이그레이션과 3단계 평가로 테스트 통과만으로는 가려지던 Blindness를 드러내며, 코딩 에이전트의 실제 리팩터링 완결성을 처음 체계적으로 측정합니다.
💡 에이전트 분야는 모델 본체보다 하네스, 벤치마크, 환경 설계가 성능을 좌우한다는 점을 점점 더 분명히 보여줍니다. 실제 마이그레이션 완결성, 3D 코드 생성, 게임·도시 환경 상호작용까지 평가 축이 현실화되면서 '테스트를 통과하는가'보다 '일을 제대로 끝내는가'가 핵심 지표가 되고 있습니다.
📄Training & Optimization2
Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation멀티 교사 온폴리시 증류의 역량 불균형 진단과 개선⭐ 50
Open-MOPD는 SmolLM3-3B-Base 기반 통제 벤치마크에서 기존 M-OPD가 oracle headroom의 35.6%만 회수함을 보이고, 원인이 gradient conflict가 아닌 토큰 수준 최적화 예산 오배분임을 밝혔습니다.
TTPO: Test-Time Policy Optimization테스트 시점 정책 최적화⭐ 20
TTPO는 다수결 의사라벨과 불일치하는 rollout이 대체로 틀린 비대칭성을 활용해, 동의 rollout은 OPSD로 증류하고 비동의 rollout은 Grouped RL로 벌점 주는 테스트타임 학습 기법입니다.
💡 최적화 연구는 평균적인 학습 규칙보다 데이터·토큰·rollout별로 어디에 예산을 써야 하는지를 더 정교하게 다루기 시작했습니다. 멀티교사 증류의 불균형과 테스트타임 정책 최적화 모두, 성능 병목이 신호의 양보다 신호 배분 방식에 있음을 시사합니다.
👁️Computer Vision2
VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning확장 가능하고 검증 가능한 네이티브 비주얼 추론 스위트⭐ 15
VBVR-Pro는 300개 절차적 과제와 검증 가능한 보상 함수를 제공해 생성 자체를 추론 매체로 쓰는 native visual reasoning을 학습·최적화 가능하게 만들고, 7개 외부 벤치마크로의 전이도 입증했습니다.
LibriBrain100: One Hundred Hours of Broad and Deep MEG Data for Neural Speech Decoding at Scale대규모 신경 음성 해독을 위한 100시간 규모 MEG 데이터셋⭐ 13
LibriBrain100은 100시간 이상, 단일 피험자 80시간을 포함한 대규모 MEG 음성 데이터셋으로, 기존 디코더만으로도 단어 분류 SOTA를 달성해 비침습 뇌-텍스트 연구의 재현 가능한 기반을 마련했습니다.
💡 비전 연구는 생성·인식 모델 자체뿐 아니라 그것을 훈련하고 검증할 수 있는 데이터·테스트베드 구축으로 무게중심이 이동하고 있습니다. 절차적 과제와 대규모 신경 데이터셋은, 다음 단계 성능 향상이 결국 더 좋은 학습·평가 인프라에서 나온다는 점을 보여줍니다.