오늘의 한줄
오늘은 에이전트 시스템 설계, 로보틱스용 VLA 학습, 그리고 비디오·3D 생성의 실용화가 특히 두드러졌습니다. 단일 모델 자체보다 메모리, 하니스, 데이터 생성 파이프라인 같은 주변 시스템을 어떻게 설계하느냐가 성능을 크게 좌우한다는 흐름이 선명합니다.
📄Multimodal & Generative5
WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory암묵적 3D 메모리로 일관성을 높인 비디오 월드 모델 월드크래프터⭐ 194
WorldCrafter는 카메라 질의형 3D-aware 메모리를 비디오 생성기와 공동 학습해 단일 이미지·텍스트 프롬프트에서도 장기 시점 일관성과 카메라 제어 정확도를 크게 높인 스트리밍 월드 모델입니다.
Realtime-Venus: A full-duplex interaction system with asynchronous delegation비동기 위임을 갖춘 풀듀플렉스 상호작용 시스템 리얼타임 비너스⭐ 47
Realtime-Venus는 오디오·비디오 대화를 처리하는 9B 프런트엔드와 백그라운드 추론 하니스를 분리한 dual-loop 구조로, 응답을 끊지 않으면서 비동기 도구 실행을 통합하는 실시간 상호작용 시스템입니다.
OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue네이티브 오디오-비주얼 대화를 위한 합성·평가·학습 프레임워크⭐ 29
OmniVChat은 별도 ASR·캡셔닝 없이 사용자 오디오·비디오를 직접 입력받는 대화 과제를 정의하고, 합성 데이터와 평가 체계를 함께 제안해 native audio-visual dialogue 연구의 병목을 풀었습니다.
💡 멀티모달 생성은 이제 단순 품질 경쟁을 넘어 장기 일관성, 실시간성, 편집 가능성처럼 실제 사용 조건을 만족시키는 방향으로 이동하고 있습니다. 특히 메모리 설계, 비동기 실행, 스트리밍 적응처럼 시스템 레벨의 제약을 직접 다루는 접근이 강해졌습니다.
💻Code & Agents8
EvoOntology: A Self-Evolving Ontology Layer for Data Agents데이터 에이전트를 위한 자기 진화형 온톨로지 레이어⭐ 245
EvoOntology는 스키마·콘텐츠·도구 레이어를 갖춘 MCP 기반 온톨로지를 런타임 질의 가능하게 만들고, 빌더 에이전트와 self-evolution 루프로 이질적 데이터 환경에서 데이터 에이전트의 확장성과 적응성을 높였습니다.
GameHorizon Suite: Multi-Horizon Data and Evaluation in Gameplay게임플레이를 위한 멀티 호라이즌 데이터·평가 스위트⭐ 126
GameHorizon Suite는 21개 게임, 5,000시간, 100명 전문가 플레이어 데이터와 멀티 호라이즌 지시문 자동 주석 파이프라인을 결합해 게임 기반 에이전트의 장·단기 계획 능력을 안정적으로 평가하는 통합 벤치마크를 제시했습니다.
RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents하이브리드 컴퓨터 사용 에이전트를 위한 확장 가능하고 검증 가능한 환경⭐ 32
RecreationWorld는 GUI 조작과 코딩을 함께 요구하는 재현 과제를 Ubuntu·macOS·Windows·Android·Web 전반에 구축해, 실행 기반 보상으로 하이브리드 CUA를 훈련·검증할 수 있게 했습니다.
💡 에이전트 연구의 초점이 모델 본체보다 하니스, 메모리, 온톨로지, 벤치마크 같은 외부 구조로 빠르게 옮겨가고 있습니다. 성능 향상뿐 아니라 OOD 일반화, 보안, 검증 가능성까지 함께 다루려는 흐름이 뚜렷합니다.
📄Robotics & RL3
HuRo: Robotizing Human Videos for Scalable VLA Pretraining인간 영상을 로봇 데이터로 바꾸는 확장형 VLA 사전학습⭐ 37
HuRo는 인간 영상을 로봇 관측·행동 궤적으로 변환하는 파이프라인으로 63만 에피소드, 1억4200만 프레임 규모 데이터를 구축했고, 실제 조작 4개 과제에서 성공률을 51.5%에서 80.3%로 끌어올렸습니다.
CARE: Experience-Guided Atomic Corrective Execution for Vision-Language-Action Policies비전-언어-행동 정책을 위한 경험 기반 원자적 복구 실행⭐ 36
CARE는 실패 롤아웃에서 수집한 stage-conditioned 편차를 바탕으로 대표적 실패 상태와 교정 시연을 합성하고, 3D 모니터링으로 원자적 수정 동작을 트리거해 VLA의 복구 성능을 높였습니다.
Grounded Action Model: 3D Grounding as a Foundation for Robotics3D 그라운딩을 로보틱스 기반으로 삼는 그라운드 액션 모델⭐ 7
GAM은 언어·포인트·박스 프롬프트를 객체 중심 3D 표현으로 통합하고 이를 로봇 상태 이력과 함께 처리해, 암묵적 학습에 의존하던 조작 정책에 명시적 metric grounding을 부여합니다.
💡 로보틱스에서는 값비싼 실기 데이터 부족을 보완하기 위해 인간 비디오 전환, 실패 기반 교정, 3D grounding 같은 우회 경로가 적극 활용되고 있습니다. 결국 핵심은 더 많은 데이터가 아니라, 로봇이 실제 세계의 객체와 실패 상태를 얼마나 구조적으로 이해하느냐로 보입니다.
📄Training & Optimization1
onPanda: Efficient Annotation of On-Policy Alignment Data for LLMs and Agents via Token-Level Correction토큰 단위 수정으로 온폴리시 정렬 데이터를 효율적으로 만드는 온판다⭐ 29
onPanda는 첫 문제 토큰만 찾아 고치고 이어서 재생성하는 locate-correct-continue 인터페이스로 정렬 데이터 주석 시간을 중앙값 기준 52% 줄이면서 모델의 온폴리시 분포를 더 잘 보존합니다.
💡 학습 자체보다 데이터를 어떻게 더 싸고 정확하게 모으느냐가 정렬 성능의 병목이 되고 있음을 보여줍니다. 특히 on-policy 분포를 덜 훼손하는 주석 인터페이스는 앞으로 사람-모델 협업형 데이터 제작의 기본기가 될 가능성이 큽니다.
👁️Computer Vision1
Mira-Scene: Pixel-Aligned Layouts for Generative 3D Scene픽셀 정렬 레이아웃으로 푸는 생성형 3D 장면 구성⭐ 29
Mira-Scene은 객체 배치를 희소 포즈 회귀 대신 Canonical Coordinate Map과 Point Cloud Map의 조합으로 밀집 대응 복원 문제로 바꿔, 단일 이미지 기반 3D 장면 구성을 더 정밀하게 만듭니다.
💡 3D 장면 이해에서는 희소한 포즈 파라미터를 직접 맞추기보다, 픽셀 정렬된 밀집 대응으로 문제를 재정의하는 흐름이 인상적입니다. 이는 제한된 장면 감독에서도 더 안정적으로 일반화되는 표현을 찾으려는 시도로 읽힙니다.
🗣️Language Models2
OmniEdu: Open Foundation Models for Learning and Teaching학습과 교수법을 위한 오픈 교육 파운데이션 모델⭐ 8
OmniEdu는 과목 역량, 커리큘럼 이해, 진단 추론, 교수적 스캐폴딩의 4개 능력 축으로 100여 교육 자원을 재구성해 4B·9B·27B 교육 특화 모델군을 공개했습니다.
MoME: Mixture-of-Memory Embeddings for Context-Aware Sparse Lookup문맥 인지형 희소 조회를 위한 메모리 임베딩 혼합⭐ 6
MoME는 토큰당 단일 메모리 행 대신 여러 슬롯과 hidden-state 게이팅을 사용해 문맥별 의미를 구분하는 조건부 메모리를 구현했고, 여러 백본에서 iso-parameter·iso-FLOP 조건 모두 기존 메모리 임베딩을 앞섰습니다.
💡 언어모델은 범용 규모 확장만이 아니라 도메인 특화 능력과 메모리 구조 개선으로 성능을 끌어올리는 방향이 동시에 진행되고 있습니다. 교육처럼 복합 능력 구성이 중요한 영역과, MoME처럼 파라미터 효율을 높이는 구조적 개선이 함께 부상하고 있습니다.