오늘의 한줄
오늘은 로봇·코딩 에이전트의 실전성, 비디오/월드모델의 정렬과 제어, 그리고 멀티모달·언어 모델의 추론 구조 개선이 두드러졌습니다. 특히 테스트타임 자기개선, 명시적 상태 추적, 3D·기하 기반 제어처럼 모델을 더 오래, 더 정확히, 더 효율적으로 쓰려는 흐름이 강하게 보입니다.
📄Robotics & RL3
Systematically Exploring the Capabilities of GPT-6 Astra as Embodied PoliciesGPT-6 Astra의 신체화 정책 역량 체계 분석⭐ 565
GPT-6 Astra를 범용 embodied policy로 6개 로봇 도메인에서 평가한 결과, π0.5와의 하이브리드 제어로 RoboDojo 48%, DexJoCo 50%, RoboCasa365 38.7%, RxR 92%를 기록해 LLM이 직접 제어보다는 보조 정책으로 특히 유효함을 보였습니다.
Fewer Tokens, Better Action: GPT-6 Astra Robot Agents with 14% Higher Success Rate but 65% Fewer Tokens토큰은 줄이고 행동은 더 좋게: GPT-6 Astra 로봇 에이전트 효율화⭐ 17
PyRUA-Lean은 선택적 관측과 코드 실행 기반 primitive 조합으로 LIBERO-PRO·RoboTwin 2.0·RoboCasa365 700개 과업에서 성공률을 63.1%에서 71.7%로 높이고 입력 토큰을 65% 줄였습니다.
TERRA: Terrain-Aware Reconstruction, Retargeting and Control for Musculoskeletal Locomotion근골격 보행을 위한 지형 인지 재구성·리타게팅·제어 파이프라인 TERRA⭐ 6
TERRA는 지형 priors, 접촉 추정, free-space evidence를 활용해 보행 지형을 복원하고 해부학·건 연속성 제약까지 반영해, 9.4시간 데이터로 단일 근육 구동 정책을 학습하는 terrain-aware locomotion 파이프라인을 제시했습니다.
💡 로봇 분야에서는 거대모델이 단독 제어기를 대체하기보다 기존 정책·프리미티브와 결합하는 하이브리드 계층으로 자리 잡는 흐름이 뚜렷합니다. 동시에 토큰·호출 수 절감과 지형·접촉 같은 물리 priors 결합이 성능 못지않게 중요한 연구 축으로 떠오르고 있습니다.
📄Multimodal & Generative8
Video Generation Models: A Survey of Post-Training and Alignment비디오 생성 모델의 포스트트레이닝과 정렬 서베이⭐ 189
이 서베이는 비디오 생성에서 시간축 오류 누적, 모션-외형 결합, 안전성 제약을 다루기 위한 포스트트레이닝을 암묵적·명시적 정렬로 체계화해, 실무자가 비디오 모델 개선 지점을 한눈에 파악하도록 돕습니다.
OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction스트리밍 비디오 상호작용을 위한 지각·기억·선제 응답 통합 모델 OneStreamer⭐ 45
OneStreamer는 PHCM과 PSTL로 과거 프레임을 재조회하지 않고도 시간 정렬된 사실 메모리를 구축해, 스트리밍 비디오에서 실시간 지각과 선제적 응답을 함께 강화했습니다.
Imagine3D-LLM: Teaching MLLMs to Imagine 3D Scenes Before Answering답하기 전에 3D 장면을 상상하는 멀티모달 LLM⭐ 27
Imagine3D-LLM은 다중 시점 이미지를 공통 객체, 시점 관계, 거친 3D 배치로 압축한 장면 표현을 먼저 구성한 뒤 답변하게 만들어, 멀티뷰 3D 추론의 일관성과 해석 가능성을 높였습니다.
💡 비디오와 멀티모달 생성은 이제 단순히 그럴듯한 출력을 넘어서, 장기 기억·세계 일관성·프로그램 충실도·3D 제어 가능성까지 요구받고 있습니다. 정렬과 제어의 핵심이 텍스트 지시 따르기에서 세계 상태를 얼마나 구조적으로 표현하느냐로 이동하는 모습입니다.
💻Code & Agents5
RLE-Bench: A Qualifying Exam for Coding Agents as Robot Learning Engineers로봇 러닝 엔지니어로서 코딩 에이전트를 평가하는 RLE-Bench⭐ 65
RLE-Bench는 인터랙티브 제어, 정책 학습, 지각·추정, 기구 설계까지 포함해 코딩 에이전트의 로봇 엔지니어링 역량을 아티팩트 단위가 아닌 실제 개발 워크플로 전반에서 평가하는 벤치마크를 제안했습니다.
RSIGame: Autonomous Agentic Game Development with Recursive Self-improvement재귀적 자기개선으로 게임을 개발하는 자율 에이전트 RSIGame⭐ 34
RSIGame은 로컬 explore-diagnose-improve 루프와 글로벌 품질 추적 루프를 결합해 플레이 가능한 수준을 넘어 버그 수정과 일반화까지 지속 개선하는 자율 게임 개발 프레임워크를 제시했습니다.
Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States명시적 믿음 상태로 장기 과업 에이전트를 강화하기⭐ 16
PoS는 상호작용 기록 대신 현재 세계 상태와 미해결 요구를 담은 명시적 belief state를 유지하고 Belief Trapping을 감지·복구해, 4개 벤치마크에서 3개 LLM 백본 모두 최고 성능을 달성했습니다.
💡 에이전트 연구는 단발성 문제 풀이보다 장기 반복 개선, 명시적 상태 관리, 시각 피드백 활용처럼 실제 엔지니어링 루프를 닮아가고 있습니다. 벤치마크도 코드 생성 정확도보다 개발 워크플로 전체를 수행하는 능력을 측정하는 방향으로 빠르게 확장되고 있습니다.
🗣️Language Models1
Hierarchical Continuous Diffusion Language Models계층형 연속 확산 언어 모델⭐ 43
HC-DLM은 이산 토큰 생성과 연속 잠재 궤적을 하나의 변분 기반 디노이징 과정으로 결합해, 병렬 디코딩의 토큰 독립성 문제를 줄이면서 전역 제약을 더 잘 반영하는 확산 언어 모델을 제안했습니다.
💡 언어 모델 쪽에서는 생성 단위를 토큰에서 연속 잠재 궤적으로 재구성해 병렬성, 전역 제약, 토큰 간 의존성을 함께 잡으려는 시도가 이어집니다. 이는 오토리그레시브 대안이 단순 속도 경쟁을 넘어 추론 구조 자체를 다시 설계하는 단계로 들어섰음을 보여줍니다.
📄Training & Optimization3
Sharpening Tax in Post-Training포스트트레이닝의 샤프닝 비용⭐ 15
이 논문은 RL 포스트트레이닝이 에이전트 과업에서 pass@1은 높이지만 pass@K 해답 다양성은 깎는다는 점을 보이고, 그 비용을 계량하는 Sharpening Tax 지표를 제안해 테스트타임 예산 설계의 기준을 제공합니다.
DC-SAE: Deep Compression Semantic Autoencoder for Faster Diffusion Convergence더 빠른 디퓨전 수렴을 위한 고압축 의미 오토인코더 DC-SAE⭐ 9
DC-SAE는 의미 인코더 기반 고압축 잠재표현과 세부 복원을 분리한 구조로, 재구성 충실도와 고압축을 함께 유지하면서 디퓨전 학습 수렴 속도를 높이는 토크나이저를 제안했습니다.
PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion픽셀 디퓨전을 위한 밀집 예측 기반 표현 정렬 PixelDense⭐ 3
PixelDense는 DINOv2·SAM2의 의미 스트림과 Depth Anything v2·Metric3D v2의 기하 스트림을 분리하고 직교 제약을 더해, 픽셀 디퓨전에서 단일 교사나 단순 합보다 더 효과적인 REPA 정렬을 달성했습니다.
💡 포스트트레이닝과 생성 모델 최적화 모두 평균 성능 향상 이면의 손실을 더 정교하게 측정하고 보완하는 방향으로 발전하고 있습니다. 즉, 더 잘 맞히는 것뿐 아니라 해답 다양성, 수렴 속도, 정렬 신호의 충돌까지 관리하는 것이 실전 품질의 핵심이 되고 있습니다.