오늘의 한줄
오늘은 LLM 에이전트가 로봇·소프트웨어·게임 개발처럼 더 긴 실행 루프를 다루는 방향과, 비디오·멀티모달 생성 모델이 3D/기하 구조를 더 강하게 끌어들이는 흐름이 두드러졌습니다. 동시에 확산·포스트트레이닝 연구는 속도와 정렬 성능을 높이면서도 다양성 손실 같은 부작용을 정량화하려는 움직임을 보여줍니다.
📄Robotics & RL3
Systematically Exploring the Capabilities of GPT-6 Astra as Embodied PoliciesGPT-6 Astra의 체화 정책 능력 체계적 탐구⭐ 565
GPT-6 Astra를 범용 embodied policy로 6개 로봇 도메인에서 평가해, π0.5와의 하이브리드 제어로 RoboDojo 48%, DexJoCo 50%, RoboCasa365 38.7%를 기록하며 직접 제어보다 협업형 구성이 실용적임을 보여줬습니다.
Fewer Tokens, Better Action: GPT-6 Astra Robot Agents with 14% Higher Success Rate but 65% Fewer Tokens토큰은 줄이고 행동은 더 좋게: 14% 높은 성공률과 65% 적은 토큰의 GPT-6 Astra 로봇 에이전트⭐ 17
PyRUA-Lean은 선택적 관측과 코드 실행형 primitive 조합으로 동일한 GPT-6 Astra 플래너 대비 LIBERO-PRO·RoboTwin 2.0·RoboCasa365 700개 과제에서 성공률을 63.1%에서 71.7%로 높이고 입력 토큰을 65% 줄였습니다.
TERRA: Terrain-Aware Reconstruction, Retargeting and Control for Musculoskeletal Locomotion근골격 보행을 위한 지형 인지 재구성·리타게팅·제어, TERRA⭐ 6
TERRA는 지형 priors·접촉 추정·free-space evidence를 결합해 지형을 복원하고 이를 근골격 신체에 맞게 리타게팅해, 5개 데이터셋 9.4시간 학습으로 험지 보행 추적과 제어 성능을 향상시켰습니다.
💡 로봇 쪽은 거대 모델이 직접 모든 제어를 해결하기보다, 기존 정책·프리미티브와 하이브리드로 결합할 때 성능과 효율이 크게 오른다는 점이 반복해서 확인됩니다. 동시에 TERRA처럼 지형·접촉 같은 물리 구조를 더 잘 복원해 제어로 연결하는 흐름이, 범용 LLM 제어와 전통적 로보틱스의 접점을 넓히고 있습니다.
📄Multimodal & Generative8
Video Generation Models: A Survey of Post-Training and Alignment비디오 생성 모델의 포스트트레이닝과 정렬 서베이⭐ 189
비디오 생성의 포스트트레이닝을 암묵적·명시적 정렬로 체계화한 첫 종합 서베이로, 시간 누적 오류·모션-외형 결합·안전성 같은 비디오 고유 정렬 과제를 실무 관점에서 정리했습니다.
OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction스트리밍 비디오 상호작용을 위한 지각·기억·선제 응답 통합, OneStreamer⭐ 45
OneStreamer는 PHCM 메모리와 PSTL 학습으로 과거 영상을 다시 보지 않고도 시간 정렬된 사실 메모리를 축적해, 스트리밍 비디오 LLM의 실시간 이해와 적시 응답을 함께 강화했습니다.
Imagine3D-LLM: Teaching MLLMs to Imagine 3D Scenes Before Answering답변 전에 3D 장면을 상상하도록 가르치는 MLLM, Imagine3D-LLM⭐ 27
Imagine3D-LLM은 다중 시점 이미지를 공통 객체·상대 기하·거친 3D 레이아웃으로 압축하는 표현을 먼저 구성한 뒤 답변하게 해, MLLM의 3D 공간 추론을 인간식 절차에 가깝게 개선했습니다.
💡 멀티모달·생성 연구는 단순히 더 그럴듯한 영상을 만드는 단계를 넘어, 3D 장면 구조·시야 밖 상태·프로그램 규칙 같은 세계의 잠재 구조를 모델 안에 명시적으로 심으려는 방향으로 이동하고 있습니다. 정렬과 제어 가능성, 그리고 평가 벤치마크가 함께 발전하고 있다는 점도 인상적입니다.
💻Code & Agents5
RLE-Bench: A Qualifying Exam for Coding Agents as Robot Learning Engineers코딩 에이전트를 위한 로봇 학습 엔지니어 자격시험, RLE-Bench⭐ 65
RLE-Bench는 제어·정책학습·지각·기구설계까지 4개 워크플로를 아우르며, 코딩 에이전트가 개별 정책 성능이 아니라 로봇 학습 엔지니어링 전반을 수행할 수 있는지 평가하는 벤치마크를 제안했습니다.
RSIGame: Autonomous Agentic Game Development with Recursive Self-improvement재귀적 자기개선 기반 자율 게임 개발 에이전트, RSIGame⭐ 34
RSIGame은 로컬 explore-diagnose-improve 루프와 글로벌 품질 추적 루프를 결합해, 단순 반복 수정의 과적합을 줄이고 더 견고하게 게임을 자율 개선하는 에이전트 개발 프레임워크를 제시했습니다.
Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States메모리를 넘어, 명시적 신념 상태로 장기 실행 에이전트 강화⭐ 16
PoS는 상호작용 기록 대신 현재 세계 상태와 미해결 요구를 담은 명시적 belief state를 유지하고 Belief Trapping을 감지·복구해, 4개 벤치마크에서 3개 LLM 백본 모두 최고 성능을 달성했습니다.
💡 에이전트 연구는 메모리 요약만으로는 부족하고, belief state·자기개선 루프·GUI 실행 관찰처럼 더 구조화된 실행 문맥이 필요하다는 쪽으로 수렴하고 있습니다. 특히 벤치마크가 코딩 정답률보다 실제 엔지니어링 워크플로 전체를 보려 한다는 점에서, 앞으로의 경쟁력은 '문제를 푸는 모델'보다 '일을 끝내는 시스템'에 가까워 보입니다.
🗣️Language Models1
Hierarchical Continuous Diffusion Language Models계층적 연속 확산 언어모델⭐ 43
HC-DLM은 이산 토큰 생성과 연속 잠재 궤적을 하나의 변분적 노이즈 제거 과정으로 결합해, 병렬 디코딩에서 토큰 간 의존성이 끊기는 기존 확산 언어모델의 구조적 한계를 완화했습니다.
💡 언어모델 자체에서는 오토리그레시브 대안으로서 확산 계열을 더 정교하게 만들려는 시도가 이어지고 있습니다. HC-DLM은 연속 잠재와 이산 토큰을 함께 묶어 병렬 생성의 약점을 보완하려는 방향을 보여주며, 생성 구조 자체의 재설계가 다시 중요해지고 있음을 시사합니다.
📄Training & Optimization3
Sharpening Tax in Post-Training포스트트레이닝의 샤프닝 비용⭐ 15
이 연구는 RL 포스트트레이닝이 pass@1은 높이지만 pass@K 해답 다양성은 깎는 'Sharpening Tax'를 정량화하며, 가벼운 추론 하네스를 붙인 사전학습 LLM이 충분한 테스트 예산에서는 더 넓은 솔루션 커버리지를 보일 수 있음을 밝혔습니다.
DC-SAE: Deep Compression Semantic Autoencoder for Faster Diffusion Convergence더 빠른 확산 수렴을 위한 심층 압축 의미 오토인코더, DC-SAE⭐ 9
DC-SAE는 의미 인코더 기반 고압축 잠재 표현과 픽셀 디테일 복원을 분리한 구조로, 높은 압축률에서도 재구성 품질을 유지하면서 확산 모델 학습 수렴을 가속하는 토크나이저를 제안했습니다.
PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion픽셀 확산을 위한 표현 정렬로서의 조밀 예측, PixelDense⭐ 3
PixelDense는 DINOv2·SAM2의 의미 신호와 Depth Anything v2·Metric3D v2의 기하 신호를 이중 스트림과 직교 제약으로 분리 정렬해, 픽셀 확산 학습에서 단일 교사나 단순 합산보다 더 나은 성능을 달성했습니다.
💡 학습·최적화 연구는 더 빠른 수렴과 더 강한 정렬을 추구하면서도, 그 대가로 생기는 다양성 손실이나 신호 충돌을 정면으로 측정하고 분리하려는 경향이 뚜렷합니다. 즉 이제는 '성능을 올리는 법'뿐 아니라 '무엇을 잃는지'까지 함께 관리하는 단계로 넘어가고 있습니다.