오늘의 한줄
오늘 논문들은 월드모델과 에이전트가 정적 인식에서 벗어나 기억, 상호작용, 환경 설계까지 포함하는 실행형 시스템으로 빠르게 확장되고 있음을 보여줍니다. 동시에 경량화된 생성 모델, 새로운 평가 벤치마크, 그리고 학습 안정화 기법이 실제 배포 가능성을 끌어올리고 있습니다.
📄Robotics & RL5
Kairos: A Native World Model Stack for Physical AI피지컬 AI를 위한 네이티브 월드모델 스택, Kairos⭐ 730
Kairos는 이기종 경험을 단계적으로 학습하는 Cross-Embodiment Data Curriculum과 장기 상태 유지를 위한 Hybrid Linear Temporal Attention을 결합해 피지컬 AI용 네이티브 월드모델 스택을 제안했습니다.
From Trainee to Trainer: LLM-Designed Training Environment for RL with Multi-Agent Reasoning훈련생에서 훈련 설계자로, LLM이 만드는 RL 학습 환경⭐ 14
이 연구는 실패 궤적과 환경 통계를 바탕으로 다음 학습 단계의 환경 설정을 LLM이 직접 재설계하는 LLM-as-Environment-Engineer를 제안해, MAPF-FrozenLake에서 최고 종합 성능을 기록했습니다.
Playful Agentic Robot Learning놀이를 통해 배우는 에이전트형 로봇 학습⭐ 24
RATs는 로봇 코딩 에이전트가 다운스트림 과제 전에 스스로 탐색 과제를 만들고 성공 코드를 기술 라이브러리로 축적하도록 해, LIBERO-PRO와 MolmoSpaces에서 일반화 성능을 높였습니다.
💡 로보틱스와 월드모델 연구는 이제 단순 예측 모델을 넘어 데이터 커리큘럼, 놀이 기반 기술 축적, 환경 자동 재설계까지 포함하는 폐루프 학습 체계로 이동하고 있습니다. 특히 비디오 생성보다 행동 관련 변화만 남기는 표현과 대규모 상호작용 데이터셋이 실용적 피지컬 AI의 핵심 인프라로 부상합니다.
📄Multimodal & Generative6
Moebius: 0.2B Lightweight Image Inpainting Framework with 10B-Level Performance100억급 성능을 노리는 0.2B 초경량 인페인팅, Moebius⭐ 37
Moebius는 LλMI 블록과 적응형 다중 입도 증류를 통해 0.2B 규모로도 10B급 인페인팅 성능을 겨냥해, 배포 가능한 초경량 복원 모델의 실용성을 크게 높였습니다.
MolmoMotion: Forecasting Point Trajectories in 3D with Language Instruction언어 지시로 3D 포인트 궤적을 예측하는 MolmoMotion⭐ 35
MolmoMotion은 116만 비디오에서 구축한 MolmoMotion-1M과 PointMotionBench를 바탕으로, 언어 목표 조건에서 객체의 3D 포인트 미래 궤적을 예측하는 새로운 모션 포캐스팅 과제를 정식화했습니다.
Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games현재 관측 너머를 묻는 비마르코프 게임 기반 MLLM 평가⭐ 33
RNG-Bench는 Matching Pairs와 3D Maze를 통해 멀티모달 LLM의 과거 관측 복원과 행동 결합 능력을 분리 평가하며, 메모리 갭 기반으로 비마르코프 추론의 약점을 정밀 측정합니다.
💡 멀티모달 생성은 더 큰 모델 자체보다 지시 결합, 능동 기억, 실시간성, 3D 표현처럼 문제 구조에 맞춘 설계가 성능과 효율을 좌우하는 단계로 들어섰습니다. 텍스트·비전·언어 목표를 함께 쓰는 조건화 방식이 점점 더 정교해지며, 생성 모델이 인식과 예측의 경계까지 넓히고 있습니다.
💻Code & Agents4
GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine?에이전트는 실제 게임 엔진에서 플레이 가능한 게임을 끝까지 만들 수 있을까?⭐ 44
GameCraft-Bench는 140개 Godot 과제와 재생 데모 기반 상호작용 평가를 통해, 코드 에이전트의 게임 엔진 기반 종단간 제작 능력을 실행 가능한 게임플레이 수준에서 검증합니다.
Native Active Perception as Reasoning for Omni-Modal Understanding옴니모달 이해를 위한 네이티브 능동 지각 추론, OmniAgent⭐ 14
OmniAgent는 비디오 이해를 POMDP 기반 Observation-Thought-Action 순환으로 바꾸고, TAURA 강화학습과 지속 메모리로 긴 영상 길이와 무관한 능동적 멀티모달 추론을 지향합니다.
Multi-LCB: Extending LiveCodeBench to Multiple Programming LanguagesLiveCodeBench를 다중 프로그래밍 언어로 확장한 Multi-LCB⭐ 22
Multi-LCB는 LiveCodeBench의 오염 통제 평가 프로토콜을 유지한 채 12개 언어로 확장해, 코드 LLM의 다언어 일반화 성능을 체계적으로 비교할 수 있게 했습니다.
💡 코드·에이전트 분야는 정답 문자열 평가를 넘어 실제 엔진 실행, 장기 메모리, 연구 아티팩트 관리처럼 '작동하는 시스템'을 검증하는 방향으로 진화하고 있습니다. 에이전트 성능의 병목이 모델 크기보다도 환경 접지와 프로세스 가시성에 있음을 시사합니다.
📄Training & Optimization1
STARE: Surprisal-Guided Token-Level Advantage Reweighting for Policy Entropy Stability정책 엔트로피 안정화를 위한 토큰 단위 이점 재가중치, STARE⭐ 16
STARE는 GRPO의 엔트로피 붕괴를 토큰 단위 credit mismatch로 분석하고, surprisal 분위수 기반 재가중치와 폐루프 엔트로피 제어로 1.5B~32B 전 범위에서 더 안정적인 RL 후학습을 달성했습니다.
💡 후학습에서는 보상 설계보다도 토큰 단위 엔트로피와 credit assignment를 얼마나 안정적으로 제어하느냐가 핵심 이슈로 떠오르고 있습니다. STARE는 RL 기반 추론 향상이 앞으로 더 미세한 분포 제어 문제로 다뤄질 가능성을 보여줍니다.
👁️Computer Vision2
JanusMesh: Fast and Zero-Shot 3D Visual Illusion Generation via Cross-Space Denoising크로스 스페이스 디노이징으로 빠르게 만드는 제로샷 3D 착시 생성⭐ 12
JanusMesh는 복셀 공간 정렬과 SDF 블렌딩을 결합한 cross-space dual-branch denoising으로, 학습 없이도 서로 다른 시점에서 다른 의미를 보이는 3D 착시 메쉬를 빠르게 생성합니다.
ViT-Up: Faithful Feature Upsampling for Vision Transformers비전 트랜스포머를 위한 충실한 특징 업샘플링, ViT-Up⭐ 6
ViT-Up은 외부 이미지 가이던스 없이 중간 ViT 은닉 상태로 연속 좌표 질의를 구성해, 세그멘테이션과 깊이 추정에서 더 정렬된 고해상도 특징 복원을 가능하게 했습니다.
💡 비전 연구는 무거운 최적화나 외부 가이던스를 줄이면서도 구조적 일관성을 유지하는 표현 학습으로 수렴하고 있습니다. 3D 착시 생성과 ViT 특징 업샘플링 모두, 생성 품질보다 표현의 정합성과 재사용성을 더 중요하게 다루는 흐름을 보여줍니다.
🗣️Language Models2
Sumi: Open Uniform Diffusion Language Model from Scratch처음부터 학습한 오픈 유니폼 디퓨전 언어모델, Sumi⭐ 6
Sumi는 1.5T 토큰으로 처음부터 사전학습한 7B 오픈 UDLM으로, 지식·추론·코딩 벤치마크에서 동급 토큰 예산의 자기회귀 모델과 경쟁력 있는 성능을 보여 디퓨전 LLM의 기준점을 마련했습니다.
SAE Interventions are Unreliable: Post-Intervention Recovery of Suppressed BehaviorSAE 개입은 믿기 어렵다: 억제된 행동의 사후 복구⭐ 8
이 논문은 SAE 특징을 클램프해도 잔차 공간 최적화만으로 원래의 유해 행동을 복구할 수 있음을 보여주며, 잠재 공간 기반 안전 개입의 신뢰성 가정을 정면으로 반박했습니다.
💡 언어모델 연구는 한편으로는 디퓨전 기반 대안을 본격적인 스케일에서 검증하고, 다른 한편으로는 해석 가능성 기반 안전 개입의 한계를 드러내며 패러다임 자체를 재점검하고 있습니다. 즉 성능 확장과 안전성 검증이 이제 별개가 아니라 함께 설계돼야 할 문제임을 시사합니다.