오늘의 한줄
오늘은 LLM 추론 경로를 동적으로 바꾸는 최적화 연구와, 에이전트의 메모리·협업·안전성을 다루는 시스템 연구가 특히 두드러졌습니다. 동시에 3D·비디오·오디오비주얼 생성과 평가를 위한 데이터셋·벤치마크·제어 기법도 빠르게 정교해지고 있습니다.
📄Multimodal & Generative6
World Tracing: Generative Pixel-Aligned Geometry Beyond the Visible보이는 픽셀을 맞추면서 가려진 3D까지 생성하는 월드 트레이싱⭐ 186
World Tracing은 픽셀마다 가시 표면과 가려진 표면의 3D 점 스택을 예측하고 WT-DiT로 이를 생성해, 입력 정합성과 비가시 영역 완성도를 함께 잡는 새로운 image-to-3D 표현을 제안했습니다.
P3D-Bench: Benchmarking MLLMs for Parametric 3D Generation and Structural Reasoning파라메트릭 3D 생성과 구조 추론을 평가하는 P3D-Bench⭐ 40
P3D-Bench는 텍스트·이미지·조립 기반 3D 과제를 코드형 파라메트릭 프로그램으로 평가해, 실행 가능성뿐 아니라 치수·구조·부품 관계까지 측정하는 MLLM용 3D 생성 벤치마크를 제시했습니다.
OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains구조화 스크립트와 증거 사슬 기반 오디오비주얼 추론 데이터셋 OmniVideo-100K⭐ 29
OmniVideo-100K는 엔티티 고정형 비디오 스크립팅과 증거 사슬 기반 QA 생성으로, 장기 시간축과 음성-시각 연계를 함께 요구하는 오디오비주얼 추론 데이터셋을 구축했습니다.
💡 생성 모델 연구가 이제 단순 품질 경쟁을 넘어 3D 구조 정합성, 카메라 제어, 오디오비주얼 추론, 장기 메모리 평가처럼 '세계 모델로서의 신뢰성'을 정면으로 다루기 시작했습니다. 동시에 RhymeFlow처럼 추론 비용을 구조적으로 줄이려는 시도는 실사용 가능성을 한 단계 끌어올리고 있습니다.
🗣️Language Models2
AdaSR: Adaptive Streaming Reasoning with Hierarchical Relative Policy Optimization계층적 상대 정책 최적화로 스트리밍 추론을 적응시키는 AdaSR⭐ 73
AdaSR은 입력이 순차적으로 들어오는 환경에서 언제 얼마나 생각할지 학습하는 스트리밍 추론 프레임워크이며, HRPO로 중간 추론과 최종 숙고를 분리 최적화해 더 유연한 계산 배분을 가능하게 했습니다.
Skip a Layer or Loop It? Learning Program-of-Layers in LLMs레이어를 건너뛰거나 반복하는 LLM 프로그램 학습⭐ 9
PoLar는 입력별로 사전학습된 레이어를 건너뛰거나 반복하는 실행 프로그램을 예측해, 더 짧은 추론으로도 정확도를 유지하거나 높이고 일부 오답은 표준 forward보다 적은 레이어로 교정할 수 있음을 보였습니다.
💡 LLM 추론은 고정된 한 번의 forward pass에서 벗어나, 입력 흐름에 따라 계산 시점을 조절하거나 레이어 실행 자체를 재프로그램하는 방향으로 진화하고 있습니다. 앞으로는 모델 크기보다도 '어떻게 생각하게 하느냐'가 성능과 효율의 핵심 차별점이 될 가능성이 큽니다.
💻Code & Agents5
Memory is Reconstructed, Not Retrieved: Graph Memory for LLM Agents검색이 아니라 재구성하는 LLM 에이전트 그래프 메모리⭐ 51
MRAgent는 Cue-Tag-Content 그래프와 능동적 재구성 메커니즘으로 메모리 접근 자체를 추론 과정에 통합해, 긴 상호작용 이력에서 더 문맥 적응적인 검색과 추론을 수행하도록 설계했습니다.
Orchestra-o1: Omnimodal Agent Orchestration전 모달 에이전트 협업을 위한 Orchestra-o1⭐ 39
Orchestra-o1은 텍스트·이미지·오디오·비디오를 아우르는 통합 오케스트레이션으로 모달리티 인지형 작업 분해, 온라인 서브에이전트 전문화, 병렬 실행을 지원하는 옴니모달 멀티에이전트 프레임워크입니다.
LLM Agents Can See Code RepositoriesLLM 에이전트는 코드 저장소를 시각적으로 볼 수 있을까⭐ 9
이 연구는 저장소 구조 그래프를 텍스트 인터페이스에 보조 모달리티로 추가하면 리포지토리 단위 이슈 해결 성능이 향상되지만, 비전만으로는 정확도와 토큰 비용이 모두 악화됨을 체계적으로 보여줍니다.
💡 에이전트 연구는 성능 향상뿐 아니라 메모리 구조화, 멀티모달 협업, 저장소 시각화, 트레이스 보호, 오정렬 감시까지 운영 전반의 문제로 빠르게 확장되고 있습니다. 즉, 에이전트는 이제 단일 모델이 아니라 관측·기억·감사·보안이 함께 설계된 시스템으로 다뤄져야 함을 보여줍니다.
📄Training & Optimization4
APPO: Agentic Procedural Policy Optimization세밀한 결정 지점에 크레딧을 주는 APPO⭐ 53
APPO는 도구 호출 단위 대신 시퀀스 내부의 세밀한 결정 지점에서 분기와 크레딧 할당을 수행해, 에이전트형 RL의 학습 신호를 더 정확히 배분하는 절차적 정책 최적화 방법을 제안했습니다.
Smaller Models are Natural Explorers for Policy-Level Diversity in GRPO작은 모델이 GRPO의 자연스러운 탐험가가 되는 이유⭐ 13
S2L-PO는 같은 계열의 작은 모델이 더 높은 정책 수준 다양성을 보인다는 점을 활용해, 작은 모델 롤아웃에서 큰 모델 학습으로 점진 전환하며 GRPO의 구조적 탐험 신호를 강화합니다.
Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation조밀한 감독이 만든 희소 업데이트: 온폴리시 증류의 희소성과 기하학⭐ 3
이 연구는 OPD 업데이트가 레이어 전반에 퍼져 있지만 좌표 희소적이고 FFN 중심임을 보였으며, 발견된 서브네트워크만 학습해도 전체 OPD에 근접한 성능을 복원할 수 있음을 분석했습니다.
💡 최적화 연구에서는 더 좋은 학습 신호를 어디에 어떻게 배분할지에 대한 관심이 뚜렷합니다. 분기 지점 세분화, 작은 모델을 활용한 탐험, OPD의 희소 서브네트워크 분석, 다중 뷰 기반 GRPO 안정화 모두 '같은 데이터로 더 정교하게 업데이트하기'라는 공통 흐름을 보여줍니다.
📄Robotics & RL3
iMaC: Translating Actions into Motion and Contact Images for Embodied World Models행동을 모션·접촉 이미지로 바꾸는 embodied 월드모델 iMaC⭐ 14
iMaC는 저차원 제어 벡터 대신 이미지 자체를 행동 토큰으로 사용하는 Image as Action Control 패러다임을 도입해, 다양한 embodiment와 복잡한 상호작용을 더 자연스럽게 모델링합니다.
APT: Action Expert Pretraining Improves Instruction Generalization of Vision-Language-Action Policies행동 전문가 사전학습으로 지시 일반화를 높이는 APT⭐ 15
APT는 정책을 VA prior와 VLA likelihood로 분해하고 행동 전문가를 먼저 사전학습해, 연속 행동 VLA에서 언어 불균형으로 인한 시각 편향을 줄이며 OOD 지시 일반화를 개선했습니다.
AlloSpatial: Agentic Harness Framework for Spatial Reasoning in Foundation Models파운데이션 모델의 공간 추론을 위한 AlloSpatial 프레임워크⭐ 9
AlloSpatial은 egocentric 관측을 allocentric 공간 priors로 바꾸는 World2Mind와 추론 하네스를 결합해, 기초 모델의 물리 세계 공간 추론을 더 안정적으로 수행하도록 만듭니다.
💡 로보틱스 쪽은 행동 표현과 공간 표현을 더 풍부하게 만들어 일반화를 높이려는 방향이 강합니다. 이미지형 행동 토큰, 행동 전문가 사전학습, allocentric 공간 priors는 모두 embodiment 차이와 언어·공간 분포 이동을 견디는 정책을 만들기 위한 시도로 읽힙니다.