오늘의 한줄

오늘은 비디오 생성이 단순 합성을 넘어 실시간 월드모델과 로보틱스 시뮬레이터로 확장되는 흐름이 두드러졌습니다. 동시에 LLM 에이전트 쪽에서는 메모리, 툴 사용, 터미널 실행처럼 장기 상호작용 능력을 정량화하고 디버깅하는 연구가 빠르게 정교해지고 있습니다.

📄Multimodal & Generative5

minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models실시간 상호작용 비디오 월드모델을 위한 풀스택 오픈소스 프레임워크 minWM⭐ 292

minWM은 기존 양방향 비디오 확산 모델을 카메라 제어형 소수-스텝 자기회귀 월드모델로 바꾸는 데이터·파인튜닝·인과 증류·스트리밍 추론 전 과정을 오픈소스로 제공해 실시간 인터랙티브 비디오 월드모델 구축 장벽을 낮췄습니다.

MoZoo:Unleashing Video Diffusion power in animal fur and muscle simulation동물 털·근육 시뮬레이션을 위한 비디오 디퓨전 MoZoo⭐ 85

MoZoo는 RAR-RoPE와 Asymmetric Decoupled Attention으로 거친 메쉬와 멀티모달 조건만으로도 영화급 동물 털·근육 동역학 영상을 합성해 기존 고비용 시뮬레이션 파이프라인을 대체할 가능성을 보여줬습니다.

Native Audio-Visual Alignment for Generation생성을 위한 네이티브 오디오-비주얼 정렬⭐ 30

NAVA는 오디오-비디오를 전용 상호작용 공간에서 먼저 정렬한 뒤 컨텍스트로 공동 디노이징하는 Align-then-Fuse MMDiT를 통해 더 자연스러운 시청각 동기화 생성 경로를 제시합니다.

💡 비디오·오디오비주얼 생성은 이제 품질 경쟁을 넘어 실시간성, 제어 가능성, 인과성 평가까지 포함하는 월드모델 단계로 이동하고 있습니다. 특히 정렬 구조와 추론 파이프라인을 함께 설계해 생성 모델을 상호작용 가능한 시스템으로 바꾸려는 시도가 뚜렷합니다.

📄Training & Optimization4

OSP-Next: Efficient High-Quality Video Generation with Sparse Sequence Parallelism, HiF8 Quantization, and Reinforcement Learning희소 시퀀스 병렬화와 HiF8 양자화, 강화학습으로 고효율 고품질 비디오 생성을 구현한 OSP-Next⭐ 44

OSP-Next는 Skiparse-2D 기반 희소 어텐션과 SSP로 Ulysses SP 대비 통신량을 75% 줄이고, HiF8 양자화와 RL을 결합해 고품질 텍스트-비디오 생성을 더 효율적으로 수행합니다.

PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective안정성-가소성 관점에서 본 파라미터 효율 파인튜닝 벤치마크 PEFT-Arena⭐ 17

PEFT-Arena는 다운스트림 성능과 사전학습 능력 보존을 함께 측정하는 벤치마크를 제안하고, 동일한 파라미터 예산에서 orthogonal finetuning이 가장 좋은 안정성-가소성 파레토 경계를 보인다고 분석했습니다.

Colored Noise Diffusion Sampling컬러드 노이즈를 활용한 디퓨전 샘플링⭐ 11

Colored Noise Sampling은 디퓨전의 주파수별 생성 편향을 이용해 시점·주파수별로 다른 노이즈를 주입하는 학습 없는 SDE 솔버로, 제한된 에너지 예산을 더 효율적으로 배분해 샘플 품질을 높입니다.

💡 효율 연구는 단순 경량화를 넘어 병렬화, 양자화, 샘플링, 파인튜닝 안정성처럼 학습과 추론 전반의 시스템 최적화로 확장되고 있습니다. 같은 연산 예산에서 더 나은 품질과 보존 성능을 끌어내는 '알고리즘적 효율'이 핵심 경쟁력이 되고 있습니다.

💻Code & Agents5

GenClaw: Code-Driven Agentic Image Generation코드로 그리는 에이전트형 이미지 생성 GenClaw⭐ 35

GenClaw는 LLM 에이전트가 검색·추론 후 SVG·HTML·Three.js 코드로 스케치를 직접 만들고 생성 모델이 질감을 보완하도록 해, 프롬프트 수정 반복 대신 캔버스를 정밀하게 제어하는 이미지 생성을 제안합니다.

LiteCoder-Terminal: Scaling Long-Horizon Terminal Environments for Learning Language Agents장기 터미널 환경 학습을 확장하는 LiteCoder-Terminal⭐ 15

LiteCoder-Terminal은 외부 저장소 의존 없이 실행·검증 가능한 터미널 환경을 자동 생성해 11,255개 SFT 궤적과 602개 RL 환경을 구축했고, 32B 모델이 여러 벤치마크에서 기반 모델을 크게 앞섰습니다.

OmniRetrieval: Unified Retrieval across Heterogeneous Knowledge Sources이질적 지식 소스를 아우르는 통합 검색 OmniRetrieval⭐ 11

OmniRetrieval은 자연어 질의를 텍스트·테이블·지식그래프 등 각 소스의 네이티브 질의로 라우팅해, 구조를 평탄화하지 않고도 13개 데이터셋에 걸친 이종 지식 검색을 통합합니다.

💡 에이전트 연구는 생성 능력 자체보다 실제 환경에서 얼마나 잘 실행하고, 기다리고, 기억하고, 검색하는지를 측정하는 방향으로 성숙하고 있습니다. 벤치마크와 데이터셋이 점점 더 상호작용적이고 장기적인 시나리오를 반영하면서, 에이전트 시스템 공학의 중요성이 커지고 있습니다.

🗣️Language Models3

DenoiseRL: Bootstrapping Reasoning Models to Recover from Noisy Prefixes노이즈가 낀 추론 접두부에서 회복하도록 학습하는 DenoiseRL⭐ 31

DenoiseRL은 강한 교사나 정제 데이터 없이 약한 모델의 잘못된 추론 궤적을 복구 학습 신호로 바꿔 추론 성능과 학습 효율을 함께 높이는 강화학습 프레임워크입니다.

MemTrace: Tracing and Attributing Errors in Large Language Model Memory Systems대규모 언어모델 메모리 시스템의 오류를 추적·원인분석하는 MemTrace⭐ 14

MemTrace는 메모리 파이프라인을 실행 가능한 메모리 진화 그래프로 바꾸고 MemTraceBench를 통해 Long-Context·RAG·Mem0·EverMemOS의 실패 원인을 연산 단위로 추적합니다.

Xetrieval: Mechanistically Explaining Dense Retrieval밀집 검색을 기계론적으로 설명하는 Xetrieval⭐ 12

Xetrieval은 임베딩 공간에서 CoT를 근사하는 reasoning internalizer와 희소 해석 가능 특징 분해를 결합해, 밀집 검색 점수가 어떤 잠재 요인에서 비롯됐는지 임베딩 수준에서 설명합니다.

💡 LLM 연구에서는 더 강한 교사 없이도 추론을 개선하고, 메모리·검색 내부를 해석 가능하게 만들려는 흐름이 두드러집니다. 성능 향상뿐 아니라 실패 원인을 추적하고 내부 메커니즘을 설명하려는 움직임이 실전 배포의 신뢰성을 높이고 있습니다.

📄Robotics & RL2

ProRL: Effective Reinforcement Learning for Proactive Recommendation via Rectified Policy Gradient Estimation보정된 정책 그래디언트로 선제 추천을 최적화하는 ProRL⭐ 35

ProRL은 Stepwise Reward Centering과 구조 인지형 크레딧 할당으로 경로 길이 편향과 고분산 문제를 줄여, 사용자 선호를 목표 아이템으로 유도하는 선제 추천 RL의 정책 그래디언트를 안정화했습니다.

GE-Sim 2.0: A Roadmap Towards Comprehensive Closed-loop Video World Simulators for Robotic Manipulation로봇 조작을 위한 종합 폐루프 비디오 월드 시뮬레이터 GE-Sim 2.0⭐ 14

GE-Sim 2.0은 수천 시간의 실제 로봇 데이터로 재학습한 액션 조건부 비디오 월드모델에 상태 복원기·월드 저지·가속 추론을 더해, 단일 H100에서 25프레임 롤아웃을 2.3초에 수행하는 폐루프 정책 학습 기반을 마련했습니다.

💡 강화학습은 추천처럼 비전통적 순차 의사결정 문제까지 넓어지는 한편, 로보틱스에서는 비디오 월드 시뮬레이터가 정책 학습의 실제 기반 인프라로 자리잡고 있습니다. 결국 핵심은 더 좋은 보상 추정과 더 빠른 폐루프 시뮬레이션을 통해 현실 적응성을 높이는 데 있습니다.

👁️Computer Vision1

EarlyTom: Early Token Compression Completes Fast Video Understanding초기 토큰 압축으로 빠른 비디오 이해를 완성하는 EarlyTom⭐ 14

EarlyTom은 비전 인코더 내부 초반 단계에서 학습 없이 시각 토큰을 압축해, 후단 프리필 압축만 하던 기존 방식보다 TTFT를 더 크게 줄이면서 비디오-LLM 정확도를 유지합니다.

💡 비디오 이해에서는 모델 구조를 바꾸지 않고도 인코더 초반에서 불필요한 토큰을 줄여 지연 시간을 낮추는 실용적 최적화가 중요해지고 있습니다. 특히 TTFT처럼 사용자 체감 지표를 직접 겨냥한 연구가 실제 배포 관점에서 더 큰 의미를 갖습니다.