오늘의 한줄
오늘은 비디오 생성이 상호작용형 월드모델과 로보틱스 시뮬레이터로 빠르게 확장되는 흐름과, LLM 에이전트의 메모리·툴 사용·터미널 실행을 체계적으로 학습하고 평가하려는 연구가 두드러졌습니다. 동시에 추론 RL, PEFT, 샘플링 최적화처럼 모델을 더 효율적이고 안정적으로 만드는 기반 기술도 함께 진전되고 있습니다.
📄Multimodal & Generative5
minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models실시간 상호작용형 비디오 월드모델을 위한 풀스택 오픈소스 프레임워크 minWM⭐ 292
minWM은 기존 양방향 비디오 디퓨전 모델을 카메라 제어 가능한 소수-스텝 자기회귀 월드모델로 바꾸는 데이터 구축·제어 파인튜닝·AR 학습·증류·스트리밍 추론의 전 과정을 오픈소스로 제공합니다.
MoZoo:Unleashing Video Diffusion power in animal fur and muscle simulation동물 털·근육 시뮬레이션에 비디오 디퓨전을 적용한 MoZoo⭐ 85
MoZoo는 거친 메시와 멀티모달 조건만으로 영화급 동물 털·근육 동역학 영상을 생성하며, RAR-RoPE와 Asymmetric Decoupled Attention으로 정렬 성능과 계산 효율을 함께 높였습니다.
Native Audio-Visual Alignment for Generation생성을 위한 네이티브 오디오-비주얼 정렬⭐ 30
NAVA는 오디오와 비디오를 전용 상호작용 공간에서 먼저 정렬한 뒤 조건 정보를 결합하는 Align-then-Fuse MMDiT로, 동기화와 의미 일관성을 함께 개선한 공동 오디오-비디오 생성 프레임워크입니다.
💡 비디오 생성 연구는 이제 단순한 시각 품질 경쟁을 넘어 실시간 상호작용, 오디오-비디오 정렬, 물리적 동역학, 인과 평가까지 포괄하는 '월드모델화' 단계로 이동하고 있습니다. 특히 생성 모델 자체를 잘 만드는 것만큼, 제어 가능성·동기화·평가 프로토콜을 함께 설계하는 일이 핵심이 되고 있습니다.
📄Training & Optimization4
OSP-Next: Efficient High-Quality Video Generation with Sparse Sequence Parallelism, HiF8 Quantization, and Reinforcement Learning희소 시퀀스 병렬화·HiF8 양자화·강화학습으로 고품질 비디오 생성을 가속한 OSP-Next⭐ 44
OSP-Next는 Skiparse-2D Attention 기반 Sparse Sequence Parallelism으로 Ulysses SP 대비 통신량을 75% 줄이고, 양자화와 RL을 결합해 고품질 텍스트-비디오 생성을 효율화했습니다.
PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective안정성-가소성 관점에서 PEFT를 해부한 PEFT-Arena⭐ 17
PEFT-Arena는 다운스트림 성능과 사전학습 능력 보존을 함께 측정하는 벤치마크로, 동일 예산에서 orthogonal finetuning이 가장 좋은 안정성-가소성 파레토 전선을 보인다고 분석했습니다.
Colored Noise Diffusion Sampling주파수별 에너지 배분으로 디퓨전 샘플링을 개선한 Colored Noise Sampling⭐ 11
Colored Noise Sampling은 디퓨전의 스펙트럼 편향을 활용해 시간·주파수별로 다른 잡음을 주입하는 학습 없는 SDE 솔버로, 제한된 노이즈 예산을 미해결 주파수 대역에 더 효율적으로 배분합니다.
💡 효율화 연구는 병렬화·양자화 같은 시스템 최적화부터 PEFT의 망각 분석, 디퓨전 샘플링의 주파수 제어, 음성 모델의 볼록 최적화까지 매우 넓게 확장되고 있습니다. 공통점은 단순히 더 싸게 학습하는 수준을 넘어, 왜 안정적이고 왜 잘 유지되는지까지 설명 가능한 최적화를 지향한다는 점입니다.
💻Code & Agents4
GenClaw: Code-Driven Agentic Image Generation코드로 스케치하고 생성하는 에이전트형 이미지 생성 GenClaw⭐ 35
GenClaw는 프롬프트 재작성에 머물지 않고 SVG·HTML·Three.js 코드로 장면을 직접 스케치한 뒤 생성 모델로 질감을 채우는 방식으로 더 정밀한 에이전트형 이미지 생성을 구현했습니다.
LiteCoder-Terminal: Scaling Long-Horizon Terminal Environments for Learning Language Agents장기 지평 터미널 환경 학습을 확장하는 LiteCoder-Terminal⭐ 15
LiteCoder-Terminal은 외부 저장소 없이 실행·검증 가능한 터미널 환경을 자동 합성해 11,255개 SFT 궤적과 602개 RL 환경을 구축했으며, 32B Qwen 에이전트 성능을 크게 끌어올렸습니다.
AsyncTool: Evaluating the Asynchronous Function Calling Capability under Multi-Task Scenarios멀티태스크 환경에서 비동기 함수 호출 능력을 평가하는 AsyncTool⭐ 7
AsyncTool은 지연된 툴 응답과 동시 다중 작업을 포함한 벤치마크를 구축해, 에이전트가 대기 시간을 활용하며 비동기적으로 툴을 호출하는 실제 운영 능력을 정량 평가합니다.
💡 에이전트 연구는 코드 생성, 터미널 실행, 비동기 툴 호출, 메모리 관리처럼 실제 운영 환경의 병목을 정면으로 다루기 시작했습니다. 이제 중요한 것은 단일 태스크 정답률보다, 장기 작업에서 계획·대기·기억·행동을 얼마나 견고하게 연결하느냐입니다.
🗣️Language Models4
DenoiseRL: Bootstrapping Reasoning Models to Recover from Noisy Prefixes노이즈 섞인 추론 접두부에서도 회복하도록 학습하는 DenoiseRL⭐ 31
DenoiseRL은 강한 교사나 고난도 정답 데이터 없이 약한 모델의 오답 추론 궤적을 복구 신호로 바꿔 학습하며, 추론 성능과 학습 효율을 함께 높이는 자가부트스트래핑 RL 프레임워크입니다.
MemTrace: Tracing and Attributing Errors in Large Language Model Memory Systems대규모 언어모델 메모리 시스템의 오류를 추적·원인분석하는 MemTrace⭐ 14
MemTrace는 메모리 파이프라인을 실행 가능한 memory evolution graph로 변환해 정보 손실·중복 같은 실패 원인을 추적하고, Long-Context·RAG·Mem0·EverMemOS를 아우르는 벤치마크를 제시했습니다.
Xetrieval: Mechanistically Explaining Dense Retrieval밀집 검색을 기계론적으로 설명하는 Xetrieval⭐ 12
Xetrieval은 임베딩 공간에서 CoT를 근사하는 reasoning internalizer와 희소 해석 가능한 특성 분해를 결합해, 밀집 검색 점수가 왜 높아졌는지를 임베딩 수준에서 설명합니다.
💡 언어모델 쪽에서는 더 강한 교사 없이 스스로 실패에서 배우는 추론 RL, 메모리 시스템의 원인 추적, 검색기의 내부 설명 가능성이 함께 부상했습니다. 성능 향상만이 아니라 실패를 복구하고 해석하는 능력이 차세대 LLM 스택의 경쟁력이 되고 있습니다.
📄Robotics & RL2
ProRL: Effective Reinforcement Learning for Proactive Recommendation via Rectified Policy Gradient Estimation보정된 정책경사로 선제 추천을 개선한 ProRL⭐ 35
ProRL은 Stepwise Reward Centering과 구조 인지형 가중치를 통해 경로 길이 편향과 고분산 문제를 줄여, 선제 추천에서 더 의미 있는 탐색과 안정적인 정책 학습을 가능하게 했습니다.
GE-Sim 2.0: A Roadmap Towards Comprehensive Closed-loop Video World Simulators for Robotic Manipulation로봇 조작을 위한 폐루프 비디오 월드 시뮬레이터 GE-Sim 2.0⭐ 14
GE-Sim 2.0은 수천 시간의 실제 로봇 데이터로 재학습한 액션 조건 비디오 시뮬레이터에 state expert·world judge·가속 추론을 더해, 25프레임 롤아웃을 단일 H100에서 2.3초에 생성합니다.
💡 강화학습은 추천처럼 비전통적 순차 의사결정 문제로 확장되는 한편, 로보틱스에서는 비디오 월드 시뮬레이터와 정책 학습을 직접 연결하는 방향으로 진화하고 있습니다. 즉, RL의 성패는 알고리즘 자체보다도 보상 설계와 시뮬레이션 루프를 얼마나 현실적으로 닫느냐에 달려가고 있습니다.
👁️Computer Vision1
EarlyTom: Early Token Compression Completes Fast Video Understanding초기 토큰 압축으로 비디오 이해를 가속하는 EarlyTom⭐ 14
EarlyTom은 비전 인코더 내부 초반 단계에서 학습 없이 시각 토큰을 압축해, 후단 압축만 하던 기존 방식보다 TTFT를 더 크게 줄이면서 비디오-LLM 정확도를 유지합니다.
💡 비디오 이해에서는 모델 구조를 바꾸지 않고도 인코더 초반에서 토큰을 줄여 지연 시간을 줄이는 실용적 접근이 주목받습니다. 앞으로는 정확도보다 배포 지표인 TTFT와 처리량을 직접 겨냥한 비전 최적화가 더 중요해질 가능성이 큽니다.