오늘의 한줄

오늘은 비디오 생성이 단순 합성을 넘어 실시간 월드모델과 로보틱스 시뮬레이터로 확장되는 흐름이 특히 두드러졌습니다. 동시에 LLM 에이전트에서는 메모리 추적, 비동기 툴 사용, 이질적 지식 검색처럼 실제 배포 환경의 병목을 정면으로 다루는 연구가 늘고 있습니다.

📄Multimodal & Generative5

minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models실시간 상호작용형 비디오 월드모델을 위한 오픈소스 풀스택 프레임워크 minWM⭐ 292

minWM은 기존 양방향 비디오 확산 모델을 카메라 제어형 소수-스텝 자기회귀 월드모델로 바꾸는 데이터·미세조정·증류·스트리밍 추론 전 과정을 오픈소스로 제공해 실시간 인터랙티브 비디오 월드모델 구축 장벽을 낮췄습니다.

MoZoo:Unleashing Video Diffusion power in animal fur and muscle simulation동물 털·근육 시뮬레이션에 비디오 디퓨전을 적용한 MoZoo⭐ 85

MoZoo는 RAR-RoPE와 Asymmetric Decoupled Attention을 통해 거친 메쉬와 멀티모달 가이던스로부터 영화급 동물 털·근육 동영상을 직접 합성해 기존 고비용 시뮬레이션 파이프라인을 대체할 가능성을 보여줍니다.

Native Audio-Visual Alignment for Generation생성을 위한 네이티브 오디오-비주얼 정렬⭐ 30

NAVA는 Align-then-Fuse MMDiT로 오디오-비디오를 전용 상호작용 공간에서 먼저 정렬한 뒤 공동 디노이징해, 텍스트 조건과 저수준 동기화를 뒤섞지 않으면서 더 자연스러운 동시 생성 품질을 노립니다.

💡 비디오·오디오비주얼 생성은 이제 품질 경쟁을 넘어 실시간 제어, 인과성 평가, 물리적 일관성 같은 월드모델 요건으로 이동하고 있습니다. 동시에 정렬 구조와 제어 인터페이스를 더 세밀하게 설계해 생성 모델을 실제 상호작용 시스템으로 바꾸려는 흐름이 강해졌습니다.

📄Training & Optimization4

OSP-Next: Efficient High-Quality Video Generation with Sparse Sequence Parallelism, HiF8 Quantization, and Reinforcement Learning희소 시퀀스 병렬화와 HiF8 양자화, 강화학습으로 고효율 비디오 생성을 구현한 OSP-Next⭐ 44

OSP-Next는 Skiparse-2D Attention 기반 Sparse Sequence Parallelism으로 Ulysses SP 대비 통신량을 75% 줄이고 HiF8 양자화와 RL까지 결합해 고품질 텍스트-비디오 생성을 더 싸고 빠르게 만듭니다.

PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective안정성-가소성 관점에서 본 파라미터 효율 미세조정 벤치마크 PEFT-Arena⭐ 17

PEFT-Arena는 다운스트림 성능뿐 아니라 사전학습 능력 보존까지 함께 평가하며, 같은 파라미터 예산에서 orthogonal finetuning이 가장 좋은 안정성-가소성 Pareto 경계를 보인다고 분석합니다.

Colored Noise Diffusion Sampling컬러드 노이즈를 활용한 디퓨전 샘플링⭐ 11

Colored Noise Sampling은 디퓨전의 주파수별 생성 편향을 활용해 시점·주파수별로 다른 노이즈를 주입하는 학습 없는 SDE 솔버로, 제한된 에너지를 미해결 주파수 대역에 집중 배분해 샘플 품질을 개선합니다.

💡 효율화 연구는 단순한 경량화를 넘어 병렬화, 양자화, 샘플링, 미세조정 안정성, 심지어 볼록 최적화까지 계산 전 스택을 재설계하는 방향으로 확장되고 있습니다. 실무적으로는 같은 모델이라도 학습·추론 알고리즘을 바꾸는 것만으로 비용 대비 성능을 크게 개선할 수 있다는 메시지가 분명합니다.

💻Code & Agents5

GenClaw: Code-Driven Agentic Image Generation코드로 그리는 에이전트형 이미지 생성 GenClaw⭐ 35

GenClaw는 프롬프트 수정에만 의존하지 않고 SVG·HTML·Three.js 코드로 스케치와 구도를 직접 만든 뒤 이미지 모델로 질감을 보완해 더 정밀하게 제어 가능한 에이전트형 이미지 생성을 제안합니다.

LiteCoder-Terminal: Scaling Long-Horizon Terminal Environments for Learning Language Agents장기 지평 터미널 환경 학습을 확장하는 LiteCoder-Terminal⭐ 15

LiteCoder-Terminal은 외부 저장소 없이 실행·검증 가능한 터미널 환경을 자동 합성해 11,255개 SFT 궤적과 602개 RL 환경을 구축했고, 32B Qwen 계열 에이전트의 장기 지평 터미널 성능을 크게 끌어올렸습니다.

OmniRetrieval: Unified Retrieval across Heterogeneous Knowledge Sources이질적 지식원을 가로지르는 통합 검색 OmniRetrieval⭐ 11

OmniRetrieval은 자연어 질의를 적절한 텍스트·테이블·지식그래프·프로퍼티그래프 엔진으로 라우팅해 각 소스의 고유 구조를 보존한 채 통합 검색을 수행하는 프레임워크입니다.

💡 에이전트 연구의 초점이 데모 성능에서 실제 운영 능력으로 옮겨가고 있습니다. 코드 기반 생성, 장기 터미널 학습, 비동기 툴 사용, 이질적 지식 검색, 메모리 평가처럼 환경 제약 속에서 얼마나 견고하게 일하는지가 핵심 지표가 되고 있습니다.

🗣️Language Models3

DenoiseRL: Bootstrapping Reasoning Models to Recover from Noisy Prefixes노이즈 접두사에서 추론을 복구하도록 학습하는 DenoiseRL⭐ 31

DenoiseRL은 강한 교사나 정제 데이터 없이 약한 모델의 잘못된 추론 궤적을 복구 학습 신호로 바꿔 추론 성능과 학습 효율을 함께 높이는 강화학습 프레임워크입니다.

MemTrace: Tracing and Attributing Errors in Large Language Model Memory Systems대형언어모델 메모리 시스템의 오류를 추적·원인분석하는 MemTrace⭐ 14

MemTrace는 메모리 파이프라인을 실행 가능한 memory evolution graph로 바꾸고 MemTraceBench를 구축해 Long-Context·RAG·Mem0류 시스템의 실패 원인을 연산 단위까지 자동 추적합니다.

Xetrieval: Mechanistically Explaining Dense Retrieval밀집 검색을 기계적으로 설명하는 Xetrieval⭐ 12

Xetrieval은 임베딩 공간에서 CoT를 근사하는 reasoning internalizer와 희소 해석 가능한 특징 분해를 결합해, 밀집 검색기가 왜 높은 관련도 점수를 주는지 임베딩 수준에서 설명합니다.

💡 LLM 연구는 더 똑똑하게 만드는 것만큼 왜 실패하는지 이해하고, 실패에서 다시 학습하는 방향으로 진화하고 있습니다. 추론 복구, 메모리 오류 추적, 검색 해석 가능성은 앞으로 신뢰 가능한 LLM 시스템 구축의 필수 요소가 될 가능성이 큽니다.

📄Robotics & RL2

ProRL: Effective Reinforcement Learning for Proactive Recommendation via Rectified Policy Gradient Estimation교정된 정책 경사로 선제 추천을 개선한 ProRL⭐ 35

ProRL은 Stepwise Reward Centering과 구조 인지형 credit assignment로 경로 길이 편향과 고분산 문제를 바로잡아 선제 추천용 강화학습의 정책 경사 추정을 더 안정적이고 효과적으로 만듭니다.

GE-Sim 2.0: A Roadmap Towards Comprehensive Closed-loop Video World Simulators for Robotic Manipulation로봇 조작을 위한 폐루프 비디오 월드 시뮬레이터 로드맵, GE-Sim 2.0⭐ 14

GE-Sim 2.0은 대규모 실제 로봇 데이터로 재학습한 액션 조건 비디오 시뮬레이터에 상태 추정기·월드 저지·가속 프레임워크를 더해 단일 H100에서 25프레임 롤아웃을 2.3초에 생성하며 정책 학습까지 폐루프로 연결합니다.

💡 강화학습과 로보틱스는 보상 설계와 정책 최적화의 고전적 문제를 다시 다듬는 한편, 비디오 월드 시뮬레이터와 결합해 데이터 수집 비용을 줄이는 쪽으로 가고 있습니다. 특히 폐루프 시뮬레이션과 자동 보상화는 로봇 학습의 확장성을 크게 바꿀 수 있는 신호입니다.

👁️Computer Vision1

EarlyTom: Early Token Compression Completes Fast Video Understanding빠른 비디오 이해를 위한 조기 토큰 압축 EarlyTom⭐ 14

EarlyTom은 비전 인코더 내부 초반 단계에서 학습 없이 시각 토큰을 압축해, 후단 압축만 하던 기존 방식보다 TTFT를 더 크게 줄이면서 비디오 LLM 정확도를 유지하는 실용적 가속법입니다.

💡 비디오 이해에서는 모델 자체를 키우기보다 입력 토큰을 어디서 얼마나 일찍 줄일지가 중요한 최적화 포인트로 떠오르고 있습니다. 실서비스 관점에서는 정확도보다 TTFT 같은 체감 지연을 직접 줄이는 기법의 가치가 더욱 커질 것으로 보입니다.