오늘의 한줄
오늘은 LLM 추론·포스트트레이닝 인프라를 실제 시스템 수준으로 끌어올리는 연구와, 월드모델·VLA를 통해 로보틱스와 시뮬레이션의 제어 가능성을 높이는 연구가 두드러졌습니다. 동시에 비디오·음성·3D 생성에서는 에이전트형 제어와 데이터·증류 레시피의 중요성이 더 선명해지고 있습니다.
📄Training & Optimization2
Miles v0.1: Production-Level Post-TrainingMiles v0.1: 프로덕션급 포스트트레이닝 시스템⭐ 2,696
Miles v0.1은 SGLang 롤아웃, Megatron-LM/FSDP 트레이너, 다중 동기화 전송을 통합해 풀파라미터·LoRA RL, 증류, SFT까지 지원하는 프런티어급 포스트트레이닝 스택을 공개해 대규모 RL 운영 장벽을 낮췄습니다.
VidaForge: Open Research Infrastructure for Video Pretraining Data RecipesVidaForge: 비디오 사전학습 데이터 레시피를 위한 오픈 연구 인프라⭐ 91
VidaForge는 원시 비디오부터 학습셋까지를 5단계 실행형 워크플로로 추적 가능하게 만들고, Wan 2.1·V-JEPA 2.1 실험에서 넓은 커버리지의 데이터 레시피가 더 높은 다운스트림 성능을 낸다는 점을 보여줬습니다.
💡 포스트트레이닝과 데이터 레시피 연구가 모두 '좋은 모델'보다 '재현 가능한 시스템'으로 무게중심이 이동하고 있음을 보여줍니다. 앞으로 경쟁력은 알고리즘 자체뿐 아니라 RL 운영 스택, 데이터 생성 과정, 실험 추적 가능성까지 포함한 엔드투엔드 인프라에서 갈릴 가능성이 큽니다.
📄Robotics & RL5
OpenWAM: An Open, Modular Exploration Towards Systematic World-Action Model PretrainingOpenWAM: 체계적 월드-액션 모델 사전학습을 위한 개방형 모듈 스택⭐ 407
OpenWAM은 월드-액션 모델을 모듈화한 실험 스택으로 설계 요소를 분리 검증하고, 강한 생성 백본·정보 밀도 높은 잠재공간·균형 잡힌 공동학습이 성능 확장의 핵심이라는 원칙을 도출했습니다.
Show-Harness: Just a VLM Agent Can Play RobotsShow-Harness: VLM 에이전트만으로 로봇을 다루기⭐ 125
Show-Harness는 VLM이 이해하기 쉬운 이산 의미 행동 인터페이스로 폐쇄형 프런티어 VLM의 제로샷 로봇 제어와 소형 오픈소스 VLM의 저비용 적응을 동시에 가능하게 했습니다.
DriveZero: End-to-End Driving Beyond Human DemonstrationsDriveZero: 인간 시연을 넘어서는 엔드투엔드 자율주행⭐ 64
DriveZero는 DriveVFM 기반 지각 사전학습과 PPO 기반 폐루프 RL 프레임워크 DriveRL을 결합해, 인간 주행 로그 모방을 넘어서는 엔드투엔드 주행 정책 학습 경로를 제시했습니다.
💡 로보틱스는 더 이상 단순 행동 예측이 아니라 월드모델, 의미 행동 인터페이스, 검증 가능한 스킬 실행을 결합하는 방향으로 가고 있습니다. 특히 제로샷 시뮬레이션과 폐루프 RL, 모듈형 VLA 런타임이 만나면서 실제 배치 가능한 embodied agent의 형태가 점점 구체화되고 있습니다.
📄Multimodal & Generative5
AuK Technical Report: An Open-Source Foundational Model for Speech Generation and EditingAuK 기술 보고서: 음성 생성과 편집을 통합한 오픈소스 기반모델⭐ 152
AuK는 30.3억 instruction-audio 쌍과 195만 시간 감독 데이터 위에 MLLM·VAE·rectified-flow Transformer를 결합해 음성 생성, 편집, 향상, 분리까지 하나의 자연어 인터페이스로 통합했습니다.
Programmable World Model프로그래머블 월드 모델⭐ 100
Programmable World Model은 자연어를 실행 가능한 프로그램으로 바꿔 명시적 월드 상태와 규칙을 유지하고, state-augmented 3D OBB를 통해 장면 생성과 상태 전이를 분리해 장기 일관성과 제어성을 높였습니다.
Mask Forcing: Improving Autoregressive Video Diffusion Distillation via Dual-Noise Masking RolloutMask Forcing: 이중 노이즈 마스킹 롤아웃으로 개선한 자기회귀 비디오 디퓨전 증류⭐ 48
Mask Forcing은 AR 비디오 디퓨전 증류의 self-rollout에 공간·시간 축 랜덤 마스크와 더 깨끗한 신호를 주입해 reverse-KL 기반 모드 붕괴를 줄이고 과포화·과평활 문제를 완화했습니다.
💡 생성 모델 연구는 품질 경쟁을 넘어 상태 유지, 규칙 기반 제어, 에이전트형 생성 워크플로, 증류 안정화처럼 '얼마나 잘 통제할 수 있는가'로 초점이 옮겨가고 있습니다. 음성·비디오·3D 모두에서 데이터 규모와 제어 인터페이스 설계가 성능만큼 중요한 축으로 자리잡는 흐름입니다.
💻Code & Agents5
NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing HarnessNeoHorse-1: 라우팅 하네스를 통한 에이전트형 포스트트레이닝 기반 자기개선⭐ 70
NeoHorse-1은 이종 모델 풀과 지능형 라우팅으로 수집한 상호작용 로그를 3단계 커리큘럼 SFT와 라우팅 유도 온폴리시 증류에 활용해 에이전트형 자기개선의 구체적 학습 루프를 제시했습니다.
Omni Interaction Agent Technical Report옴니 인터랙션 에이전트 기술 보고서⭐ 137
Gander는 Cerebellum-Brain 이중 구조로 비디오·음성·텍스트 스트리밍을 연속 처리하며, 중간 피드백·사용자 인터럽트·에이전트 작업을 하나의 실시간 풀듀플렉스 상호작용 프레임워크로 통합했습니다.
Φ-Bench: Can Large Language Models Engineer the Infrastructure That Powers Them?Φ-Bench: LLM은 자신을 구동하는 인프라까지 설계할 수 있을까?⭐ 55
Φ-Bench는 커널 최적화부터 장기 시스템 구현까지 실제 저장소 기반 과제를 묶어 LLM 인프라 엔지니어링 능력을 평가하며, 프런티어 모델들도 오픈엔디드 장기 최적화에서는 아직 큰 한계를 보인다고 밝혔습니다.
💡 에이전트 연구는 이제 데모 수준 자동화가 아니라 자기개선, 실시간 멀티모달 상호작용, 인프라 엔지니어링, 해석가능성 연구까지 역할 범위를 넓히고 있습니다. 다만 벤치마크 결과를 보면 장기 과제와 과학적 탐색에서는 아직 신뢰성 격차가 커, 런타임 검증과 구조화된 피드백 루프가 핵심 과제로 남아 있습니다.
👁️Computer Vision2
Marigold V2: Revisiting Diffusion Transformers for Monocular Depth EstimationMarigold V2: 단안 깊이 추정을 위한 디퓨전 트랜스포머 재검토⭐ 111
Marigold V2는 사전학습된 flow-matching DiT를 단일 스텝 깊이 추론기로 전환하고, 의미 정렬과 Sinkhorn 기반 2단계 파인튜닝으로 OOD 일반화와 경계 선명도를 개선했습니다.
ENEAS: Embedding-guided Neural Ensemble for Adaptive SegmentationENEAS: 적응형 분할을 위한 임베딩 유도 신경 앙상블⭐ 51
ENEAS는 텍스트 프롬프트 기반 분할의 시간적 환각·파편화·의미 오분류를 줄이기 위해 추적과 오픈컨셉 탐지를 하나로 묶고, 의미 검증 레이어로 실제 대상 부재와 유사 시각 아티팩트를 더 정확히 구분합니다.
💡 비전 분야에서는 거대 생성모델을 그대로 가져오기보다, 깊이 추정과 분할 같은 고전 과제에 맞게 의미 정렬·검증 계층을 덧붙여 실사용 품질을 끌어올리는 접근이 두드러집니다. 결국 범용 기반모델 위에 과제별 오류 모드를 정교하게 다루는 후처리·파인튜닝 설계가 성패를 가르는 모습입니다.
🗣️Language Models1
Unlocking Lossless Speedups in LLMs via Discrete Diffusion이산 디퓨전으로 여는 손실 없는 LLM 가속⭐ 50
이 연구는 AR 분포는 유지한 채 경량 diffusion 가중치와 Ψ-Spec 샘플러로 여러 토큰을 병렬 생성해, 별도 draft 모델 없이 손실 없는 LLM 추론 가속과 테스트타임 스케일링을 가능하게 했습니다.
💡 LLM 추론은 더 이상 단순한 디코딩 최적화가 아니라, 모델 분포를 유지하면서 병렬성을 끌어내는 새로운 생성 패러다임으로 확장되고 있습니다. 별도 draft 모델 없이 손실 없는 가속을 노리는 시도는 실제 서비스 비용과 지연시간에 직접적인 영향을 줄 수 있어 파급력이 큽니다.