오늘의 한줄
오늘은 긴 작업 흐름을 실제 환경에서 평가하는 에이전트 벤치마크와, 확산 기반 생성·추론을 더 빠르고 실용적으로 만드는 연구가 두드러졌습니다. 동시에 비전·멀티모달 분야에서는 세밀한 지각과 인간 지각에 맞춘 평가로 "잘 본다"의 기준을 다시 정의하는 흐름이 보입니다.
💻Code & Agents6
OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World TasksOSWorld 2.0: 장기 실세계 컴퓨터 사용 작업을 위한 에이전트 벤치마크⭐ 113
OSWorld 2.0은 108개 실세계 장기 컴퓨터 작업과 평균 318회 도구 호출이 필요한 워크플로를 통해 기존 벤치마크가 놓친 스트리밍 상호작용, 암묵 상태 추론, 시공간 정밀성 문제를 본격적으로 드러냅니다.
Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent파라미터가 아니라 작업 지평을 키우다: 35B 에이전트로 조 단위 모델 성능 달성⭐ 68
Agents-A1은 평균 45K 토큰 길이의 장기 에이전트 궤적과 다중 교사 도메인 라우팅 온폴리시 증류를 결합해 35B MoE로 조 단위 모델급 성능을 노린 실용적 에이전트 스케일링 전략을 제시합니다.
HealthAgentBench: A Unified Benchmark Suite of Realistic Agentic Healthcare Environments for Challenging Frontier AI AgentsHealthAgentBench: 현실적 의료 에이전트 환경을 위한 통합 벤치마크⭐ 8
HealthAgentBench는 환자 여정 전반의 54개 의료 에이전트 작업을 7개 환경으로 묶어 평가하며, 최상위 에이전트조차 전체 성공률이 낮아 실제 의료 워크플로 자동화의 난도를 분명히 보여줍니다.
💡 에이전트 연구는 이제 단순 정답률보다 실제 업무 흐름의 길이, 불완전한 요구사항, 도메인 환경 조작 능력을 얼마나 버티는지로 이동하고 있습니다. 동시에 AutoTrainess와 SkillHone처럼 에이전트가 자기 개선 루프를 장기적으로 운영하도록 돕는 "작업 구조화"가 성능 못지않게 중요해지고 있습니다.
🗣️Language Models3
BlockPilot: Instance-Adaptive Policy Learning for Diffusion-based Speculative DecodingBlockPilot: 확산 기반 추측 디코딩을 위한 인스턴스 적응형 정책 학습⭐ 56
BlockPilot은 입력별 최적 블록 크기를 예측하는 샘플 적응형 정책으로 확산 기반 speculative decoding의 고정 블록 한계를 깨고, 손실 없는 추론 가속을 더 안정적으로 끌어냅니다.
ReasoningLens: Hierarchical Visualization and Diagnostic Auditing for Large Reasoning ModelsReasoningLens: 대형 추론 모델을 위한 계층형 시각화와 진단 감사⭐ 24
ReasoningLens는 긴 CoT를 전략과 실행 계층으로 구조화하고 에이전트 감사자와 도구 검증을 붙여, 추론 모델의 오류 패턴과 맹점을 디버깅 가능한 형태로 바꿔줍니다.
Multi-Block Diffusion Language Models멀티블록 확산 언어 모델⭐ 20
MBD-LMs는 Multi-block Teacher Forcing으로 학습-추론 간 노이즈 상태 불일치를 줄여, 여러 블록을 동시에 디코딩하는 확산 언어 모델의 병렬 생성 효율을 실질적으로 높입니다.
💡 언어모델 쪽은 더 큰 모델을 무작정 키우기보다, 블록 병렬화·적응형 디코딩·추론 가시화처럼 추론 효율과 해석 가능성을 함께 높이는 방향이 강합니다. 특히 확산형 LLM은 학습-추론 불일치와 디코딩 정책 최적화가 실전 성능의 핵심 병목임을 보여줍니다.
📄Multimodal & Generative6
LiveEdit: Towards Real-Time Diffusion-Based Streaming Video EditingLiveEdit: 실시간 확산 기반 스트리밍 비디오 편집을 향하여⭐ 34
LiveEdit는 양방향 편집 모델의 능력을 단방향 스트리밍 편집기로 옮기는 3단계 증류와 AR 지향 마스크 캐시를 통해 배경 안정성과 저지연을 동시에 만족하는 실시간 비디오 편집을 구현합니다.
GEAR: Guided End-to-End AutoRegression for Image SynthesisGEAR: 이미지 생성을 위한 가이드형 종단간 자기회귀 학습⭐ 47
GEAR는 VQ 토크나이저와 AR 생성기를 분리 학습하지 않고 representation alignment와 dual read-out으로 종단간 공동 학습해, 생성기가 더 예측하기 쉬운 코드 분포를 직접 유도합니다.
TurboServe: Serving Streaming Video Generation Efficiently and EconomicallyTurboServe: 스트리밍 비디오 생성을 효율적이고 경제적으로 서빙하기⭐ 14
TurboServe는 세션 배치와 GPU 프로비저닝을 함께 최적화하는 폐루프 스케줄링으로, 장시간·버스트형 스트리밍 비디오 생성 서빙의 지연과 비용 문제를 동시에 다룹니다.
💡 생성 모델은 이제 품질 경쟁을 넘어 실시간 편집, 스트리밍 서빙, 인터랙티브 월드 탐험처럼 시스템 수준 제약을 정면으로 다루고 있습니다. 또한 SpheRoPE와 GEAR처럼 아키텍처 내부 표현을 조금만 바꿔도 추가 학습 없이 새로운 생성 형식을 열 수 있다는 점이 인상적입니다.
👁️Computer Vision3
SAM2Matting: Generalized Image and Video MattingSAM2Matting: 범용 이미지·비디오 매팅⭐ 27
SAM2Matting은 SAM2·SAM3 같은 추적기를 매팅과 분리한 tracker-to-matting 구조로 확장해, 이미지로만 학습하고도 비디오 매팅에서 새로운 SOTA와 강한 시간 일관성을 달성했습니다.
Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual ReasoningPerceive-to-Reason: 세밀한 시각 추론을 위한 지각과 추론의 분리⭐ 14
P2R은 먼저 근거를 찾는 Perceiver와 답을 내는 Reasoner를 분리하고 PRA-GRPO로 역할별 강화학습을 수행해, 고해상도 이미지의 미세 단서를 요구하는 시각 추론 성능을 꾸준히 끌어올렸습니다.
PerceptionRubrics: Calibrating Multimodal Evaluation to Human PerceptionPerceptionRubrics: 인간 지각에 맞춘 멀티모달 평가 보정⭐ 9
PerceptionRubrics는 1,038개 고밀도 이미지와 1.2만 개 이상의 instance별 rubric, 그리고 필수 사실 실패 시 큰 패널티를 주는 Gated Scoring으로 멀티모달 모델의 실제 취약성을 더 엄격하게 드러냅니다.
💡 비전 연구는 더 잘 보게 만드는 것과, 무엇을 제대로 봤는지 더 엄격히 평가하는 것이 함께 진화하고 있습니다. 지각과 추론의 분리, 추적과 매팅의 분리, 원자적 루브릭 평가는 모두 "고수준 이해"와 "세부 정확성"을 동시에 잡으려는 흐름으로 읽힙니다.
📄Training & Optimization1
AsyncOPD: How Stale Can On-Policy Distillation Be?AsyncOPD: 온폴리시 증류에서 오래된 데이터는 어디까지 괜찮을까⭐ 15
AsyncOPD는 비동기 온폴리시 증류에서 stale rollout의 영향을 체계적으로 분석하고, teacher-weighted forward KL과 유한 teacher-score 캐시 조건에서 더 견고한 실전 설계를 제시합니다.
💡 학습 최적화는 알고리즘 자체보다 시스템 제약 속에서 얼마나 안정적으로 돌아가느냐가 핵심 화두입니다. AsyncOPD는 비동기화로 얻는 속도 이득이 어떤 손실 함수와 캐시 설계에서 안전한지 정량화하며, 실전형 포스트트레이닝의 기준점을 제시합니다.
📄Robotics & RL1
Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?Play2Perfect: 정밀 조립을 위한 손재주 플레이 사전학습의 핵심은 무엇인가⭐ 13
Play2Perfect는 다양한 물체와 목표에 대한 task-agnostic 플레이 RL 사전학습으로 파지·재배향 같은 조작 priors를 익힌 뒤 정밀 조립에 미세조정해, 고난도 접촉 조작 문제를 더 현실적으로 풀어냅니다.
💡 로보틱스에서는 정밀 작업을 곧바로 풀기보다 먼저 폭넓은 플레이로 조작 priors를 익히는 접근이 다시 힘을 얻고 있습니다. 이는 희소 보상·접촉 풍부 환경에서 범용 사전학습이 실제 조립 성능으로 이어질 수 있음을 보여줍니다.