오늘의 한줄
오늘은 에이전트의 장기 작업 수행 능력을 실제 환경에서 어떻게 끌어올리고 평가할지에 관한 연구가 특히 두드러졌습니다. 동시에 디퓨전·자기회귀 생성과 비전 표현 복원에서도 추론 효율, 실시간성, 기하 구조를 함께 잡으려는 시도가 강해지고 있습니다.
💻Code & Agents5
Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent파라미터가 아니라 에이전트 지평을 키워 35B로 조 단위 성능에 도달하기⭐ 68
Agents-A1은 평균 45K 토큰 길이의 장기 에이전트 궤적과 다중 교사 도메인 라우팅 온정책 증류를 통해 35B 규모로도 조 단위 모델급 에이전트 성능을 노렸다는 점이 핵심입니다.
OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks장기 실사용 컴퓨터 작업을 평가하는 OSWorld 2.0⭐ 113
OSWorld 2.0은 108개 실사형 워크플로와 평균 318회 도구 호출이 필요한 장기 과제를 통해 기존 GUI 에이전트 벤치가 놓친 동적 환경·암묵 상태 추론 문제를 본격적으로 드러냅니다.
TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents범용 터미널 사용 에이전트를 위한 TUA-Bench⭐ 12
TUA-Bench는 문서 편집·이메일·웹 탐색부터 전문 과학 워크플로까지 120개 과제로, 코딩 중심 셸 평가를 넘어 범용 터미널 에이전트의 실제 작업 능력을 재보려는 벤치마크입니다.
💡 에이전트 연구는 이제 단순한 도구 호출 성공률보다 장기 지평, 사용자 상호작용, 터미널·GUI 실사용성, 그리고 세션 간 스킬 축적을 함께 다루는 방향으로 이동하고 있습니다. 특히 벤치마크와 학습 인프라가 동시에 고도화되면서, '한 번 잘 푸는 에이전트'보다 '오래 일하고 계속 나아지는 에이전트'가 핵심 경쟁력이 되고 있습니다.
📄Training & Optimization2
BlockPilot: Instance-Adaptive Policy Learning for Diffusion-based Speculative Decoding디퓨전 기반 추측 디코딩을 위한 입력별 적응 정책 BlockPilot⭐ 56
BlockPilot은 샘플마다 최적 블록 크기가 다르다는 점을 활용해 프리필 표현으로 블록 크기를 예측하는 적응형 정책을 학습하여 디퓨전 기반 speculative decoding의 무손실 가속을 더 끌어올립니다.
AsyncOPD: How Stale Can On-Policy Distillation Be?온정책 증류에서 오래된 데이터는 어디까지 괜찮을까?⭐ 15
AsyncOPD는 비동기 온정책 증류에서 stale rollout의 영향을 체계적으로 분석해 forward KL이 더 견고하고, 제한된 teacher-score 캐시 환경에서도 실용적 비동기 학습 설계를 제시합니다.
💡 추론 가속과 비동기 학습 모두에서 고정 전략보다 입력별 적응성과 시스템 제약을 함께 고려하는 설계가 중요해지고 있습니다. 알고리즘 성능만이 아니라 stale data, 캐시 비용, 블록 크기 선택 같은 실제 서빙 조건이 연구의 중심으로 들어온 점이 눈에 띕니다.
📄Multimodal & Generative5
GEAR: Guided End-to-End AutoRegression for Image Synthesis이미지 생성을 위한 가이드형 종단간 자기회귀, GEAR⭐ 47
GEAR는 VQ 토크나이저와 AR 생성기를 분리 학습하지 않고 표현 정렬 기반의 hard·soft 이중 read-out으로 공동 최적화해 생성기가 예측하기 쉬운 코드 분포를 직접 학습시킵니다.
LiveEdit: Towards Real-Time Diffusion-Based Streaming Video Editing실시간 디퓨전 스트리밍 비디오 편집을 향한 LiveEdit⭐ 34
LiveEdit은 강한 양방향 편집 모델의 능력을 단방향 스트리밍 편집기로 3단계 증류하고 AR 지향 마스크 캐시를 더해 배경 안정성과 실시간 응답성을 함께 노린 프레임 단위 편집 프레임워크입니다.
Walking in the Implicit: Interactive World Exploration via Neural Scene Representation신경 장면 표현으로 상호작용형 세계 탐험하기⭐ 26
NeuWorld는 프레임 잠재변수 대신 고정 길이 Neural Implicit Scene을 롤아웃 상태로 써서 상호작용 비디오 생성을 장면 전이와 포즈 조건 렌더링으로 분리한 점이 핵심입니다.
💡 생성 연구는 더 이상 대형 기반모델에만 의존하지 않고, 토크나이저-생성기 공동학습, 스트리밍 편집, 장면 상태 분리, 구면 위치 부호화처럼 구조적 제약을 모델 안에 직접 심는 방향으로 진화하고 있습니다. 실시간성·제어성·기하 일관성을 함께 잡으려는 시도가 앞으로의 제품화 가능성을 크게 좌우할 것으로 보입니다.
👁️Computer Vision4
SAM2Matting: Generalized Image and Video Matting이미지와 비디오를 아우르는 범용 매팅, SAM2Matting⭐ 27
SAM2Matting은 SAM2 같은 기반 추적기를 매팅과 분리 결합한 tracker-to-matting 구조로, 이미지로만 학습하고도 비디오 매팅 SOTA와 강한 시간 일관성을 달성한 점이 인상적입니다.
Monte Carlo Energy Aggregation for Mobile 3D Gaussian Splatting모바일 3D 가우시안 스플래팅을 위한 몬테카를로 에너지 집계⭐ 10
Flux-GS는 고차 SH의 비용을 줄이기 위해 반사 에너지를 잠재공간에 집계하는 Monte Carlo Specular Energy Aggregator와 SH Enhancement를 결합해 모바일 실시간 렌더링을 겨냥합니다.
One Scene, Two Depths: Probing Geometric Ambiguity in Monocular Foundation Models하나의 장면, 두 개의 깊이: 단안 기초모델의 기하 모호성 탐사⭐ 13
MD-3k는 투명 장면의 2중 깊이 질서를 측정하는 벤치마크로, 단안 깊이 기초모델마다 서로 다른 depth-layer 선호가 있음을 보였고 LVP가 이를 학습 없이 조정할 수 있음을 보여줍니다.
💡 비전 분야에서는 추적과 매팅의 분리, 광선 기반 업샘플링, 다층 깊이 모호성 측정처럼 표현의 해상도와 기하 충실도를 다시 설계하는 흐름이 강합니다. 기초모델의 범용 표현을 그대로 쓰되, 다운스트림에서 세밀한 공간 구조를 어떻게 복원할지가 실전 성능의 분수령이 되고 있습니다.
🗣️Language Models2
ReasoningLens: Hierarchical Visualization and Diagnostic Auditing for Large Reasoning Models대형 추론 모델을 위한 계층형 시각화와 진단 감사 도구, ReasoningLens⭐ 24
ReasoningLens는 장문의 CoT를 전략·실행 계층으로 구조화하고 에이전트 감사자와 도구 검증을 붙여 추론 오류 탐지와 모델별 블라인드 스폿 분석을 가능하게 합니다.
Multi-Block Diffusion Language Models멀티블록 디퓨전 언어모델⭐ 20
MBD-LMs는 실제 MultiBD 추론 상태와 학습 간 간극을 줄이기 위해 Multi-block Teacher Forcing을 도입해 여러 noisy 블록을 동시 디코딩하는 디퓨전 LM의 병렬 생성 품질을 높입니다.
💡 언어모델 연구는 단순 생성 성능을 넘어 병렬 디코딩 구조와 추론 과정의 해석 가능성을 동시에 밀어붙이고 있습니다. 즉, 더 빨리 생성하는 모델과 더 잘 들여다볼 수 있는 모델이 함께 요구되며, 이는 추론 중심 LLM 시대의 필수 조건으로 보입니다.
📄Robotics & RL2
RocketSmith: Agentic Additive Manufacturing of High-Powered Rockets고출력 로켓 적층제조를 자동화하는 에이전트 시스템, RocketSmith⭐ 8
RocketSmith는 LLM이 설계 검증 도구와 파라메트릭 CAD 생성을 오케스트레이션해 실제 고출력 로켓 4종을 제작·비행시험했고, 전 기체 안정 발사와 2기 재사용 가능 회수를 달성했습니다.
Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?정밀 조립을 위한 손재주 플레이 사전학습에서 무엇이 중요한가⭐ 13
Play2Perfect는 다양한 물체·목표에 대한 task-agnostic 플레이 RL 사전학습으로 파지·손안 재배치 같은 조작 priors를 익힌 뒤 정밀 조립에 미세조정하는 접근의 효과를 분석합니다.
💡 로보틱스에서는 범용 플레이 사전학습과 실제 제작·비행 검증 같은 엔드투엔드 실험이 만나면서, 시뮬레이션 성능보다 현실 작업 완수 가능성이 더 중요해지고 있습니다. 특히 LLM 오케스트레이션과 RL 사전학습이 각기 설계 자동화와 손재주 priors 확보에 기여하는 역할 분담이 선명합니다.