오늘의 한줄
오늘은 LLM 추론·학습 효율화와 에이전트의 장기 메모리·실환경 적응이 특히 두드러졌습니다. 동시에 멀티모달 생성과 비전 평가도 단일 점수 경쟁에서 벗어나 더 실제적인 벤치마크와 구조적 제어로 이동하고 있습니다.
💻Code & Agents7
Beyond NL2Code: A Structured Survey of Multimodal Code IntelligenceNL2Code를 넘어: 멀티모달 코드 인텔리전스 구조화 서베이⭐ 263
스크린샷·차트·비디오 등 시각 입력을 코드 생성·수정·추론과 연결하는 멀티모달 코드 인텔리전스 분야를 GUI·과학 시각화 등 4개 도메인으로 체계화한 서베이입니다.
MobileForge: Annotation-Free Adaptation for Mobile GUI Agents with Hierarchical Feedback-Guided Policy OptimizationMobileForge: 계층형 피드백 유도 정책 최적화로 구현한 모바일 GUI 에이전트 무주석 적응⭐ 49
MobileForge는 실제 앱 상호작용 기반 MobileGym과 HiFPO를 결합해, 인간 라벨 없이도 탐색·커리큘럼·롤아웃 피드백을 연결하는 모바일 GUI 에이전트 적응 루프를 만듭니다.
AOHP: An Open-Source OS-Level Agent Harness for Personalized, Efficient and Secure InteractionAOHP: 개인화·효율·보안을 위한 오픈소스 OS 레벨 에이전트 하네스⭐ 63
AOHP는 AOSP 위에서 에이전트를 OS의 1급 주체로 다루는 오픈 테스트베드로, 앱 중심 운영체제의 오버헤드와 안전성 한계를 줄이는 에이전트 네이티브 상호작용 기반을 제시합니다.
💡 에이전트 연구는 벤치마크·메모리·OS·적응학습까지 스택 전반을 재설계하는 흐름입니다. 특히 모바일·과학·운영체제 환경처럼 현실 제약이 큰 영역에서, 라벨 없는 적응과 시스템 수준 인프라가 에이전트 성능의 진짜 한계를 드러내고 있습니다.
📄Training & Optimization1
Holistic Data Scheduler for LLM Pre-training via Multi-Objective Reinforcement Learning다목적 강화학습 기반 LLM 사전학습 통합 데이터 스케줄러⭐ 200
HDS는 SAC 기반 연속 제어와 다목적 보상으로 온라인 데이터 믹싱을 최적화해, 단일 목표에 치우친 기존 LLM 프리트레이닝 데이터 스케줄링의 한계를 넘으려는 프레임워크입니다.
💡 학습 데이터 자체를 정적으로 섞는 시대에서, 이제는 강화학습으로 데이터 스케줄을 제어하는 방향이 뚜렷해졌습니다. 앞으로는 모델 아키텍처 못지않게 데이터 믹싱 정책이 성능과 효율의 핵심 경쟁력이 될 가능성이 큽니다.
📄Robotics & RL3
EBench: Elemental Diagnosis of Generalist Mobile Manipulation PoliciesEBench: 범용 모바일 조작 정책의 요소별 진단 벤치마크⭐ 95
EBench는 26개 작업을 5개 능력 축과 4개 일반화 축으로 분해해 π0.5, XVLA, InternVLA-A1 등의 성공률 뒤에 가려진 강점·약점을 정밀 진단합니다.
Hallucination in World Models is Predictable and Preventable월드 모델의 환각은 예측 가능하고 예방 가능하다⭐ 20
MMBench2와 3가지 실패 신호를 통해 월드 모델 환각이 저커버리지 상태-행동 영역에 집중됨을 보이고, coverage-aware sampling과 호기심 보상으로 이를 줄이는 방법을 제시합니다.
EventVLA: Event-Driven Visual Evidence Memory for Long-Horizon Vision-Language-Action PoliciesEventVLA: 장기 비전-언어-행동 정책을 위한 이벤트 기반 시각 근거 메모리⭐ 17
EventVLA는 미래 키프레임 확률을 예측하는 KEM과 시각 앵커를 결합해, 장기 조작에서 가려지거나 사라지는 핵심 단서를 희소하게 저장하는 end-to-end 메모리 VLA입니다.
💡 로보틱스는 단순 성공률 경쟁을 넘어, 어떤 능력이 부족한지 진단하고 어떤 기억을 남겨야 하는지 설계하는 단계로 넘어가고 있습니다. 특히 장기 과제에서는 메모리 선택성과 데이터 커버리지가 성능 병목으로 점점 더 분명해집니다.
👁️Computer Vision1
Lite Any Stereo V2: Faster and Stronger Efficient Zero-Shot Stereo MatchingLite Any Stereo V2: 더 빠르고 강한 효율적 제로샷 스테레오 매칭⭐ 99
LAS2는 2D 전용 비용 집계와 합성 감독·자기 증류·실세계 증류의 3단계 학습으로, 경량 스테레오 모델에서도 실제 지연시간과 제로샷 일반화를 함께 끌어올렸습니다.
💡 비전에서는 거대한 모델보다 실제 배포 지연시간과 제로샷 일반화를 함께 최적화하는 실용 설계가 다시 주목받고 있습니다. 효율 모델도 학습 전략을 정교화하면 충분히 강해질 수 있다는 메시지가 선명합니다.
📄Multimodal & Generative7
ShutterMuse: Capture-Time Photography Guidance with MLLMsShutterMuse: MLLM으로 구현한 촬영 시점 사진 가이드⭐ 35
ShutterMuse는 13만 샘플의 CaptureGuide-Dataset과 새 벤치마크를 바탕으로 구도 보정과 피사체 포즈 추천을 함께 다루는 촬영 시점 사진 가이드를 제안합니다.
DiffusionBench: On Holistic Evaluation of Diffusion TransformersDiffusionBench: 디퓨전 트랜스포머의 총체적 평가⭐ 54
NanoGen과 DiffusionBench는 ImageNet 기준 성능 순위가 T2I 성능과 강하게 상관되지 않음을 21개 모델 실험으로 보여주며, DiT 평가 기준의 재설계를 촉구합니다.
DomainShuttle: Freeform Open Domain Subject-driven Text-to-video GenerationDomainShuttle: 자유형 오픈도메인 주체 기반 텍스트-비디오 생성⭐ 66
DomainShuttle은 Domain-MoT로 인도메인 충실도와 크로스도메인 편집성을 함께 겨냥해, 참조 주체의 핵심 특성은 유지하면서 스타일·속성 전환이 가능한 S2V를 제안합니다.
💡 멀티모달 생성은 이제 더 예쁜 샘플을 넘어서, 촬영 가이드·멀티샷 일관성·신규 시점 기하 정합처럼 실제 사용 시나리오의 구조적 제어를 정면으로 다룹니다. 동시에 평가 역시 ImageNet식 단일 셋업에서 벗어나 실제 생성 품질을 반영하는 더 넓은 프로토콜로 이동하고 있습니다.
🗣️Language Models1
JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree DraftingJetSpec: 병렬 트리 드래프팅으로 추측 디코딩의 스케일링 한계 돌파⭐ 35
JetSpec은 분기별 인과 조건화를 유지하는 병렬 드래프트 헤드로 one-forward 효율과 높은 수용 길이를 결합해 speculative decoding의 속도 향상 상한을 낮춥니다.
💡 추론 가속 연구는 단순 병렬화가 아니라, 인과 일관성을 유지하면서 드래프트 효율을 높이는 쪽으로 진화하고 있습니다. 결국 실서비스 LLM에서는 모델 크기 경쟁만큼 디코딩 알고리즘 혁신이 체감 성능을 좌우할 것입니다.