오늘의 한줄
오늘 논문들은 에이전트와 VLA의 장기 메모리·적응 문제를 정면으로 다루는 한편, 멀티모달 생성과 평가 벤치마크를 더 현실적인 방향으로 재설계하려는 흐름이 두드러졌습니다. 특히 모바일 GUI, 로보틱스, 디퓨전 평가에서 '실사용 환경에서 무엇이 진짜 성능인가'를 다시 묻는 작업이 많았습니다.
💻Code & Agents7
Beyond NL2Code: A Structured Survey of Multimodal Code IntelligenceNL2Code를 넘어: 멀티모달 코드 인텔리전스 구조화 서베이⭐ 263
시각 입력·출력을 포함한 프로그래밍을 '코드의 역할' 기준으로 체계화하고 GUI·과학 시각화 등 4개 영역의 과제와 벤치마크를 정리해 멀티모달 코드 에이전트 연구 지형을 한눈에 보여줍니다.
AOHP: An Open-Source OS-Level Agent Harness for Personalized, Efficient and Secure InteractionAOHP: 개인화·효율·보안을 위한 오픈소스 OS 레벨 에이전트 하네스⭐ 63
AOHP는 AOSP 위에서 에이전트를 OS의 1급 행위자로 다루는 오픈 테스트베드로, 앱 중심 운영체제의 오버헤드와 안전성 한계를 줄이며 에이전트 네이티브 OS 연구 기반을 제공합니다.
MobileForge: Annotation-Free Adaptation for Mobile GUI Agents with Hierarchical Feedback-Guided Policy OptimizationMobileForge: 계층적 피드백 유도 정책 최적화 기반 모바일 GUI 에이전트 무주석 적응⭐ 49
MobileForge는 실제 앱 상호작용 기반 MobileGym과 HiFPO를 결합해, 사람 라벨 없이도 탐색·커리큘럼·롤아웃 피드백을 연결하며 모바일 GUI 에이전트의 타깃 앱 적응 비용을 낮춥니다.
💡 코드·에이전트 연구는 이제 단순한 태스크 성공률보다 실제 운영 환경, 메모리 구조, 권한 제어, 앱 적응 같은 시스템 문제로 무게중심이 이동하고 있습니다. 특히 모바일 GUI와 OS 레벨 인프라가 부상하면서, 에이전트를 '모델'이 아니라 '운영되는 소프트웨어 시스템'으로 다루는 흐름이 뚜렷합니다.
📄Training & Optimization2
Holistic Data Scheduler for LLM Pre-training via Multi-Objective Reinforcement Learning다목적 강화학습 기반 LLM 사전학습용 총체적 데이터 스케줄러⭐ 200
HDS는 SAC 기반 연속제어와 다목적 보상으로 온라인 데이터 믹싱을 최적화해, 단일 지표에 치우친 기존 ODM보다 LLM 사전학습 데이터 조합을 더 안정적이고 종합적으로 조절합니다.
RoPE-Aware Bit Allocation for KV-Cache QuantizationRoPE 인지형 KV 캐시 양자화를 위한 비트 할당⭐ 3
Block-GTQ는 RoPE 주파수 블록별 에너지에 따라 KV 캐시 비트를 할당해 동일 예산에서 키 로짓 보존 오차를 레이어별 32~80% 줄이고, 367개 전 레이어 비교에서 균등 할당을 모두 앞섰습니다.
💡 학습·최적화 쪽에서는 데이터 스케줄링과 KV 캐시 양자화처럼 학습 전반과 추론 효율을 정교하게 제어하는 기법이 핵심으로 보입니다. 큰 구조 변경 없이도 보상 설계나 비트 할당 같은 세밀한 최적화가 실성능 차이를 크게 만든다는 점이 인상적입니다.
👁️Computer Vision1
Lite Any Stereo V2: Faster and Stronger Efficient Zero-Shot Stereo MatchingLite Any Stereo V2: 더 빠르고 강한 효율적 제로샷 스테레오 매칭⭐ 99
LAS2는 실제 지연시간을 고려한 2D 전용 cost aggregation과 3단계 학습 전략으로, 경량 스테레오 모델에서도 빠른 추론과 강한 제로샷 일반화를 동시에 달성합니다.
💡 효율 비전 연구는 이제 단순 경량화가 아니라 실제 배포 지연시간과 제로샷 일반화를 함께 만족시키는 방향으로 가고 있습니다. 즉, 작은 모델이라도 학습 설계와 아키텍처를 잘 짜면 범용성까지 확보할 수 있다는 메시지가 강합니다.
📄Robotics & RL3
EBench: Elemental Diagnosis of Generalist Mobile Manipulation PoliciesEBench: 범용 모바일 매니퓰레이션 정책의 요소별 진단 벤치마크⭐ 95
EBench는 26개 작업을 5개 능력 축과 4개 일반화 축으로 분해해 π0.5, XVLA, InternVLA-A1 등의 숨은 강약점을 드러내며, 단일 성공률을 넘어선 로봇 정책 진단 기준을 제시합니다.
EventVLA: Event-Driven Visual Evidence Memory for Long-Horizon Vision-Language-Action PoliciesEventVLA: 장기 VLA 정책을 위한 이벤트 기반 시각 증거 메모리⭐ 17
EventVLA는 미래 키프레임 확률을 예측하는 KEM과 시각 앵커를 결합해, 장기 조작에서 가려지거나 사라지는 단서를 희소한 이벤트 메모리로 보존하는 종단간 VLA 메모리 구조를 제안합니다.
InSight: Self-Guided Skill Acquisition via Steerable VLAsInSight: 조종 가능한 VLA를 통한 자기주도 기술 습득⭐ 6
InSight는 시연을 primitive 단위로 분해해 VLA를 조종 가능하게 만들고, VLM 유도 데이터 플라이휠로 부족한 primitive를 스스로 수집·라벨링·통합해 새 조작 기술을 자율 습득합니다.
💡 로보틱스에서는 장기 과제 수행을 위한 메모리와 스킬 확장이 핵심 병목으로 드러납니다. 동시에 EBench처럼 성공률을 해부하는 진단 벤치가 등장하면서, 앞으로는 '왜 실패하는가'를 구조적으로 분석하는 평가가 더 중요해질 것으로 보입니다.
📄Multimodal & Generative6
DiffusionBench: On Holistic Evaluation of Diffusion TransformersDiffusionBench: 디퓨전 트랜스포머의 총체적 평가⭐ 54
NanoGen으로 21개 DiT를 ImageNet과 T2I 양쪽에서 재평가한 결과 두 설정의 순위 상관이 낮음을 보여주며, DiT 진보를 단일 ImageNet FID로 판단하는 관행에 의문을 제기합니다.
DomainShuttle: Freeform Open Domain Subject-driven Text-to-video GenerationDomainShuttle: 자유로운 오픈도메인 주체 기반 텍스트-비디오 생성⭐ 66
DomainShuttle은 Domain-MoT를 통해 인도메인에서는 높은 주체 충실도, 크로스도메인에서는 스타일·속성 편집 유연성을 함께 노려 오픈도메인 개인화 T2V의 활용 폭을 넓혔습니다.
ShutterMuse: Capture-Time Photography Guidance with MLLMsShutterMuse: MLLM 기반 촬영 시점 사진 가이드⭐ 35
ShutterMuse는 13만 샘플의 CaptureGuide-Dataset과 벤치를 바탕으로 구도 보정과 피사체 포즈 추천을 함께 다뤄, MLLM의 촬영 시점 사진 가이드를 처음 실질적으로 평가·학습합니다.
💡 멀티모달·생성 분야는 품질 향상 자체보다 일관성, 기하 보존, 주체 편집성, 현실적 평가 설정 같은 실사용 요건을 더 정면으로 다루고 있습니다. 특히 디퓨전과 비디오 생성 모두에서 단일 벤치 최적화에서 벗어나 더 넓은 사용 시나리오를 포괄하려는 전환이 읽힙니다.
🗣️Language Models1
LingxiDiagBench: A Multi-Agent Framework for Benchmarking LLMs in Chinese Psychiatric Consultation and DiagnosisLingxiDiagBench: 중국어 정신과 상담·진단용 멀티에이전트 벤치마크⭐ 9
LingxiDiagBench는 1.6만 개 EMR 정렬 상담 대화와 멀티턴 시뮬레이션으로 중국어 정신과 진단을 평가해, 단순 이진 분류 성능과 실제 상담형 진단 역량 사이의 간극을 드러냅니다.
💡 LLM 평가도 정적 QA 정확도만으로는 부족하다는 문제의식이 강해지고 있습니다. 정신과 상담처럼 다턴·고위험 도메인에서는 상호작용 과정과 임상적 일관성을 함께 보는 벤치가 앞으로 더 중요해질 것입니다.