오늘의 한줄
오늘은 월드모델의 제어 가능성과 지속 상태 표현을 강화하는 연구, LLM의 추론·효율·다국어 일반화를 끌어올리는 학습 기법, 그리고 의료·비디오·로보틱스 현장으로 확장되는 멀티모달 평가가 두드러졌습니다. 특히 벤치마크와 시스템 논문들이 많아, 이제는 성능 자체보다 실제 배치 가능성과 검증 가능성을 함께 묻는 흐름이 강해졌습니다.
📄Robotics & RL2
Show-Harness: Just a VLM Agent Can Play RobotsShow-Harness: VLM 에이전트만으로 로봇을 다루기⭐ 125
Show-Harness는 VLM이 이산적 의미 행동 단위를 직접 추론하고 이를 로봇별 인터프리터가 실행으로 연결해, 폐쇄형 프런티어 VLM의 제로샷 제어와 소형 오픈소스 VLM의 저비용 적응을 동시에 가능하게 했습니다.
SyncWorld: Visual Calibration Enables World Models as Zero-Shot SimulatorsSyncWorld: 시각 보정으로 월드모델을 제로샷 시뮬레이터로⭐ 15
SyncWorld는 짧은 visual calibration 에피소드로 환경별 Action-Visual Mapping을 문맥 내에서 지정해, 추가 학습 없이도 보지 못한 환경에서 저수준 로봇 행동을 반영하는 제로샷 시뮬레이션을 가능하게 했습니다.
💡 로보틱스에서는 행동을 숫자 벡터로만 다루기보다, VLM이 이해할 수 있는 의미 행동 공간이나 시각 보정 문맥으로 재해석하는 방향이 강해지고 있습니다. 즉 더 큰 모델을 학습시키기보다, 행동-지각 인터페이스를 잘 설계해 제로샷 제어와 시뮬레이션 일반화를 끌어내려는 흐름이 뚜렷합니다.
📄Multimodal & Generative6
Programmable World ModelProgrammable World Model: 규칙을 프로그래밍할 수 있는 월드모델⭐ 100
Programmable World Model은 자연어를 실행 가능한 프로그램으로 바꿔 명시적 세계 상태와 전이 규칙을 유지하고, state-augmented 3D OBB를 통해 장면 생성과 분리함으로써 장기 상호작용 제어성을 높였습니다.
Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMs왜 비디오는 아직도 비싼가: 비디오·오디오비주얼 LLM 추론 효율화 메커니즘 서베이⭐ 6
이 서베이는 프레임 샘플링, 인코더, 커넥터 토큰 축소, LLM 프리필·디코딩까지 VideoLLM 추론 비용의 병목을 단계별로 정리해, 실시간·모바일 배치를 위한 효율화 지형도를 제공합니다.
TempCloze: Can Video-LLMs Identify the Missing Middle?TempCloze: Video-LLM은 비어 있는 중간 장면을 찾을 수 있을까?⭐ 5
TempCloze는 비디오의 시작과 끝만 보고 진짜 중간 클립을 고르는 1,521개 비디오 클로즈 벤치마크로, 31개 Video-LLM 평가 결과 의미 이해보다 temporal alignment가 핵심 병목임을 보여줬습니다.
💡 월드모델과 비디오 모델은 이제 단순 생성 품질을 넘어 지속 상태, 규칙성, 시점 제어, 시간 정렬 같은 '조작 가능성'이 핵심 경쟁력으로 떠오르고 있습니다. 동시에 의료처럼 고신뢰가 필요한 영역에서는 공간 근거를 남기는 감사 가능성이 멀티모달 모델 채택의 전제 조건이 되고 있습니다.
👁️Computer Vision3
Mi-Ripple: Restoring Images Degraded by Iterative AI EditingMi-Ripple: 반복적 AI 편집으로 손상된 이미지를 복원하기⭐ 34
Mi-Ripple은 격자형 주기 잡음과 내용 얽힘형 입자 잡음을 분리해 선택적 스펙트럼 노칭과 구조 인지 스무딩을 결합했으며, 참조 정제로 출력 잔해 밀도를 45% 줄여 반복 편집 이미지의 디지털 리플을 실질적으로 완화했습니다.
FreeFlow: A Bias-free Hierarchical Transformer for Optical Flow EstimationFreeFlow: 편향 없는 계층형 트랜스포머 광류 추정⭐ 8
FreeFlow는 correlation volume, warping, iterative refinement 없이도 윈도우·시프트 윈도우·저해상도 글로벌 어텐션만으로 구성된 단일 인코더-디코더로 Sintel 0.68/1.48 EPE 등 SOTA를 달성했습니다.
UniH^3: Unifying Hierarchical Homogeneity and Heterogeneity for All-in-One Medical Image RestorationUniH^3: 의료 영상 복원을 위한 계층적 동질성·이질성 통합⭐ 5
UniH^3는 H2M 메모리로 의료 영상 전반의 공통 해부학 priors와 과제별 차이를 함께 활용해, 단일 모델 기반 All-in-One 의료 영상 복원의 일반화와 학습 효율을 높였습니다.
💡 비전 분야에서는 작업별 휴리스틱을 덜어낸 단순 아키텍처와, 데이터의 공통 구조를 적극 활용하는 범용 복원기가 함께 부상하고 있습니다. 성능 향상뿐 아니라 반복 AI 편집 아티팩트처럼 실제 워크플로에서 생기는 새로운 문제를 정면으로 다루는 점도 인상적입니다.
💻Code & Agents4
Φ-Bench: Can Large Language Models Engineer the Infrastructure That Powers Them?Φ-Bench: LLM은 자신을 구동하는 인프라를 엔지니어링할 수 있을까?⭐ 55
Φ-Bench는 커널 완성부터 장기 시스템 최적화까지 실제 저장소 기반의 LLM 인프라 공학 과제를 평가하는 벤치마크로, 최신 LLM의 오픈엔디드 인프라 엔지니어링 역량과 한계를 체계적으로 드러냈습니다.
A Three-Layer Caching Architecture for Low-Latency LLM Web Search on Commodity CPU Hardware범용 CPU에서 저지연 LLM 웹 검색을 위한 3계층 캐시 아키텍처⭐ 22
이 연구는 세션 컨텍스트, 의미 질의, URL 임베딩의 3계층 캐시를 OreoLook에 적용해 재질의·재임베딩·문맥 손실을 줄이며, 범용 CPU 기반 LLM 검색 시스템의 지연과 중복 비용을 낮추는 실용 설계를 제시했습니다.
SAEScientist-Bench: Can AI Agents Conduct Autonomous SAE Interpretability Research?SAEScientist-Bench: AI 에이전트는 SAE 해석가능성 연구를 자율 수행할 수 있을까?⭐ 14
SAEScientist-Bench는 Gemma-2-9B-IT의 13만 개 이상 SAE 특징 위에서 에이전트가 대비 프로브 설계·특징 탐색·인과 조향까지 수행하는지를 평가해, 자율 해석가능성 연구의 현재 수준을 정량화했습니다.
💡 에이전트 연구는 이제 '코드를 잘 짜는가'를 넘어, 인프라 엔지니어링·해석가능성 연구·논문 구현 명세 해석처럼 더 긴 호흡의 실무 과제를 평가하는 단계로 옮겨가고 있습니다. 벤치마크가 현실 저장소와 재현 이슈를 품기 시작했다는 점은, 앞으로 에이전트의 진짜 차별점이 작업 완결성과 명확화 능력에 있음을 시사합니다.
📄Training & Optimization2
HyQuant: Hybrid-Precision Quantization for LLM AttentionHyQuant: LLM 어텐션을 위한 하이브리드 정밀도 양자화⭐ 8
HyQuant는 어텐션의 대부분은 저비트로, 수직선 토큰과 로컬 윈도우 같은 정확도 민감 영역만 고정밀로 남기는 하이브리드 설계로 초저비트 어텐션의 성능 저하를 적은 오버헤드로 줄였습니다.
X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale DistillationX-AuT: 교차 스케일 증류로 음성 LLM 오디오 인코더를 점진 압축하기⭐ 7
X-AuT는 행동 프로브 기반 레이어 선택과 교차 스케일 증류·LoRA 적응으로 Qwen3-ASR-0.6B의 오디오 인코더를 18층에서 16층으로 줄이면서도 평균 오류를 5.61%에서 5.27%로 개선했습니다.
💡 효율화 연구는 무작정 더 낮은 비트나 더 얕은 모델로 가기보다, 정확도에 민감한 부분만 정밀하게 보호하는 선택적 압축으로 진화하고 있습니다. 즉 전체를 균일하게 줄이는 시대에서, 어텐션 패턴과 계층 역할을 이해한 구조적 최적화 시대로 넘어가는 모습입니다.
🗣️Language Models3
WearableQA: A Benchmark for Health Reasoning over Real-World Wearable DataWearableQA: 실제 웨어러블 데이터 기반 건강 추론 벤치마크⭐ 9
WearableQA는 최대 500일의 실사용 웨어러블 기록, 혈액 바이오마커, 인구통계를 바탕으로 4,084개 문항과 16개 추론 유형을 구성해, 장기 시계열 건강 추론의 실제 난제를 평가할 수 있게 했습니다.
Negative Self-Distillation: Learning to Reason by Avoiding FlawsNegative Self-Distillation: 결함을 피하며 추론 배우기⭐ 4
NSD는 정답 추론을 모방하는 대신 모델이 만든 flawed reasoning에서 멀어지도록 학습해, OPSD가 억눌렀던 불확실성 표현과 자기수정 행동을 되살리며 복잡한 추론 과제의 자기개선 한계를 보완했습니다.
Building Multilingual Bridges: Data Mixing as the Pillar of Generalization for In-Language Reasoning다국어 다리 놓기: 인랭귀지 추론 일반화의 핵심은 데이터 믹싱
Tiny Aya L2-Thinker 3.35B는 SFT 데이터 구성과 스케줄링 최적화만으로 60개 언어·6개 벤치마크에서 93% 이상의 L2 reasoning rate를 달성해, 영어 중심 추론의 실질적 대안을 제시했습니다.
💡 언어모델 연구에서는 추론을 잘하게 만드는 방법이 정답 모방에서 결함 회피로, 그리고 영어 중심 일반화에서 사용자 언어 내부 추론으로 확장되고 있습니다. 또한 WearableQA처럼 실제 장기 데이터 기반 벤치마크가 등장하면서, 앞으로의 경쟁은 추론 형식보다 현실 데이터 위에서의 신뢰성으로 옮겨갈 가능성이 큽니다.