오늘의 한줄
오늘은 월드모델을 더 제어 가능하고 프로그래머블하게 만드는 연구와, LLM의 추론·인프라·에이전트 역량을 정밀하게 측정하거나 개선하는 작업이 두드러졌습니다. 동시에 의료·비디오·이미지 복원처럼 실제 배포 맥락에서 신뢰성과 효율성을 끌어올리려는 응용 연구도 강하게 이어지고 있습니다.
📄Robotics & RL2
Show-Harness: Just a VLM Agent Can Play RobotsShow-Harness: VLM 에이전트만으로 로봇을 다루기⭐ 125
Show-Harness는 의도를 이산적 의미 행동 단위로 바꾸는 인터페이스로 폐쇄형 VLM의 제로샷 로봇 제어와 소형 오픈소스 VLM의 수 GPU시간 수준 저비용 적응을 동시에 가능하게 했습니다.
SyncWorld: Visual Calibration Enables World Models as Zero-Shot SimulatorsSyncWorld: 시각 보정으로 월드모델을 제로샷 시뮬레이터로⭐ 15
SyncWorld는 짧은 visual calibration episode만으로 환경별 Action-Visual Mapping을 문맥 내에서 맞춰, 추가 학습 없이 새로운 로봇 환경에서 제로샷 시뮬레이터처럼 동작하는 월드모델을 제안했습니다.
💡 로봇 쪽에서는 거대한 모델을 곧바로 정책으로 쓰기보다, 의미 행동 인터페이스나 시각 보정 같은 중간 구조를 넣어 제어 가능성과 이식성을 확보하려는 흐름이 뚜렷합니다. 즉 더 큰 모델 자체보다, 모델이 물리 세계와 맞물리는 인터페이스 설계가 성능의 핵심으로 보입니다.
📄Multimodal & Generative6
Programmable World Model프로그래밍 가능한 월드모델⭐ 100
Programmable World Model은 자연어를 실행 가능한 상태 전이 프로그램으로 변환해 지속적 월드 상태를 유지하고, state-augmented 3D OBB를 통해 이를 영상 생성과 정렬해 장기 상호작용 제어성을 높였습니다.
Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMs왜 비디오는 여전히 비쌀까?: 비디오·오디오비주얼 LLM 추론 효율화 메커니즘 서베이⭐ 6
이 서베이는 프레임 샘플링, 인코더, 토큰 축소, LLM 디코딩 단계별로 VideoLLM의 FLOPs·지연·메모리 절감 기법을 정리해, 실시간·모바일 배포를 위한 효율화 설계 지도를 제공합니다.
TempCloze: Can Video-LLMs Identify the Missing Middle?TempCloze: 비디오 LLM은 빠진 중간 장면을 찾을 수 있을까?⭐ 5
TempCloze는 시작·끝 클립 사이의 진짜 중간 장면을 고르는 비디오 클로즈 벤치마크로, 31개 Video-LLM 평가 결과 의미 이해보다 temporal alignment가 핵심 병목임을 보여줬습니다.
💡 월드모델과 비디오 생성 연구는 이제 단순한 사실감보다 지속 상태, 시점 제어, 시간 정렬, 추론 근거처럼 '조작 가능성'과 '신뢰 가능성'으로 무게중심이 이동하고 있습니다. 동시에 효율화 서베이까지 등장한 점은 멀티모달 모델이 연구 데모를 넘어 실제 시스템 단계로 진입하고 있음을 시사합니다.
👁️Computer Vision3
Mi-Ripple: Restoring Images Degraded by Iterative AI EditingMi-Ripple: 반복적 AI 편집으로 손상된 이미지 복원⭐ 34
Mi-Ripple은 반복 편집에서 생기는 디지털 리플을 주기 격자와 내용 얽힘 텍스처로 분리해 제거하며, paired regeneration에서 출력 잔해 밀도를 45% 줄여 생성 이미지 후처리 품질을 실질적으로 개선했습니다.
FreeFlow: A Bias-free Hierarchical Transformer for Optical Flow EstimationFreeFlow: 편향 없는 계층형 트랜스포머 광류 추정⭐ 8
FreeFlow는 correlation volume이나 warping 없이도 단일 계층형 트랜스포머만으로 Sintel Clean/Final 0.68/1.48 EPE 등 SOTA를 달성해, 광류 추정의 강한 수작업 편향이 필수 아님을 보여줬습니다.
UniH^3: Unifying Hierarchical Homogeneity and Heterogeneity for All-in-One Medical Image RestorationUniH^3: 범용 의료영상 복원을 위한 계층적 동질성·이질성 통합⭐ 5
UniH3는 H2M 메모리로 해부학적 공통 구조와 과제별 차이를 함께 활용해, 단일 모델로 다양한 의료영상 복원 과제 전반의 일반화와 학습 효율을 높였습니다.
💡 비전 연구에서는 도메인별 수작업 편향을 덜어내면서도 성능을 유지하거나 오히려 끌어올리는 방향이 강합니다. 광류, 의료 복원, 생성 후처리 모두에서 공통 구조를 잘 분리·활용하는 설계가 일반화의 핵심으로 읽힙니다.
💻Code & Agents4
Φ-Bench: Can Large Language Models Engineer the Infrastructure That Powers Them?Φ-Bench: LLM은 자신을 구동하는 인프라를 설계할 수 있을까?⭐ 55
Φ-Bench는 커널 최적화부터 장기 시스템 구현까지 실제 저장소 기반 과제로 LLM 인프라 엔지니어링 능력을 평가하며, 최신 모델들의 개방형·장기 과제 한계를 드러내는 벤치마크를 제시했습니다.
A Three-Layer Caching Architecture for Low-Latency LLM Web Search on Commodity CPU Hardware범용 CPU에서 저지연 LLM 웹 검색을 위한 3계층 캐싱 아키텍처⭐ 22
OreoLook의 3계층 캐시는 세션 문맥, 의미 질의, URL 임베딩을 분리 저장해 재표현 질의의 중복 LLM 호출과 세션 간 임베딩 재계산을 줄이며 CPU 기반 검색 시스템의 지연과 비용을 함께 낮췄습니다.
SAEScientist-Bench: Can AI Agents Conduct Autonomous SAE Interpretability Research?SAEScientist-Bench: AI 에이전트는 자율적으로 SAE 해석가능성 연구를 수행할 수 있을까?⭐ 14
SAEScientist-Bench는 Gemma-2-9B-IT의 13만 개 이상 SAE 특징 공간에서 에이전트가 개념별 최적 특징을 찾는 능력을 평가해, 자율 해석가능성 연구의 현재 수준과 병목을 정량화했습니다.
💡 에이전트 연구는 '무엇을 할 수 있나'보다 '어디서 막히나'를 측정하는 벤치마크 중심으로 빠르게 정교해지고 있습니다. 특히 인프라 엔지니어링, 해석가능성 연구, 구현 명세 보완처럼 실제 연구개발 워크플로우의 빈틈을 직접 겨냥하는 점이 인상적입니다.
📄Training & Optimization2
HyQuant: Hybrid-Precision Quantization for LLM AttentionHyQuant: LLM 어텐션을 위한 하이브리드 정밀도 양자화⭐ 8
HyQuant는 attention의 수직선 토큰과 로컬 윈도우만 고정밀도로 남기고 나머지를 저비트화해, 극저비트에서 정확도 손실을 줄이면서도 프리필·디코드 효율을 함께 확보했습니다.
X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale DistillationX-AuT: 교차 스케일 증류를 활용한 음성 LLM 오디오 인코더 점진 압축⭐ 7
X-AuT는 행동 프로브 기반 층 선택과 cross-scale distillation으로 Qwen3-ASR-0.6B의 오디오 인코더를 18층에서 16층으로 줄이면서 10개 벤치마크 평균 오류를 5.61%에서 5.27%로 개선했습니다.
💡 효율화는 이제 단순 압축이 아니라, 어디를 고정밀도로 남기고 어디를 줄일지 정교하게 선택하는 방향으로 진화하고 있습니다. 어텐션의 중요 영역 보존이나 오디오 인코더의 점진 압축처럼, 구조적 병목을 이해한 선택적 최적화가 성능 손실 없는 경량화의 열쇠입니다.
🗣️Language Models3
WearableQA: A Benchmark for Health Reasoning over Real-World Wearable DataWearableQA: 실제 웨어러블 데이터 기반 건강 추론 벤치마크⭐ 9
WearableQA는 최대 500일 길이의 실제 사용자 웨어러블·혈액검사·인구통계 데이터를 바탕으로 4,084개 문항과 16개 추론 유형을 제공해, 장기 개인 건강 추론의 현실적 평가 기준을 마련했습니다.
Negative Self-Distillation: Learning to Reason by Avoiding FlawsNegative Self-Distillation: 결함을 피하며 추론 학습하기⭐ 4
NSD는 정답 기반 모방 대신 모델이 만든 flawed reasoning에서 멀어지도록 학습해, OPSD가 억누르던 불확실성 표현과 자기수정 행동을 보존하며 복잡한 추론 성능 저하를 완화했습니다.
Building Multilingual Bridges: Data Mixing as the Pillar of Generalization for In-Language Reasoning다국어 다리 놓기: 언어 내 추론 일반화의 핵심인 데이터 믹싱
Tiny Aya L2-Thinker는 데이터 구성과 스케줄링 최적화만으로 60개 언어 6개 벤치마크에서 93% 이상의 in-language reasoning rate를 달성해, 영어 중심 추론의 대안을 제시했습니다.
💡 언어모델 연구는 추론 성능 자체뿐 아니라 추론이 어떤 언어로, 어떤 데이터 위에서, 어떤 실패를 피하며 일어나는지까지 다루기 시작했습니다. 다국어 추론과 결함 회피형 자기증류, 장기 건강 추론 벤치마크는 LLM 평가가 점점 더 현실 과업 중심으로 이동하고 있음을 보여줍니다.