오늘의 한줄
오늘은 월드모델을 더 잘 제어하고 재사용하려는 시도와, LLM을 실제 엔지니어링·과학 작업에 투입하기 위한 벤치마크 설계가 두드러집니다. 동시에 추론·압축·양자화 같은 효율화 연구도 성숙해지며, 모델을 더 싸고 믿을 만하게 쓰려는 흐름이 강해졌습니다.
📄Robotics & RL2
Show-Harness: Just a VLM Agent Can Play RobotsShow-Harness: VLM 에이전트만으로 로봇을 다루기⭐ 125
Show-Harness는 의도를 이산 의미 행동 단위로 바꾸는 인터페이스와 로봇별 해석기를 분리해, 폐쇄형 VLM의 제로샷 로봇 제어와 소형 오픈소스 VLM의 수 GPU시간 미세조정을 모두 가능하게 했습니다.
SyncWorld: Visual Calibration Enables World Models as Zero-Shot SimulatorsSyncWorld: 시각 보정으로 월드모델을 제로샷 시뮬레이터로⭐ 15
SyncWorld는 짧은 visual calibration 에피소드만으로 환경별 Action-Visual Mapping을 문맥 내에서 학습해, 추가 학습 없이 미지의 로봇 환경에서도 제로샷 시뮬레이션을 가능하게 했습니다.
💡 로보틱스에서는 거대한 모델을 곧바로 제어기에 연결하기보다, 의미 행동 인터페이스나 시각 보정처럼 행동과 관측 사이의 번역층을 설계하는 방향이 강합니다. 결국 핵심은 더 많은 학습보다도, 모델이 환경별 물리 의미를 안정적으로 해석하게 만드는 인터페이스 공학으로 보입니다.
📄Multimodal & Generative6
Programmable World ModelProgrammable World Model: 규칙을 프로그래밍하는 월드모델⭐ 100
Programmable World Model은 자연어를 실행 가능한 프로그램으로 변환해 지속적 월드 상태와 상태 전이 규칙을 관리하고, state-augmented 3D OBB로 이를 영상 생성과 연결해 장기 상호작용 제어성을 높였습니다.
Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMs왜 비디오는 아직도 비싼가: 비디오·오디오비주얼 LLM 추론 효율화 서베이⭐ 6
이 서베이는 프레임 샘플링, 인코더, 커넥터 토큰 축소, LLM prefilling·decoding까지 VideoLLM 병목을 단계별로 정리해, 실제 배포를 위한 효율화 설계 지도를 제공합니다.
TempCloze: Can Video-LLMs Identify the Missing Middle?TempCloze: Video-LLM은 비어 있는 중간 장면을 찾을 수 있을까⭐ 5
TempCloze는 시작·끝 클립 사이의 진짜 중간 장면을 고르는 비디오 클로즈 벤치마크로, 31개 Video-LLM 평가 결과 의미 이해보다 temporal alignment가 핵심 병목임을 보여줍니다.
💡 월드모델과 Video-LLM 연구는 생성 품질 경쟁을 넘어 상태 지속성, 시간 정렬, 시점 제어, 추론 효율처럼 실제 사용성을 좌우하는 요소로 무게중심이 옮겨가고 있습니다. 특히 훈련 없이 제어성을 끌어올리거나, 명시적 상태·코드·공간 근거를 도입해 모델 내부를 더 다루기 쉽게 만들려는 흐름이 인상적입니다.
👁️Computer Vision3
Mi-Ripple: Restoring Images Degraded by Iterative AI EditingMi-Ripple: 반복 AI 편집으로 손상된 이미지 복원⭐ 34
Mi-Ripple은 격자형 주기 아티팩트와 내용 얽힘형 입자 노이즈를 분리해 선택적 스펙트럼 노칭과 구조 인지 복원을 결합했고, 참조 정제로 출력 잔해 밀도를 45% 줄였습니다.
FreeFlow: A Bias-free Hierarchical Transformer for Optical Flow EstimationFreeFlow: 편향 없는 계층형 트랜스포머 광류 추정⭐ 8
FreeFlow는 correlation volume이나 warping 없이도 윈도·시프트 윈도·저해상도 글로벌 어텐션만으로 구성된 단일 계층형 트랜스포머로 Sintel Clean/Final 0.68/1.48 EPE의 최신 성능을 달성했습니다.
UniH^3: Unifying Hierarchical Homogeneity and Heterogeneity for All-in-One Medical Image RestorationUniH^3: 의료영상 복원을 위한 계층적 공통성·이질성 통합⭐ 5
UniH3는 H2M 메모리로 의료영상 간 공통 해부학 priors를 계층적으로 축적·검색하고, 작업별 이질성과 함께 활용해 범용 의료영상 복원 모델의 일반화와 학습 효율을 높였습니다.
💡 비전 쪽에서는 과제별 편향을 덜어낸 일반 구조와, 도메인 공통 priors를 적극 활용하는 범용 복원 사이의 두 축이 보입니다. 즉 복잡한 수작업 모듈을 줄이면서도, 데이터가 공유하는 구조적 힌트를 더 잘 끌어내는 것이 성능과 일반화의 열쇠가 되고 있습니다.
💻Code & Agents4
Φ-Bench: Can Large Language Models Engineer the Infrastructure That Powers Them?Φ-Bench: LLM은 자신을 구동하는 인프라까지 설계할 수 있을까⭐ 55
Φ-Bench는 커널 보완부터 장기 시스템 최적화까지 실제 저장소 기반 과제를 묶어 LLM 인프라 엔지니어링 능력을 평가하며, 최전선 모델들의 역량과 한계를 열린 과제 형태로 드러냈습니다.
A Three-Layer Caching Architecture for Low-Latency LLM Web Search on Commodity CPU Hardware범용 CPU용 저지연 LLM 웹검색을 위한 3계층 캐싱 아키텍처⭐ 22
OreoLook의 3계층 캐시는 세션 문맥 보존, 의미 기반 질의 중복 제거, URL 임베딩 재사용을 결합해 범용 CPU 환경에서도 LLM 웹검색의 지연과 중복 추론 비용을 실용적으로 낮췄습니다.
SAEScientist-Bench: Can AI Agents Conduct Autonomous SAE Interpretability Research?SAEScientist-Bench: AI 에이전트는 SAE 해석가능성 연구를 자율 수행할 수 있을까⭐ 14
SAEScientist-Bench는 Gemma-2-9B-IT의 13만 개 이상 SAE 피처를 대상으로 에이전트가 개념 탐색·선별·개입까지 수행하는지를 20개 과제로 평가해, 자율 해석 연구의 현재 수준을 가늠하게 합니다.
💡 코드·에이전트 분야는 이제 단순 코드 생성 데모를 넘어, 인프라 엔지니어링·해석 연구·명세 해독처럼 장기적이고 모호한 실무 과제를 벤치마크화하는 단계로 진입했습니다. 에이전트의 성능 향상만큼 중요한 것은 무엇을 못하는지 정밀하게 측정하는 평가셋의 품질이라는 점을 다시 보여줍니다.
📄Training & Optimization3
HyQuant: Hybrid-Precision Quantization for LLM AttentionHyQuant: LLM 어텐션을 위한 하이브리드 정밀도 양자화⭐ 8
HyQuant는 attention의 대부분은 저비트로, 성능에 민감한 vertical-line 토큰과 로컬 윈도 상태만 고정밀로 남기는 하이브리드 설계로 초저비트 손실을 줄여 효율과 정확도의 균형을 개선했습니다.
X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale DistillationX-AuT: 교차 스케일 증류로 음성 LLM 오디오 인코더 압축⭐ 7
X-AuT는 행동 프로브 기반 레이어 선택과 교차 스케일 증류·LoRA 적응으로 Qwen3-ASR-0.6B의 18층 오디오 인코더를 16층으로 줄이면서 평균 오류를 5.61%에서 5.27%로 낮췄습니다.
Negative Self-Distillation: Learning to Reason by Avoiding FlawsNegative Self-Distillation: 결함을 피하며 추론 학습하기⭐ 4
NSD는 정답 추론을 모사하는 대신 모델이 스스로 만든 flawed reasoning에서 멀어지도록 학습해, 불확실성 표현과 자기 수정 행동을 보존하며 어려운 추론 과제의 자기개선 한계를 보완합니다.
💡 효율화 연구는 양자화·압축·자기증류 모두에서 ‘무조건 더 작게’가 아니라, 성능에 민감한 부분만 정밀하게 보호하는 선택적 설계로 진화하고 있습니다. 실전에서는 전체 구조를 바꾸기보다 병목 구간을 식별하고 그 부분에만 계산 예산을 남기는 접근이 점점 표준이 될 가능성이 큽니다.
🗣️Language Models2
WearableQA: A Benchmark for Health Reasoning over Real-World Wearable DataWearableQA: 실제 웨어러블 데이터 기반 건강 추론 벤치마크⭐ 9
WearableQA는 최대 500일 기록을 가진 200명의 실제 사용자 데이터로 만든 4,084개 문항과 16개 질문 유형을 통해, AI가 장기 웨어러블 시계열과 건강 지식을 함께 추론하는 능력을 평가합니다.
Building Multilingual Bridges: Data Mixing as the Pillar of Generalization for In-Language Reasoning다국어 다리 놓기: 언어 내 추론 일반화의 핵심은 데이터 믹싱
Tiny Aya L2-Thinker는 3.35B 규모에서 데이터 구성과 스케줄링만으로 60개 언어, 6개 벤치마크에서 93% 이상의 in-language reasoning 비율을 달성해 영어 중심 추론을 크게 완화했습니다.
💡 언어모델 평가는 더 이상 영어 텍스트 추론에 머물지 않고, 장기 웨어러블 데이터나 다국어 언어 내 추론처럼 실제 사용자 맥락으로 확장되고 있습니다. 앞으로의 차별점은 단순 정답률보다도, 사용자의 언어와 데이터 형식을 얼마나 자연스럽게 존중하며 추론하느냐가 될 것입니다.