오늘의 한줄
오늘은 비디오 월드모델과 로보틱스 제어처럼 환경을 더 길고 정밀하게 다루려는 연구와, LLM 에이전트의 하네스·자기개선·추론 효율을 직접 최적화하려는 흐름이 두드러졌습니다. 동시에 멀티모달 검색·3D 토크나이저·세밀한 캡셔닝처럼 실제 제품 성능을 좌우하는 표현 압축과 강건성 연구도 빠르게 구체화되고 있습니다.
📄Multimodal & Generative5
SolarWM: Open Data and Scalable Training for Long-Horizon Video World ModelsSolarWM: 장기 비디오 월드모델을 위한 오픈 데이터와 확장형 학습⭐ 273
SolarWM은 10개 데이터셋의 143만 클립을 프레임 정렬된 공통 포맷으로 통합하고 백본별 적응 프레임워크를 제공해, 장기 비디오 월드모델 학습의 재현성과 비교 가능성을 크게 높인 오픈 기반입니다.
H3-World: Turning Language Understanding into World ControlH3-World: 언어 이해를 월드 제어로 바꾸기⭐ 8
H3-World는 33B MiniMax-H3의 자연어 제어 능력을 활용해 캐릭터·카메라 지시를 시간 구간별 비디오 잠재변수에 정렬하고 temporal attention routing으로 제어 누수를 줄여 정밀한 인터랙티브 월드 제어를 구현합니다.
SnapBench: Benchmarking Snap-and-Ask Multimodal Retrieval for Mobile InteractionsSnapBench: 모바일 스냅앤드애스크 멀티모달 검색 벤치마크
SnapBench는 53가지 손상 조건 아래 1,145개 질의와 9,085개 갤러리로 모바일 사진+질문 검색의 강건성을 측정하며, 이미지 손상이 큰 성능 저하를 일으키고 joint retrieval이 때로 clean image-only보다 약하다는 점을 드러냈습니다.
💡 멀티모달 연구는 이제 단순 생성 품질보다 제어 가능성, 검색 강건성, 표현 압축 같은 시스템 수준 문제로 빠르게 이동하고 있습니다. 특히 비디오 월드모델과 3D 토크나이저는 대규모 사전학습 자산을 실제 인터랙션과 효율로 연결하는 방향이 뚜렷합니다.
💻Code & Agents6
Repo-To-Skill: Distilling GitHub Repositories Into AI4AI SkillsRepo-To-Skill: GitHub 저장소를 AI4AI 스킬로 증류하기⭐ 109
DisCo는 GitHub 저장소와 과제별 자료에서 운영 노하우를 재사용 가능한 스킬로 증류해 연구 에이전트에 주입함으로써, 매번 시행착오로 재발견하던 ML 실무 지식을 에이전트 자산으로 바꿉니다.
WHALE: A Simple Recipe for Joint Harness-Weight OptimizationWHALE: 하네스와 가중치를 함께 최적화하는 간단한 레시피⭐ 15
WHALE은 온라인 rejection-sampling 미세조정과 Meta-Harness 탐색을 번갈아 수행해 모델 가중치와 실행 하네스를 함께 최적화하며, 한쪽만 고정했을 때 생기는 에이전트 병목을 줄입니다.
E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business OperationE-Commerce Bench: 장기 자율 비즈니스 운영에서 LLM 에이전트 평가하기⭐ 5
E-Commerce Bench는 협상·재고·반품·현금흐름·재난 이벤트를 포함한 365일 전자상거래 운영 환경을 공개해, LLM 에이전트의 장기 적응과 정책 학습 능력을 현실적인 비즈니스 시나리오에서 검증할 수 있게 합니다.
💡 에이전트 성능의 핵심이 더 이상 모델 자체에만 있지 않고, 스킬 라이브러리·하네스 설계·자기개선 루프 같은 외부 실행 구조에 있다는 점이 반복해서 확인됩니다. 앞으로는 '어떤 모델인가'보다 '어떤 운영 지식을 축적하고 어떤 하네스를 스스로 진화시키는가'가 경쟁력이 될 가능성이 큽니다.
🗣️Language Models4
StudentSim: Training LLM-based Student SimulatorsStudentSim: LLM 기반 학생 시뮬레이터 학습⭐ 10
StudentSim은 학생별 희소 데이터를 공통 학습 후 개인화하는 방식으로 개별 학습자의 응답과 튜터 피드백 반응을 함께 모사하고, 체스·영어쓰기·수학의 60명 데이터를 아우르는 StudentSimEval도 제안했습니다.
Language Models Can Control Their Own Attention언어모델은 자신의 어텐션을 스스로 제어할 수 있다
Declarative Attention은 모델이 chain-of-thought 안에서 <global>·<focus>·<local> 모드로 필요한 문맥 범위를 직접 선언하게 해, 장문맥 추론 시 매 토큰마다 전체 KV 캐시를 읽는 비용을 크게 줄입니다.
Autoregressive Mosaics: Probing 2D Spatial Reasoning in Text-Only Language ModelsAutoregressive Mosaics: 텍스트 전용 언어모델의 2D 공간 추론 탐색
AM-Bench는 텍스트 전용 모델의 코드 생성 능력과 실제 2D 레이아웃 구성 능력을 분리해 평가하며, 모델 간 차이가 단순 코딩 실력보다 공간 배치 표현 자체에서 온다는 점을 보여줍니다.
💡 언어모델 연구는 학생 시뮬레이션처럼 사람을 더 정교하게 모사하는 응용과, 장문맥 어텐션·공간 추론·내부 해석처럼 모델의 작동 원리를 더 직접 다루는 기초 연구가 함께 진전하고 있습니다. 특히 추론 효율과 표현 가능성을 모델 내부 인터페이스 차원에서 재설계하려는 시도가 인상적입니다.
📄Robotics & RL1
ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-trainingZimaBlue: 확장형 비디오 사전학습으로 일반화되는 월드 액션 모델 만들기⭐ 3
ZimaBlue는 대규모 인간·로봇 1인칭 비디오 사전학습, 비디오-액션 중간학습, 로봇별 특화의 3단계 커리큘럼으로 액션 라벨이 없는 비디오 경험을 범용 로봇 제어로 전환하는 World Action Model을 제시합니다.
💡 로보틱스는 값비싼 액션 라벨 대신 대규모 1인칭 비디오를 활용해 제어 일반화를 얻으려는 방향이 더욱 선명해졌습니다. 비전 기반 세계 이해를 행동 모델로 연결하는 중간 정렬 단계가 앞으로 로봇 파운데이션 모델의 핵심 축이 될 것으로 보입니다.
📄Training & Optimization3
Cliff: Learning Process Rewards from the First MistakeCliff: 첫 번째 실수에서 프로세스 보상 학습하기
Cliff는 오프더셸프 LLM 교사로 추론 롤아웃의 첫 오류 지점을 찾아 정답 접두부와 오답 접미부를 나누고, 이를 토큰 단위 advantage로 바꿔 별도 보상모델 없이 더 촘촘한 RLVR 신호를 제공합니다.
CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated RoutingCRISP: 구조적 질량 라우팅 기반 입력 적응형 희소 프리필
CRISP는 장문맥 프리필의 동적 희소 어텐션에서 JSD 기반 라우팅을 구조 프록시 C_struct로 대체하고 post-softmax 질량 구조를 반영해, 입력별로 더 가볍고 합리적인 sparse prefilling을 수행합니다.
Influence-Directed Distillation: Solving the Diversity Bottleneck in Sampled-Token On-Policy Distillation영향도 기반 증류: 샘플드 토큰 온폴리시 증류의 다양성 병목 해결
IDA-OPD는 First-Order Local Entropy Influence로 엔트로피를 줄이는 업데이트 위치를 식별하고 그 구간의 advantage를 적응적으로 축소해, pass@1만 오르고 pass@k가 정체되는 OPD의 다양성 붕괴를 완화합니다.
💡 학습 최적화는 더 강한 보상모델을 새로 만드는 대신, 첫 오류 지점이나 엔트로피 영향도처럼 기존 신호를 더 정교하게 가공해 효율을 끌어올리는 흐름이 강합니다. 추론 단계에서도 입력 적응형 희소화가 구체화되며, 학습과 서빙 양쪽에서 '쓸 곳에만 계산하기'가 공통 전략으로 자리잡고 있습니다.
👁️Computer Vision1
A Glance Is All You Need: Single-Pass Fine-Grained Image Captioning with SimLoss한 번의 시선이면 충분하다: SimLoss를 활용한 단일 패스 세밀 이미지 캡셔닝
SimLoss는 텍스트 생성 전 은닉표현을 고정 이미지 임베딩과 InfoNCE로 정렬하는 참조 없는 목적함수로, 다단계 후처리 없이도 속도를 유지한 채 속성·개수·재질·공간관계가 살아있는 세밀 캡셔닝을 가능하게 합니다.
💡 비전 분야에서는 복잡한 다단계 파이프라인을 늘리기보다, 한 번의 패스로 더 세밀한 시각 정보를 뽑아내는 학습 목표 설계가 중요해지고 있습니다. 실제 제품에서는 지연시간을 늘리지 않으면서 디테일을 살리는 이런 접근이 특히 실용적입니다.