오늘의 한줄
오늘은 초장문 문맥을 감당하는 LLM 인프라부터 자율 연구·코딩 에이전트의 환경 설계, 그리고 실험실·조작 환경으로 확장되는 VLA까지 '실전 배치'를 겨냥한 연구가 두드러졌습니다. 특히 모델 자체보다 인터페이스, 메모리, 데이터 엔진, 실행 환경을 어떻게 설계하느냐가 성능 병목으로 부상하고 있습니다.
📄Training & Optimization2
MiniMax Sparse AttentionMiniMax 희소 어텐션⭐ 184
MiniMax Sparse Attention은 GQA 위에 Top-k 블록 선택용 Index Branch를 얹어 초장문 입력에서 정확한 블록 희소 어텐션을 GPU 친화적으로 수행해, 수십만~수백만 토큰 문맥을 더 현실적인 비용으로 처리하게 합니다.
Flash-GMM: A Memory-Efficient Kernel for Scalable Soft ClusteringFlash-GMM: 확장 가능한 소프트 클러스터링을 위한 메모리 효율 커널⭐ 12
Flash-GMM은 responsibility matrix를 물질화하지 않는 단일 GPU 패스 Triton 커널로 GMM을 20배 빠르게 계산하고, 단일 장치에서 100배 큰 데이터셋 학습과 ANN recall@10 최대 2~12포인트 개선을 가능하게 했습니다.
💡 학습 알고리즘보다도 커널, 메모리 경로, 희소화 같은 시스템 수준 최적화가 곧 모델 능력의 상한을 바꾸는 흐름이 뚜렷합니다. 초장문 어텐션과 대규모 소프트 클러스터링 모두 '이론적 가능성'을 '실제 배치 가능성'으로 옮기는 엔지니어링이 핵심이었습니다.
📄Multimodal & Generative3
Robust-U1: Can MLLMs Self-Recover Corrupted Visual Content for Robust Understanding?Robust-U1: MLLM은 손상된 시각 정보를 스스로 복원해 강건하게 이해할 수 있을까?⭐ 72
Robust-U1은 SFT와 SSIM·CLIP 이중 보상 기반 RL로 MLLM에 시각 자기복원 능력을 부여하고, 손상 이미지와 복원 이미지를 함께 추론에 활용해 노이즈·블러 등 실제 왜곡 환경에서 강건성을 높였습니다.
InterleaveThinker: Reinforcing Agentic Interleaved GenerationInterleaveThinker: 에이전트 기반 텍스트-이미지 교차 생성을 강화하다⭐ 76
InterleaveThinker는 플래너 에이전트와 크리틱 에이전트를 결합한 최초의 멀티에이전트 파이프라인으로, 기존 이미지 생성기에 텍스트-이미지 시퀀스 형태의 interleaved generation 능력을 부여합니다.
i1: A Simple and Fully Open Recipe for Strong Text-to-Image Modelsi1: 강력한 텍스트-이미지 모델을 위한 단순하고 완전 공개된 레시피⭐ 38
i1은 700K+ TPU v6e 시간과 300여 개 통제 실험을 바탕으로 데이터 혼합과 어댑터 설계의 핵심 선택지를 공개해, 가중치·데이터·코드가 모두 열린 강력한 T2I 모델 레시피를 제시합니다.
💡 멀티모달 생성은 이제 단순히 더 잘 그리는 단계를 넘어, 손상 복원·텍스트-이미지 교차 생성·완전 공개 레시피처럼 사용성과 재현성을 함께 끌어올리는 방향으로 진화하고 있습니다. 특히 에이전트 구조와 학습 레시피가 생성 모델의 활용 범위를 크게 넓히고 있습니다.
💻Code & Agents9
SpatialClaw: Rethinking Action Interface for Agentic Spatial ReasoningSpatialClaw: 에이전트형 공간 추론을 위한 액션 인터페이스 재설계⭐ 40
SpatialClaw는 도구 호출 대신 코드를 액션 인터페이스로 쓰는 학습 없는 프레임워크로, 중간 결과를 보며 분석을 수정하는 방식으로 복잡한 3D·4D 공간 추론의 유연성을 높였습니다.
WeaveBench: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid InterfacesWeaveBench: 하이브리드 인터페이스 컴퓨터 사용 에이전트 벤치마크⭐ 35
WeaveBench는 GUI와 CLI·코드 작업을 한 궤적 안에서 엮어야 하는 114개 실사용 과제를 제시하고, 결과물·스크린샷·로그·행동 추적을 함께 검사하는 trajectory-aware judge로 편법까지 잡아냅니다.
Toward Generalist Autonomous Research via Hypothesis-Tree Refinement가설 트리 정제를 통한 범용 자율 연구로의 진전⭐ 63
Arbor는 가설·증거·산출물·교훈을 지속적으로 연결하는 Hypothesis Tree Refinement로 장기 자율 연구를 누적적 탐색 과정으로 바꿔, 단발성 시도보다 전략과 학습의 재사용성을 높였습니다.
💡 에이전트 연구의 초점이 모델 프롬프팅에서 벤치마크, 메모리, 하니스, 실행 환경 설계로 빠르게 이동하고 있습니다. 실제로 긴 작업을 잘하려면 더 똑똑한 모델 하나보다, 편법을 막는 평가와 상태 변화를 축적하는 인터페이스, 그리고 학습 가능한 매개층이 더 중요해지고 있습니다.
📄Robotics & RL4
LabVLA: Grounding Vision-Language-Action Models in Scientific LaboratoriesLabVLA: 과학 실험실에 비전-언어-행동 모델을 접지하다⭐ 44
LabVLA는 실험실 특화 데이터 엔진 RoboGenesis와 다양한 로봇 형태를 아우르는 학습 프레임워크로, 가정용 데모에 치우친 기존 VLA를 실제 실험 벤치 조작으로 확장합니다.
Embodied-R1.5: Evolving Physical Intelligence via Embodied Foundation ModelsEmbodied-R1.5: 체화 파운데이션 모델로 물리 지능을 진화시키다⭐ 17
Embodied-R1.5는 15B 토큰 규모 데이터와 Planner-Grounder-Corrector 폐루프를 결합해 8B 모델로 24개 체화 VLM 벤치마크 중 16개에서 SOTA를 달성하며, 소량 데이터만으로도 강한 VLA 파인튜닝이 가능함을 보였습니다.
World Pilot: Steering Vision-Language-Action Models with World-Action PriorsWorld Pilot: 월드-액션 사전지식으로 VLA를 조종하다⭐ 9
World Pilot은 World-Action Model의 장면 진화 latent와 예상 궤적을 각각 Latent Steering과 Action Steering으로 VLA에 주입해, 정적 사전학습이 놓치는 연속 조작 동역학을 보완합니다.
💡 로보틱스에서는 VLA를 실제 세계에 붙이기 위한 데이터 엔진, 월드모델 priors, 폐루프 자기수정, 고처리량 시뮬레이터가 함께 발전하고 있습니다. 즉 '보는 모델'에서 '예상하고 행동하며 수정하는 모델'로 넘어가는 전환이 본격화되고 있습니다.
🗣️Language Models2
ComBench: A Benchmark for Rigorous Proof Reasoning and Constructive Realization in Olympiad-Level CombinatoricsComBench: 올림피아드 조합론의 엄밀한 증명과 구성 능력 벤치마크⭐ 14
ComBench는 100개의 올림피아드급 조합론 문제를 증명 중심과 구성 중심으로 나누고, 루브릭 채점과 결정적 검증을 결합해 LLM의 창의적 수학 추론 약점을 정밀 진단합니다.
ICA Lens: Interpreting Language Models Without Training Another DictionaryICA Lens: 새 사전을 학습하지 않고 언어모델을 해석하기⭐ 20
ICA Lens는 SAE 대신 비가우시안 방향을 찾는 ICA를 LLM 해석의 경량 대안으로 재조명해, 별도 대형 딕셔너리 학습 없이도 토큰 선택성이 높은 해석 가능한 표현 축을 빠르게 찾습니다.
💡 언어모델 자체의 성능 경쟁 못지않게, 수학적 추론의 빈틈을 정밀 측정하고 내부 표현을 더 가볍게 해석하려는 연구가 중요해지고 있습니다. 이는 앞으로 LLM 개발이 점수 향상뿐 아니라 신뢰 가능한 진단과 해석 가능성 확보를 함께 요구한다는 신호로 읽힙니다.