오늘의 한줄
오늘은 월드모델을 활용한 자기개선·제어와, 멀티모달 모델의 내부 표현 및 효율화가 특히 두드러졌습니다. 동시에 코드·에이전트 영역에서는 반성 학습, 장기 사용자 행동 학습, 보안 벤치마크처럼 실제 배포 관점의 평가와 개선이 빠르게 구체화되고 있습니다.
💻Code & Agents5
RSI-Anything: Unlocking Recursive Self-Improvement with World Models월드모델로 여는 재귀적 자기개선 프레임워크⭐ 446
RSI-Anything은 JEPA-Anything 기반 예측 월드모델로 행동과 학습데이터 선택을 안내해 코드 수정 성공률을 26.3%에서 31.2%로 높이고 GUI 작업의 평균 액션 수를 39.4% 줄였습니다.
Agent-Reflex: Teaching Language Agents to Act Reflectively언어 에이전트에 반성적 행동을 가르치기⭐ 55
Agent-Reflex는 반성 메타스킬 발굴, ReSFT, 강화학습의 3단계로 도구 오류와 사용자 개입 상황에서 에이전트의 자기반성·복구·수정 능력을 체계적으로 학습시키는 프레임워크입니다.
Can AI Agents Learn Their Way to the Top? Evaluating Heuristic Learning in a Long-Running Game Agent CompetitionAI 에이전트는 학습만으로 정상에 오를 수 있을까⭐ 39
AAArena는 고정된 모델 가중치로 게임 정책과 소프트웨어를 수정하는 Adversarial Heuristic Learning을 12개 게임에서 평가했으며, Opus5.5+Claude Code가 6개 금메달을 획득했지만 나머지 리그는 인간 최고 성능을 넘지 못했습니다.
💡 코드·에이전트 연구는 이제 단순 생성 성능보다 자기개선, 반성적 복구, 장기 행동 학습, 보안성처럼 실제 운영 지표를 전면에 내세우고 있습니다. 특히 고정된 모델 가중치 위에서도 워크플로와 피드백 루프를 재설계해 성능을 끌어올리는 흐름이 강해졌습니다.
📄Multimodal & Generative5
S-Space: Exploring Spatial Workspace in Multimodal Language Models멀티모달 언어모델의 공간 작업공간 S-Space 탐구⭐ 247
S-Space는 MLLM 내부에 수평·수직·거리 좌표를 선형적으로 담는 고유 부분공간이 존재함을 보이며, 인과 개입으로 공간 판단만 바꾸고 비공간 응답은 거의 유지해 내부 공간 추론 메커니즘을 설명했습니다.
Multics: Generative Multi-Player World Model with Hierarchical Communication계층적 커뮤니케이션을 갖춘 멀티플레이어 생성 월드모델⭐ 57
Multics는 player-group-global 3계층 토큰 구조로 멀티플레이어 비디오 생성의 통신 비용과 간섭을 줄여, 플레이어 수가 늘어날 때도 더 안정적으로 공유 세계를 시뮬레이션합니다.
VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMsMLLM의 고유 능력으로 구현한 탄력적 시각 표현⭐ 44
VisionWeave는 gated spatial pooler와 coarse-to-fine selector로 장면별로 다른 해상도의 토큰을 직조하듯 배치해, MLLM의 시각 비용을 줄이면서도 세밀한 정보가 필요한 영역의 성능을 유지하도록 설계했습니다.
💡 멀티모달 연구는 내부 표현을 해석하는 방향과, 토큰·통신·질의 비용을 줄이면서도 표현력을 유지하는 시스템 설계가 함께 진전하고 있습니다. 생성 모델도 단일 이미지·비디오를 넘어 멀티플레이어 세계, 물리 자산, 상호작용형 비디오 이해처럼 더 구조적인 세계 모델로 확장되는 모습입니다.
📄Robotics & RL2
LeWAM: End-to-End World and Action Modeling with JEPAsJEPA 기반 종단간 월드·액션 모델링⭐ 231
LeWAM은 다음 잠재상태 예측과 action flow matching을 함께 학습하는 종단간 JEPA로 접촉 과제 성공률을 28.6%에서 89.7%로, 장기 과제를 10.9%에서 46.2%로 끌어올리며 계획 속도도 32.3배 높였습니다.
UNITAS: A 3D-Native World Action Model for Embodied Manipulation체화 조작을 위한 3D 네이티브 월드 액션 모델⭐ 37
UNITAS는 관측·행동·장면 변화를 공통 3D 좌표계에서 표현하는 첫 3D-native WAM으로, 손과 그리퍼를 3D point trajectory로 통합해 시점 의존적 영상 표현보다 물리적으로 일관된 조작 예측을 제공합니다.
💡 로보틱스에서는 이미지 기반 추정보다 행동과 세계 변화를 직접 연결하는 월드 액션 모델이 빠르게 구체화되고 있습니다. JEPA와 3D-native 표현이 결합되며 계획 속도, 장기 과제 성공률, 물리 일관성을 동시에 잡으려는 흐름이 뚜렷합니다.
📄Training & Optimization2
DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models효율적이고 안정적인 디퓨전 모델 강화학습⭐ 72
DiffusionART는 reward aggregation-first tilting과 trust-region-masked 복원 업데이트로 EMA 튜닝 없이도 디퓨전 RL의 불안정성을 줄이며 적은 샘플로도 안정적인 보상 최적화를 달성했습니다.
DoSA: Dots Sparse Attention정확한 선택을 유지하는 조건부 희소 어텐션⭐ 21
DoSA는 Top-K 선택에 필요한 충분조건만 계산하는 certificate 기반 lossless sparse attention으로, 정확한 토큰 선택을 유지한 채 GPU 구현에서 Indexer를 SGLang 대비 최대 2.74배 가속했습니다.
💡 학습·최적화 분야는 보상 정렬과 효율성을 동시에 개선하려는 시도가 인상적입니다. 디퓨전 RL의 안정화와 희소 어텐션의 정확한 가속처럼, 기존 방법의 병목을 이론적으로 해부한 뒤 실용적인 시스템 이득으로 연결하는 연구가 늘고 있습니다.
👁️Computer Vision4
Urbex: Agentic Spatial Grounding for City-Scale 3D Scenes도시 규모 3D 장면을 위한 에이전트형 공간 그라운딩⭐ 79
Urbex는 도시 3D 그라운딩을 후보 랭킹이 아닌 능동적 공간 탐색으로 재정의해 CityRefer에서 최고 Hit@1·IoU를 기록하고 후보 박스 없이도 더 빠른 grounding을 구현했습니다.
GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives물리 지능을 위한 그라운딩 파운데이션 모델⭐ 32
GroundingPI는 점·박스를 양자화 좌표로 생성하는 4B 그라운딩 모델로 34개 벤치마크 평균 73.68%를 기록해 GPT-6 Astra의 71.54%를 넘었고 로봇 조작과 자율주행 백본으로도 성능을 높였습니다.
FlashVSR+: Efficient Video Super-Resolution via Hybrid Attention and Reward-Yield Distribution Matching하이브리드 어텐션과 보상 정렬로 개선한 효율적 비디오 초해상도⭐ 46
FlashVSR+는 hybrid attention으로 DiT 추론을 최대 2배 가속하고 메모리를 45% 줄였으며, Ry-DMD로 블랙박스 보상을 선호 정렬에 반영해 단일 24GB 4090에서 untiled 4K VSR을 가능하게 했습니다.
💡 비전 연구는 대규모 장면, 정밀 그라운딩, OCR, 초해상도처럼 현장형 과제에서 정확도뿐 아니라 속도와 배포 가능성까지 함께 최적화하고 있습니다. 특히 후보 생성 없는 탐색, 좌표 직접 생성, 선호 정렬 같은 설계가 기존 파이프라인의 비효율을 빠르게 대체하는 분위기입니다.
🗣️Language Models2
Jeva: System One Models from First Principles원리부터 다시 세운 시스템 1 의사결정 모델⭐ 63
Jeva는 null-aware·순열 불변·옵션 확장성·캐시 가능성을 동시에 만족하는 decision-native 구조로, 생성형 디코딩 대신 선택 문제 자체에 맞춘 저지연 의사결정을 제안했습니다.
Vela: User Behavior as Supervision Sparks LLM Intelligence사용자 행동을 감독 신호로 삼는 LLM 학습⭐ 14
Vela는 10만 명의 익명 행동 기록을 91개 실제 작업 템플릿의 학습 과제로 변환해 약 7.5만 개 고품질 태스크를 구축하며, 장기 사용자 선호와 의도를 배우는 새로운 LLM 감독 신호를 제안했습니다.
💡 언어모델 쪽에서는 생성형 디코더 만능주의에서 벗어나, 의사결정 구조나 사용자 행동 같은 실제 문제의 형태를 그대로 반영한 학습·추론 설계가 부상하고 있습니다. 결국 더 똑똑한 문장 생성보다, 더 맞는 선택과 더 개인화된 추론이 다음 경쟁력이 되어가는 흐름입니다.