오늘의 한줄
오늘은 고정된 모델 가중치를 바꾸지 않고도 에이전트의 실행 하네스·정책·환경을 스스로 개선하는 연구와, 멀티모달 모델 내부 표현 및 생성 과정을 더 효율적으로 다루는 연구가 두드러졌습니다. 특히 컴퓨터 사용 에이전트, 비디오 이해, 보상 모델링, 확산 생성의 실용적 스케일업 방향이 뚜렷하게 보입니다.
💻Code & Agents6
RSI-Anything: Unlocking Recursive Self-Improvement with World Models월드 모델로 여는 범용 재귀적 자기개선⭐ 446
RSI-Anything은 JEPA-Anything 기반 월드 모델로 행동과 학습 데이터 선택을 안내해 코드 수정 성공률을 26.3%→31.2%로 높이고 GUI에서는 평균 행동 수를 39.4% 줄이며, 외부 피드백 비용이 큰 환경에서도 재귀적 자기개선을 가능하게 했습니다.
Can AI Agents Learn Their Way to the Top? Evaluating Heuristic Learning in a Long-Running Game Agent CompetitionAI 에이전트는 배워서 정상에 오를 수 있을까: 장기 게임 에이전트 대회에서의 휴리스틱 학습 평가⭐ 39
AAArena는 12개 실전형 대전 게임과 1,920개 인간 프로그램으로 구성된 벤치마크로, 고정된 모델이 정책과 소프트웨어를 수정하는 AHL을 평가했으며 Opus5.5+Claude Code가 6개 금메달을 기록해 에이전트형 게임 학습의 현실적 한계를 드러냈습니다.
Video-RSI: Recursive Self-Improvement of Video Understanding Agents via Harness Evolution하네스 진화를 통한 비디오 이해 에이전트의 재귀적 자기개선⭐ 17
Video-RSI는 비디오 이해 에이전트가 원본 영상을 능동적으로 재탐색하며 실패 원인을 검증하고 하네스를 스스로 수정하도록 해, 더 적은 프레임 비용으로 더 높은 정확도를 얻는 자기개선 루프를 구축했습니다.
💡 이 범주의 논문들은 모델 자체를 더 크게 만드는 대신, 하네스·환경·시연 데이터·정책 수정 루프를 체계화해 에이전트 성능을 끌어올리는 흐름을 보여줍니다. 특히 자기개선과 훈련 환경 합성, 인간 GUI 경험의 재사용이 결합되면서 '에이전트를 둘러싼 시스템 설계'가 성능의 핵심 경쟁력으로 이동하고 있습니다.
📄Multimodal & Generative7
S-Space: Exploring Spatial Workspace in Multimodal Language Models멀티모달 언어모델의 공간 작업공간 S-Space 탐구⭐ 247
S-Space는 MLLM 내부에 수평·수직·거리 좌표를 선형적으로 담는 고유한 공간 표현 부분공간이 존재함을 보였고, 개입 실험으로 공간 판단만 선택적으로 바꿀 수 있음을 보여 공간 추론 메커니즘 해석의 실마리를 제시했습니다.
VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMsMLLM의 기본 능력으로 탄력적 시각 표현을 엮는 VisionWeave⭐ 44
VisionWeave는 gated spatial pooler와 token unpooler로 장면마다 다른 해상도의 시각 토큰을 end-to-end로 배치해, 고정 패치 토큰의 비효율을 줄이면서 최신 MLLM에 자연스럽게 통합되는 탄력적 시각 표현을 학습합니다.
Towards Physically Grounded Articulated 3D Assets: A Multi-Agent Pipeline and Benchmark물리적으로 타당한 관절형 3D 자산을 향해: 멀티에이전트 파이프라인과 벤치마크⭐ 62
Artisan은 물리 시뮬레이션 피드백을 포함한 멀티에이전트 파이프라인으로 충돌 없는 움직임, 중력 안정성, 질량·재질까지 갖춘 관절형 3D 자산 생성을 다루고, 100개 기준 자산과 안정성·질량 평가를 포함한 통합 벤치마크를 제시했습니다.
💡 멀티모달·생성 연구는 내부 표현을 해석 가능한 작업공간으로 이해하고, 토큰·잠재공간·소스 단위로 더 유연하게 제어하려는 방향이 강합니다. 즉 더 크게 생성하는 경쟁에서, 표현을 어떻게 배치·연결·분해하느냐가 다음 단계의 효율성과 몰입감을 좌우하고 있습니다.
📄Training & Optimization2
DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models확산모델 강화를 위한 효율적·안정적·확장 가능한 DiffusionART⭐ 72
DiffusionART는 프롬프트별 보상을 공유 방향으로 집계하는 reward tilting과 trust-region 복원 업데이트로 EMA 튜닝 없이도 적은 샘플에서 안정적인 확산모델 RL 미세조정을 가능하게 한 방법입니다.
Judging in Latent Space: Efficient Generative Reward Modeling via Semantics-Preserving Compression잠재공간에서 판정하기: 의미 보존 압축 기반 효율적 생성형 보상 모델링⭐ 7
LatentGRM은 루브릭 기반 평가를 의미 단위로 압축한 연속 잠재 궤적으로 직접 pairwise judgment를 수행해, 4B·8B 규모에서 명시적 SFT 판정기와 경쟁력 있는 정확도를 유지하면서 추론 비용을 크게 줄였습니다.
💡 학습·최적화 측면에서는 고비용의 명시적 언어화나 불안정한 RL 루프를 줄이고, 잠재공간 압축과 구조화된 업데이트로 안정성과 효율을 동시에 확보하려는 시도가 돋보입니다. 앞으로는 '더 적은 샘플과 더 짧은 추론으로도 믿을 만한 학습 신호를 만드는 법'이 중요한 차별점이 될 듯합니다.
👁️Computer Vision1
PolyOCR-Venus: Unified OCR Foundation Models for Text-Centric Visual Intelligence텍스트 중심 시각지능을 위한 통합 OCR 파운데이션 모델 PolyOCR-Venus⭐ 54
PolyOCR는 instruction-following OCR 파운데이션 모델과 Competence-Guided Policy Optimization을 결합해 인식·파싱·추론을 통합하고, 수동 검증으로 보정한 OCRBench v2.1까지 함께 제시해 OCR 전반의 범용성을 끌어올렸습니다.
💡 OCR도 이제 단순 문자 인식을 넘어 위치 파악, 문서 구조 이해, 시각적 추론을 하나의 파운데이션 모델로 통합하는 단계에 들어섰습니다. 데이터 엔진과 정책 최적화, 벤치마크 정비가 함께 가야 실제 현장 적용력이 나온다는 점이 인상적입니다.
📄Robotics & RL3
Reflex: Visually Grounded Reactive Humanoid Control시각적으로 접지된 반응형 휴머노이드 제어 Reflex⭐ 18
Reflex는 상태 기반 RL, 객체 동역학 추론, 자가중심 시각 적응의 3단계 학습으로 던져진 상자를 전신으로 1초 내 반응해 잡는 휴머노이드 제어를 구현해, 시각 기반 실시간 반응 제어의 실용성을 보여줍니다.
TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning시각-촉각 학습을 위한 500시간 규모 인간 시각·촉각 데이터 TouchScale⭐ 8
TouchScale은 단일 웨어러블 셋업으로 수집한 500시간 규모의 RGB-D·손목 영상·양손 촉각 동기 데이터셋으로, 전체 데이터 학습 시 zero-shot 접촉 IoU를 끌어올려 촉각 데이터 스케일의 효과를 분명히 보여줍니다.
EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents자기진화형 체화 에이전트의 지속학습 평가 벤치마크 EmbodiedCLBench⭐ 12
EmbodiedCLBench는 기본 과제에서 배운 기술을 조합해 새로운 고난도 과제를 푸는지를 평가하는 최초의 embodied continual learning 벤치마크로, 제로샷 한계와 경험 축적의 일관된 이득을 함께 드러냈습니다.
💡 로보틱스에서는 반응형 전신 제어, 시각-촉각 대규모 데이터, 체화형 지속학습 평가가 함께 등장하며 '감각-행동 루프의 축적'이 핵심 화두로 보입니다. 단일 데모보다 다양한 물리 신호와 장기 경험을 어떻게 구조화해 재사용하느냐가 다음 도약을 결정할 것입니다.
🗣️Language Models1
Contextual Correction of Parallel Draftsfor Speculative Decoding사변적 디코딩을 위한 병렬 초안의 문맥 보정⭐ 20
DCOCO는 병렬 speculative decoding에서 초안 블록 내부의 의존성 손실을 여러 후보 토큰의 문맥 적합도 평가로 복원해, 병렬성은 유지하면서 초안 품질과 최종 추론 효율을 함께 개선합니다.
💡 언어모델 추론 효율화는 여전히 병렬화가 핵심이지만, 병렬 초안이 잃는 문맥 의존성을 어떻게 가볍게 복원할지가 실전 성능을 가릅니다. 즉 단순히 더 빨리 초안을 만드는 단계를 넘어, 병렬성과 정확도의 균형을 정교하게 맞추는 방향으로 진화하고 있습니다.