오늘의 한줄
오늘은 에이전트의 자기개선, 장기 메모리·공간 추론 평가, 그리고 멀티모달 생성 효율화가 핵심 흐름으로 보입니다. 특히 단일 모델 성능보다 하네스·메모리·벤치마크 설계가 실제 활용도를 좌우한다는 점이 여러 논문에서 반복해서 드러났습니다.
💻Code & Agents8
SIA: Self Improving AI with Harness & Weight Updates하네스와 가중치를 함께 고치는 자기개선 AI, SIA⭐ 775
SIA는 Feedback-Agent가 에이전트 하네스와 모델 가중치를 함께 갱신하는 자기개선 루프를 제안하며, 법률 분류·GPU 커널 최적화·scRNA 복원처럼 이질적인 3개 도메인에서 두 축을 따로 쓰는 방식보다 더 높은 성능을 보였습니다.
Agents' Last Exam에이전트의 마지막 시험: 실제 산업 업무 벤치마크⭐ 183
Agents' Last Exam은 250명 이상 산업 전문가와 만든 1,000개+ 실제 업무 태스크 벤치마크로, 현재 주류 에이전트들의 hardest tier 완전 통과율이 평균 2.6%에 그쳐 실전형 장기 과제가 여전히 미해결임을 보여줍니다.
SpatialWorld: Benchmarking Interactive Spatial Reasoning of Multimodal Agents in Real-World Tasks실세계 과제에서 멀티모달 에이전트의 상호작용형 공간 추론을 재는 SpatialWorld⭐ 34
SpatialWorld는 8개 시뮬레이터를 통합한 760개 인간 주석 태스크로, 부분 관측 시야에서 MLLM 에이전트가 능동적으로 시각 증거를 수집하며 공간적으로 판단하는 능력을 공통 프로토콜로 평가합니다.
💡 에이전트 연구의 무게중심이 단순 정답률 경쟁에서 자기개선 루프, 감사 가능성, 탐색·메모리·공간 이해 같은 하위 능력의 정밀 측정으로 이동하고 있습니다. 실전 배치를 위해서는 더 강한 모델보다 더 나은 하네스와 더 좋은 평가 설계가 먼저라는 메시지가 강합니다.
📄Multimodal & Generative6
dots.tts Technical Report연속 잠재공간 기반 20억 파라미터 TTS, dots.tts⭐ 274
dots.tts는 다중 목적 AudioVAE, full-history 조건부 flow matching, 보상 없는 self-corrective post-training을 결합해 Seed-TTS-Eval에서 zh/en/zh-hard WER 0.94/1.30/6.60%로 오픈소스 SOTA를 달성했습니다.
Echo-Memory: A Controlled Study of Memory in Action World Models액션 월드모델의 메모리를 통제 실험으로 해부한 Echo-Memory⭐ 87
Echo-Memory는 동일한 비디오 디퓨전 백본 위에서 raw context, 압축 메모리, 공간 요약, state-space recurrence만 바꿔 비교해 월드모델의 장기 일관성을 좌우하는 용량·압축·읽기 방식·재귀의 효과를 분리해 분석했습니다.
Latent Spatial Memory for Video World Models비디오 월드모델을 위한 잠재 공간 메모리⭐ 70
Mirage는 RGB 재구성 대신 diffusion latent 공간에 3D 장면 정보를 직접 저장하는 latent spatial memory를 도입해 정보 손실과 반복 렌더링 비용을 줄이면서 더 일관된 비디오 월드모델 생성을 가능하게 했습니다.
💡 생성 모델은 이제 품질 자체보다 장기 일관성, 실시간성, 제어 가능성 같은 사용성 지표를 정면으로 다루고 있습니다. 특히 메모리를 latent 공간으로 옮기거나 시뮬레이터를 결합하는 흐름은 멀티모달 생성이 점점 세계모델화되고 있음을 보여줍니다.
👁️Computer Vision2
Direct 3D-Aware Object Insertion via Decomposed Visual Proxies분해된 시각 프록시로 구현한 3D 인지 객체 삽입⭐ 31
DIRECT는 참조 외형, 사용자 조정 3D 프록시의 기하, 배경 문맥을 분리 주입해 2D 인페인팅 한계를 넘고, 포즈를 직접 제어하면서도 참조 객체의 외형과 장면 조화를 함께 유지하는 객체 삽입을 구현했습니다.
UniSHARP: Universal Sharp Monocular View Synthesis모든 카메라를 아우르는 선명한 단안 뷰 합성, UniSHARP⭐ 32
UniSHARP는 pinhole 가정에 묶인 SHARP를 확장해 perspective부터 fisheye·파노라마까지 다양한 카메라를 하나의 omnidirectional latent space와 ray 기반 Gaussian 표현으로 통합 렌더링합니다.
💡 비전 쪽에서는 2D 합성의 한계를 넘기 위해 3D 구조와 카메라 일반성을 명시적으로 도입하는 방향이 두드러집니다. 사용자 제어와 다양한 촬영 조건을 동시에 만족시키는 것이 실제 제품화의 핵심 과제로 보입니다.
🗣️Language Models2
GENEB: Why Genomic Models Are Hard to Compare유전체 모델은 왜 비교하기 어려운가: GENEB⭐ 34
GENEB는 40개 유전체 파운데이션 모델을 100개 태스크에서 통일된 probing 프로토콜로 비교해, 리더보드 순위가 과제군마다 크게 흔들리고 규모보다 아키텍처·사전학습 정합성이 더 중요할 수 있음을 보여줬습니다.
FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention예측형 희소 어텐션으로 초장문 컨텍스트를 가속하는 FlashMemory-DeepSeek-V4⭐ 10
FlashMemory-DeepSeek-V4는 미래 질의 수요를 예측해 핵심 KV 청크만 GPU에 남기는 Lookahead Sparse Attention과 분리 학습형 Neural Memory Indexer로 초장문 서빙 효율과 장기 기억 품질을 함께 높였습니다.
💡 평가와 추론 인프라 모두에서 '크면 좋다'는 단순 논리가 흔들리고 있습니다. 유전체 모델 비교나 초장문 추론 모두 아키텍처 정합성과 메모리 선택성이 성능·효율을 좌우한다는 점이 인상적입니다.
📄Training & Optimization1
AsyncWebRL: Efficient Multi-Step RL for Visual Web Agents시각 웹 에이전트를 위한 효율적 비동기 다단계 강화학습⭐ 39
AsyncWebRL은 rollout·학습·정책 갱신을 비동기로 겹치는 시스템 설계와 GRPO 정규화 수정으로 WebGym 대비 학습 처리량을 최대 2.9배 높이고, 장황한 실패 궤적 문제까지 줄였습니다.
💡 강화학습 효율화는 알고리즘과 시스템을 따로 보지 않고 함께 최적화하는 단계로 접어들었습니다. 특히 비동기 파이프라인과 손실 정규화의 작은 수정이 실제 웹 에이전트 학습 비용을 크게 줄일 수 있음을 보여줍니다.
📄Robotics & RL1
Light-WAM: Efficient World Action Models with State-Fusion Action Decoding상태 융합 액션 디코딩으로 가벼워진 월드 액션 모델⭐ 25
Light-WAM은 다운샘플 latent에서 미래 비디오 감독을 수행하는 소형 비디오 백본과 StateFusionActionExpert를 결합해, 로봇 조작용 WAM의 학습·추론 비용을 낮추면서 폐루프 제어에 적합한 효율성을 확보했습니다.
💡 로보틱스에서는 월드모델의 표현 학습 이점을 유지하되, 폐루프 제어에 쓸 수 있을 만큼 가볍게 만드는 실용화가 핵심입니다. 거대한 생성 모델보다 적절한 압축과 액션 디코딩 설계가 더 중요해지는 흐름입니다.