오늘의 한줄
오늘은 에이전트가 자신의 하네스와 정책, 심지어 학습 데이터까지 스스로 개선하는 자기진화형 연구가 특히 두드러졌습니다. 동시에 3D·비디오·오디오 영역에서는 더 현실적인 스트리밍 이해, 공간 추론, 그리고 범용 생성·편집 평가 체계가 빠르게 정교해지고 있습니다.
💻Code & Agents5
SIA: Self Improving AI with Harness & Weight Updates하네스와 가중치를 함께 갱신하는 자기개선 AI, SIA⭐ 775
SIA는 Feedback-Agent가 에이전트의 하네스와 모델 가중치를 함께 갱신하는 자기개선 루프를 제안하며, 법률 분류·GPU 커널 최적화·scRNA 복원처럼 이질적 과제에서 두 레버를 결합할 때 단독 업데이트보다 더 강한 성능을 보였습니다.
SubtleMemory: A Benchmark for Fine-Grained Relational Memory Discrimination in Long-Horizon AI Agents장기 에이전트의 미세한 관계 기억 판별을 위한 SubtleMemory⭐ 14
SubtleMemory는 상보·미묘·모순 관계를 지닌 기억 변형을 장기 사용자 히스토리에 심어, 에이전트가 단순 회상이 아니라 기억 간 관계 구조를 복원해야 하는 1,522개 평가 사례를 제공합니다.
PaperFlow: Profiling, Recommending, and Adapting Across Daily Paper Streams매일의 논문 흐름에 적응하는 추천 프레임워크, PaperFlow⭐ 8
PaperFlow는 연구자 관심을 프로파일링·일별 추천·피드백 적응의 3단계로 모델링하고, 24명 사용자와 50일 스트림, 1,200 user-day 에피소드로 구성된 장기 논문 추천 벤치마크를 구축했습니다.
💡 에이전트 연구의 초점이 단순 프롬프트 조정에서 벗어나 하네스, 정책, 메모리, 데이터 생성 루프 전체를 스스로 재설계하는 방향으로 이동하고 있습니다. 특히 자기 약점에서 학습 신호를 뽑아 시스템 구조까지 함께 진화시키는 접근이 실전형 에이전트의 핵심 경쟁력이 될 가능성이 큽니다.
📄Multimodal & Generative6
dots.tts Technical Report연속 잠재공간 기반 20억 파라미터 TTS, dots.tts⭐ 274
dots.tts는 다중 목적 AudioVAE, full-history 조건화 flow matching, reward-free 자기교정 후학습을 결합해 Seed-TTS-Eval에서 zh/en/zh-hard WER 0.94/1.30/6.60과 SIM 81.0/77.1/79.5를 기록한 오픈소스 SOTA TTS입니다.
Direct 3D-Aware Object Insertion via Decomposed Visual Proxies분해된 시각 프록시로 구현한 3D 인지 객체 삽입⭐ 31
DIRECT는 참조 외형·사용자 조정 3D 프록시 기하·배경 문맥을 분리 주입해 객체 삽입을 단순 2D 인페인팅이 아닌 포즈 제어 가능한 3D 인지 합성으로 바꾸며, 외형 보존과 배경 적응을 동시에 개선했습니다.
MMAE: A Massive Multitask Audio Editing Benchmark범용 지시형 오디오 편집을 위한 대규모 멀티태스크 벤치마크, MMAE⭐ 65
MMAE는 사운드·음성·음악·혼합을 포함한 7개 오디오 모달리티와 6단계 복잡도, 8개 연산 유형을 포괄하는 첫 범용 지시형 오디오 편집 벤치마크로, 파편화된 평가 환경을 실제 창작 시나리오 중심으로 재정의했습니다.
💡 오디오·비디오·3D 생성과 이해는 이제 단일 모델 성능보다 범용성, 제어 가능성, 그리고 현실적인 평가 체계 구축이 더 중요해지고 있습니다. 생성 품질 향상과 함께 벤치마크가 실제 사용 시나리오를 더 촘촘히 반영하기 시작했다는 점이 인상적입니다.
📄Training & Optimization1
GENEB: Why Genomic Models Are Hard to Compare유전체 모델은 왜 비교하기 어려운가: GENEB⭐ 34
GENEB는 40개 유전체 파운데이션 모델을 100개 과제와 13개 기능 범주에서 통일된 probing 프로토콜로 비교해, 종합 리더보드가 불안정하고 모델 크기보다 아키텍처·사전학습 정렬이 더 중요할 수 있음을 보여줬습니다.
💡 GENEB는 모델 개선 못지않게 평가 설계 자체가 결론을 좌우한다는 점을 강하게 보여줍니다. 앞으로는 더 큰 모델을 쌓는 경쟁보다, 어떤 조건에서 무엇을 비교하는지가 연구 신뢰성을 가르는 핵심이 될 것입니다.
👁️Computer Vision1
UniSHARP: Universal Sharp Monocular View Synthesis카메라 종류를 가리지 않는 범용 단안 뷰 합성, UniSHARP⭐ 32
UniSHARP는 perspective부터 fisheye·파노라마까지 다양한 카메라를 공통 전방위 잠재공간에 정렬하고 ray 기반 Gaussian 표현을 사용해, 기존 SHARP의 핀홀 가정을 넘어서는 범용 단안 포토리얼리스틱 뷰 합성을 구현했습니다.
💡 카메라 모델별로 쪼개져 있던 뷰 합성을 하나의 표현 공간으로 통합하려는 시도가 본격화되고 있습니다. 비전 모델이 특정 센서 가정에 묶이지 않고 범용 시각 시스템으로 확장되는 흐름으로 읽힙니다.
📄Robotics & RL4
Thinking with Imagination: Agentic Visual Spatial Reasoning with World Simulators월드 시뮬레이터로 상상하며 푸는 에이전트형 시각 공간 추론⭐ 17
Astra는 RL로 학습한 VLM 정책과 novel-view를 생성하는 월드 시뮬레이터를 결합해, 제한된 1인칭 관측만으로도 대안 시점과 미관측 배치를 상상하며 공간 추론하는 새로운 에이전트형 프레임워크를 제시했습니다.
Reinforcement Learning from Rich Feedback with Distributional DAgger풍부한 피드백을 활용하는 분포적 DAgger 강화학습⭐ 3
Distributional DAgger는 실행 흔적·도구 출력·전문가 수정 같은 rich feedback을 forward cross-entropy 목표로 학습해 초기 의사결정까지 크레딧을 전파하며, reverse KL·JS 기반 자기증류 RL의 한계를 이론적으로 짚었습니다.
LIMMT: Less is More for Motion Tracking적을수록 더 좋은 모션 트래킹, LIMMT
LIMMT는 물리 가능성·다양성·복잡도로 모션 데이터 품질을 정의하고 AMASS의 3% 미만 고품질 데이터만으로도 전체 데이터 학습보다 더 나은 휴머노이드 모션 추적 성능을 달성해 데이터 중심 학습의 힘을 보여줬습니다.
💡 강화학습과 로보틱스는 더 풍부한 피드백, 더 나은 데이터 선별, 그리고 상상 가능한 세계모델 활용으로 빠르게 확장되고 있습니다. 결국 성능을 좌우하는 것은 알고리즘 하나보다도 어떤 감독신호와 데이터 인터페이스를 설계하느냐에 가까워 보입니다.
🗣️Language Models3
Your UnEmbedding Matrix is Secretly a Feature Lens for Text Embeddings언임베딩 행렬은 사실 텍스트 임베딩의 특징 렌즈다⭐ 10
EmbedFilter는 LLM의 언임베딩 행렬이 고빈도 토큰 성분을 임베딩 공간에 새겨 넣는다는 관찰을 바탕으로 해당 부분공간을 선형 필터링해, 별도 대규모 재학습 없이 LLM 기반 텍스트 임베딩 품질을 개선합니다.
Augmenting Attention with Exponentially Decaying Memory Improves Query-Aware KV Sparsity지수 감쇠 메모리로 쿼리 인지형 KV 희소화를 강화하다⭐ 6
RAT+는 지수 감쇠 메모리를 Quest·MoBA·SnapKV 같은 희소 추론 기법과 결합했을 때 8개 needle-in-a-haystack 과제 전반에서 동일한 sparse budget 대비 정확도를 일관되게 끌어올렸습니다.
UnpredictaBench: A Benchmark for Evaluating Distributional Randomness in LLMsLLM의 분포적 무작위성 평가 벤치마크, UnpredictaBench⭐ 0
UnpredictaBench는 통계 분포·확률 프로그램·자연어 확률 시나리오를 포함한 448개 문제와 KS@N 지표를 통해, LLM이 그럴듯한 한 답으로 수렴하지 않고 목표 분포 자체를 얼마나 충실히 샘플링하는지 평가합니다.
💡 언어모델 연구는 단순 생성 품질을 넘어 임베딩 표현, 긴 문맥 효율, 확률적 샘플링 충실도처럼 내부 동작의 정밀 제어로 이동하고 있습니다. 실사용 관점에서 보면 이제 중요한 것은 '더 그럴듯한 답'이 아니라 '더 정확한 표현과 더 효율적인 추론'입니다.