오늘의 한줄
오늘은 LLM의 실제 배치 성능을 끌어올리는 후학습·에이전트 평가와, 비디오·문서·아바타를 아우르는 멀티모달 생성/이해 연구가 두드러졌습니다. 특히 긴 시간축과 복잡한 환경에서 얼마나 능동적이고 효율적으로 작동하는지가 공통 화두로 보입니다.
📄Multimodal & Generative4
Beyond Pixels: From Video Priors to 4D Worlds비디오 사전지식에서 4D 월드로⭐ 73
Latent-to-4D는 비디오 모델의 최종 latent를 직접 4D 디코더 토큰에 정렬해 RGB 재구성 없이 동적 3D 장면을 생성하며, 약 1천 개 클립만으로 여러 비디오 확산 모델에 체크포인트를 그대로 전이합니다.
Ex-Omni-2D: Expressive Omni-Modal Dialogue Models with Native Visual Presence시각적 존재감을 갖춘 표현형 옴니모달 대화 모델⭐ 17
Ex-Omni-2D는 Visual Thought Plan과 공유 음향-시간 인터페이스를 통해 텍스트·개인화 음성·참조 기반 아바타 비디오를 함께 생성하며, 대규모 완전 정렬 데이터 없이도 이종 데이터로 학습 가능한 옴니모달 대화 프레임워크를 제시합니다.
InSight-doc: Agentic Visual Perception for Long-Document Understanding장문서 이해를 위한 에이전트형 시각 지각⭐ 4
InSight-doc은 저해상도에서 시작해 필요한 영역만 고해상도로 확대하는 능동 지각 방식과 17.9K SFT·19.2K RL 데이터로 학습되어, 문서 VQA 정확도를 4.3~16.4포인트 높이고 hallucination은 40% 이상, 지연은 41~68% 줄였습니다.
💡 멀티모달 연구는 단순히 입력 채널을 늘리는 수준을 넘어, 비디오 latent를 4D로 직접 연결하거나 음성-비디오를 하나의 시간 인터페이스로 묶는 식의 공통 표현 설계로 이동하고 있습니다. 동시에 문서 이해와 검색에서도 더 작은 모델·선택적 고해상도 처리로 실제 배치 효율까지 챙기는 흐름이 강해졌습니다.
🗣️Language Models3
Reference-Free Post-Training of Open Large Language Models for Multilingual Machine Translation오픈 LLM을 위한 레퍼런스 없는 다국어 번역 후학습⭐ 70
MiLMMT-46-v1.0은 참조 번역 없이 품질추정 보상과 GRPO, 그리고 SFT·RL 체크포인트 보간만으로 46개 언어 번역 성능을 일관되게 높여 Seed-X와 TranslateGemma는 물론 일부 상용 시스템의 reference-free 점수도 앞섰습니다.
CoinRAG: Contextualized Information Nugget KV Cache Reuse for Long-Context RAG장문맥 RAG를 위한 정보 너깃 기반 KV 캐시 재사용
CoinRAG는 긴 검색 문서를 청크 단위가 아니라 질의 관련 semantic nugget 단위로 잘라 오프라인 KV 캐시를 조합함으로써, 낮은 prefill 지연 제약 아래 정확도와 효율의 Pareto frontier를 함께 개선합니다.
Decoding-Level Taboo: A Diagnostic Stress Test for LLM RobustnessLLM 강건성을 진단하는 디코딩 단계 타부 테스트
Decoding-Level Taboo는 로그잇 수준에서 상위 후보 토큰을 동적으로 마스킹해 모델을 평소 생성 경로 밖으로 밀어내는 zero-prompt 스트레스 테스트로, 모델 크기와 instruction alignment가 off-path robustness를 크게 좌우함을 보여줍니다.
💡 LLM 쪽은 더 크게 만드는 경쟁보다, 번역 후학습·RAG 캐시 재사용·비정상 디코딩 강건성처럼 배치 환경에서 성능을 어떻게 유지하고 확장할지가 핵심으로 보입니다. 특히 reference-free 보상과 off-path robustness 평가는 실서비스 품질 관리의 새로운 기준이 될 가능성이 큽니다.
💻Code & Agents6
Co-Evolution in Agentic Systems: Toward Self-Directed Evolution Beyond Human Design에이전트 시스템의 공진화: 인간 설계를 넘어선 자기주도 진화⭐ 30
이 서베이는 에이전트-에이전트, 에이전트-환경, 메타 공진화의 3단계 분류를 제안하며, 배포 후 스스로 적응하는 에이전트 시스템이 인간이 고정한 과제·피드백·진화 규칙을 어떻게 벗어날지 체계화했습니다.
Mendel Gödel Machine: Recursive Self-Improving Coding Agents via Comparative Evolution비교 진화를 통한 재귀적 자기개선 코딩 에이전트⭐ 6
Mendel Gödel Machine은 단일 실패 궤적만 보는 기존 자기수정 대신 reaction-norm mutation과 cross-lineage hybridization을 도입해, 과거 시도 아카이브를 비교 활용하며 더 빠르고 안정적인 코딩 에이전트 자기개선을 달성합니다.
VibeLifeBench: Can Your Life Agent Be Proactive and Persistent in a Living World?당신의 라이프 에이전트는 살아 있는 세계에서 능동적이고 일관적인가⭐ 6
VibeLifeBench는 22개 모의 서비스 위에서 수주간 진행되는 200개 생활 과제로, 프롬프트가 없을 때도 변화 감지·선제 행동·장기 일관성을 요구해 기존 단발성 에이전트 평가가 놓친 실제 개인비서 역량을 측정합니다.
💡 에이전트 연구는 이제 단발성 툴 사용을 넘어 장기 기억, 자기개선, 능동성, 비용 관리까지 포함한 '운영체제' 문제로 확장되고 있습니다. 벤치마크와 방법론 모두 실제 생활·리서치·코딩 환경에서 시간이 흐를수록 더 잘 작동하는 에이전트를 겨냥하고 있습니다.
📄Robotics & RL2
360CityArena: A Realistic Virtual Urban Navigation Benchmark for Embodied Agents현실적인 가상 도시 내비게이션 벤치마크 360CityArena⭐ 11
360CityArena는 도쿄 아키하바라의 602개 360도 비디오와 175개 수작업 과제로 구성된 도시 탐색 벤치마크로, Gemini 2.5 Flash조차 인간 수준에 크게 못 미쳐 현실적 야외 embodied agent 평가의 난도를 드러냈습니다.
ComBodied Agents: a New Paradigm of Human-Centric Agentic AI인간 중심 에이전트 AI의 새 패러다임, ComBodied Agents
ComBodied Agents는 소프트웨어 상태나 물리 상태 자체보다 사람의 시간에 따른 상태 변화를 핵심 대상으로 삼아, 센서·웨어러블·로봇·서비스를 행동 채널로 묶는 인간 중심 폐루프 에이전트 패러다임을 제안합니다.
💡 현실적인 도시 탐색과 인간 상태 중심 지원이라는 두 작업은 embodied AI가 단순 이동·조작보다 사람과 환경의 맥락을 장기적으로 이해해야 함을 보여줍니다. 앞으로는 물리 행동 능력 자체보다, 언제 개입하고 무엇을 돕는지가 더 중요한 평가 축이 될 듯합니다.
👁️Computer Vision3
Articulated Object Reconstruction from Rest-State Observation정지 상태 관측만으로 하는 관절 물체 복원
이 방법은 닫힌 단일 상태만 보고도 명시적 메쉬 융합과 비디오 디퓨전 기반 articulation hypothesis 검증으로 관절 물체의 파트 구조와 조인트를 복원해, 움직임 관측이 없는 디지털 트윈 구축 가능성을 넓혔습니다.
JigShape: Evaluating Visual-Geometric Reasoning in VLMs through Jigsaw Puzzles직소 퍼즐로 평가하는 VLM의 시각-기하 추론
JigShape는 맞물림 조각 기반 9.5만 개 퍼즐로 모호성을 제거한 시각-기하 추론 벤치마크를 제시하며, GPT-5.5를 포함한 최신 VLM들이 4x4를 넘어서면 급격히 붕괴하고 12x12에서는 미세조정 모델도 5% 미만으로 떨어짐을 보였습니다.
iFAN: Inference-Aware Learning for Plain Mask Transformers플레인 마스크 트랜스포머를 위한 추론 인지 학습
iFAN은 APMR로 쿼리 경쟁을 실제 마스크 품질에 맞추고 CLSD로 중간층의 강한 예측을 최종층에 증류해, 추론 비용 증가 없이 COCO·ADE20K 등에서 plain mask transformer의 분할 성능을 끌어올립니다.
💡 비전에서는 정적 관측만으로 관절 구조를 복원하거나, 퍼즐로 기하 추론의 한계를 드러내고, 학습-추론 불일치를 줄여 분할 성능을 높이는 등 '보이는 것 이상을 추론하는 능력'이 핵심 주제로 떠오릅니다. 특히 현재 VLM의 기하적 일관성 부족은 향후 구조적 inductive bias의 필요성을 강하게 시사합니다.
📄Training & Optimization2
AdvFD: Boosting Visual Generation via Adversarial Fr'echet Distance Loss적대적 프레셰 거리 손실로 끌어올리는 시각 생성
AdvFD는 고정 특징공간 때문에 생기는 Fréchet hacking을 막기 위해 adversarially learned representation을 FD-Loss에 결합해, 단일 지표 최적화가 아닌 더 일반화된 시각 품질 향상을 노린 생성기 후학습 손실을 제안합니다.
UniMoMo: Expert Merging-Based MoE Acceleration for Large Recommendation Models전문가 병합으로 가속하는 대규모 추천 MoE
UniMoMo는 추천용 MoE를 기능적 유사도 기반 constrained graph coarsening으로 후처리 압축하고, 고트래픽 expert 병합을 제한하는 보호 메커니즘으로 명시적 expert 예산 아래 성능 손실을 최소화합니다.
💡 최적화 연구는 단순 압축이나 지표 최적화를 넘어, 잘못된 목표에 과적합하는 현상 자체를 제어하는 방향으로 진화하고 있습니다. 생성 모델의 Fréchet hacking 방지와 추천 MoE의 기능 기반 expert 병합은 모두 '무엇을 보존하며 줄일 것인가'를 더 정교하게 다루려는 시도로 읽힙니다.