오늘의 한줄
오늘은 멀티모달 모델이 실시간 상호작용·3D 월드 생성·문서 파싱까지 확장되는 흐름과, 에이전트 시스템이 하네스·트랜잭션·안전 벤치마크를 통해 본격적으로 시스템 공학 단계로 넘어가는 흐름이 두드러집니다. 동시에 픽셀 공간 생성, 비디오 잠재공간, 엣지 MoE 서빙처럼 모델 자체보다 실행 방식과 표현 공간을 재설계하는 연구도 강하게 보입니다.
📄Multimodal & Generative5
MOSS-VL Technical ReportMOSS-VL 기술 보고서⭐ 436
MOSS-VL은 게이트드 크로스어텐션과 합성 상호작용 코퍼스, 경량 최종 커리큘럼으로 실시간 시각-언어 상호작용을 구현해 OmniMMI Proactive Alerting에서 66.0점으로 최고 오픈소스 기준선을 크게 앞섰습니다.
MegaParts: Scaling Part-Aware 3D Object Generation to 300 Parts via Token-Efficient Autoregressive ModelingMegaParts: 최대 300개 파트까지 확장하는 파트 인식 3D 객체 생성⭐ 513
MegaParts는 토큰 효율적 VQ 형태 토크나이저와 구조화된 자기회귀 생성을 결합해 최대 300개 파트의 복잡한 3D 객체를 더 적은 토큰과 메모리로 생성하도록 확장했습니다.
VibeWorlding: Can Multimodal Agents Construct 3D Open Worlds End-to-End?VibeWorlding: 멀티모달 에이전트는 3D 오픈 월드를 엔드투엔드로 만들 수 있을까⭐ 48
VibeWorlding은 2,616개 3D 자산과 6,828개 질의로 구성된 VWE-BENCH와 멀티모달 RL 기반 Gym을 통해 3D 오픈월드 생성 에이전트를 벤치마킹하고 학습하는 통합 프레임워크를 제시했습니다.
💡 멀티모달 생성은 이제 단순 생성 품질보다 실시간 상호작용, 3D 월드 조립, 비디오 잠재공간, 워크플로 라우팅처럼 실행 구조 자체를 다루는 방향으로 이동하고 있습니다. 특히 같은 생성 모델이라도 어떤 표현 공간과 어떤 파이프라인을 선택하느냐가 성능과 비용을 함께 좌우한다는 점이 분명해졌습니다.
📄Robotics & RL2
Embodied-Navigator: Point, Think, Memorize, and Align for Efficient NavigationEmbodied-Navigator: 가리키고, 생각하고, 기억하고, 정렬하는 효율적 내비게이션⭐ 215
TAMP-Nav는 픽셀 선택을 3D 액션으로 투영하는 Point 설계와 선택적 추론·앵커 메모리를 결합해 VLM의 2D 사전학습 편향을 살리면서 embodied navigation 효율을 높였습니다.
ClawGym II: Exploring Black-Box RL on Agent HarnessClawGym II: 에이전트 하네스 위의 블랙박스 강화학습 탐색⭐ 35
ClawGym II는 샌드박스 실행 인프라와 모델 호출 프록시, prefix tree 재구성으로 복잡한 하네스 위 다중 턴 궤적을 복원하고 PPO·GRPO를 안정적으로 적용하는 블랙박스 RL 프레임워크를 제안했습니다.
💡 로보틱스·RL 쪽에서는 VLM을 억지로 행동 공간에 맞추기보다 2D priors를 살리는 인터페이스 설계와, 복잡한 하네스 위에서 학습 가능한 블랙박스 최적화가 핵심 화두로 보입니다. 즉 모델 자체보다 행동 표현과 학습 인프라가 embodied 성능을 크게 좌우합니다.
💻Code & Agents6
HarnessEval-W: Agentifying the Evaluation of Visual WorldsHarnessEval-W: 시각 세계 평가의 에이전트화⭐ 132
HarnessEval-W는 월드 모델 롤아웃 평가를 고정 점수 대신 하위 에이전트 분해와 근거 검증 체인으로 수행해 물리·인과·상태 오류를 설명 가능한 방식으로 판정하는 평가 파이프라인을 제안했습니다.
UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context DemonstrationsUI-Mate: 인컨텍스트 시연으로 오픈웨이트 GUI 에이전트 고도화⭐ 39
UI-Mate는 환경 기반 폐루프 데이터 엔진과 멀티모달 시연을 서브태스크 워크플로로 바꾸는 학습 방식으로 오픈웨이트 GUI 에이전트의 실행 신뢰성과 일반화를 끌어올렸습니다.
ASI-Bench: At the Dawn of Artificial SuperintelligenceASI-Bench: 인공 초지능의 여명에서⭐ 32
ASI-Bench는 40여 명 전문가와 31,000시간 이상을 투입해 11개 과학 분야 60개 프로젝트 단위 과제를 구축하고, 인간의 방법론 가이드를 점진적으로 제거하며 AI의 자율 연구 능력을 평가합니다.
💡 에이전트 연구는 이제 프롬프트 기법을 넘어 런타임, 평가, 안전, 트랜잭션 보장까지 포함한 시스템 공학 단계로 진입했습니다. 하네스 스케일링이 실제 성능을 크게 끌어올리는 동시에, 그만큼 안전성과 상태 일관성을 위한 운영 원칙과 벤치마크가 필수라는 점을 보여줍니다.
📄Training & Optimization4
FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive ExecutionFreeToken: 대역폭 적응형 실행을 갖춘 엣지 네이티브 MoE 서빙⭐ 48
FreeToken은 CPU-GPU 실행, expert 상주, 상태 재사용, 메모리 관리를 통합 설계해 8GB 노트북 GPU부터 워크스테이션까지 20개 이상 MoE 모델과 에이전트 워크로드를 엣지에서 유연하게 서빙합니다.
Energy-Guided Flow Matching에너지 유도 플로우 매칭⭐ 16
EG-FM은 고정 종점 대신 열 커널로 점진적으로 선명해지는 moving endpoint와 이미지별 에너지 스케줄링을 도입해 백본 변경 없이 ImageNet 생성 FID를 일관되게 낮췄습니다.
Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU RequirementsAgentic ESOpt: 최소 GPU로 장기 지평 LLM 에이전트 미세조정⭐ 20
Agentic ESOpt는 장기 지평 에이전트 튜닝에서 RL 대신 진화전략을 제안해 추론 수준 메모리만으로 대형 LLM 전파라미터 최적화와 궤적 단위 credit assignment를 가능하게 했습니다.
💡 학습·최적화 분야에서는 거대한 모델을 더 크게 만드는 것보다, 제한된 자원에서 어떻게 튜닝하고 서빙하며 표준화할지를 다루는 연구가 강세입니다. ES 기반 에이전트 튜닝, 엣지 MoE 서빙, 재현 가능한 벤치마크는 실전 배치 가능성을 높이는 방향으로 수렴합니다.
👁️Computer Vision2
PixRestore: Unified Image Restoration via Pixel Diffusion TransformerPixRestore: 픽셀 디퓨전 트랜스포머로 통합 이미지 복원⭐ 32
PixRestore는 VAE 없이 픽셀 공간 DiT를 처음부터 학습하고 LQ-HQ DINO 유사도로 신뢰도 높은 특징만 조건으로 융합해 다양한 열화에서 세부 복원력과 내용 일관성을 함께 개선했습니다.
NaviDC-OCR: Navigating Document Parsing Across Digital and Camera-Captured DocumentsNaviDC-OCR: 디지털·촬영 문서를 아우르는 문서 파싱⭐ 20
NaviDC-OCR는 변형 인지 학습, 복잡 레이아웃용 적응 샘플링, 내용-구조 분리 학습을 결합해 디지털 문서와 카메라 촬영 문서 모두에서 VLM 기반 문서 파싱의 왜곡·환각 문제를 완화했습니다.
💡 비전에서는 범용 사전학습 모델을 그대로 쓰기보다 복원·문서 파싱처럼 세부 구조가 중요한 문제에 맞춘 픽셀 공간 모델링과 구조 인지 학습이 다시 중요해지고 있습니다. 생성 priors의 힘은 유지하되, 세밀한 정보 손실과 환각을 통제하려는 흐름이 뚜렷합니다.
🗣️Language Models1
Large Discovery Models: Empirically-grounded Model-Based Open-Ended SearchLarge Discovery Models: 경험적으로 정초된 모델 기반 오픈엔디드 탐색⭐ 15
Large Discovery Model은 생성 모델과 베이지안 비모수 보상 대리모델을 결합해 불확실성을 반영한 후보 생성·정제·선택을 수행하며 분자·단백질·프로그램 같은 개방형 탐색 문제를 겨냥합니다.
💡 언어모델 기반 탐색은 더 이상 모델의 자기 확신을 믿지 않고, 외부 대리모델과 불확실성 추정을 결합해 실제 실험 효율을 높이는 쪽으로 가고 있습니다. 특히 발견형 과제에서는 생성 능력보다 검증 가능한 가치 추정이 점점 더 중요해집니다.