오늘의 한줄
오늘은 에이전트가 실제 디지털 환경과 로봇 환경에서 더 잘 계획하고, 검증하고, 재사용 가능한 스킬을 축적하는 흐름이 두드러집니다. 동시에 멀티모달 상호작용과 생성 평가, 그리고 LLM의 메모리·정렬·서빙 품질을 다루는 실용 연구도 함께 진전되고 있습니다.
💻Code & Agents8
EvoOntology: A Self-Evolving Ontology Layer for Data Agents데이터 에이전트를 위한 자기 진화형 온톨로지 레이어⭐ 245
EvoOntology는 스키마·콘텐츠·도구 계층을 갖춘 MCP 기반 온톨로지 서버와 builder agent, self-evolution loop를 통해 이질적 데이터 소스에 대한 데이터 에이전트의 탐색성과 적응성을 함께 높인 프레임워크입니다.
RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents하이브리드 컴퓨터 사용 에이전트를 위한 확장 가능하고 검증 가능한 환경⭐ 32
RecreationWorld는 GUI 조작과 코딩을 오가는 하이브리드 CUA를 위해 Ubuntu·macOS·Windows·Android·Web 5개 플랫폼의 재현 가능한 환경과 실행 기반 보상을 제공해 OOD 과제 전반의 성능 향상을 이끌었습니다.
APort Vault: Benchmarking AI Agent Payment Authorization with the Open Agent Passport오픈 에이전트 패스포트로 측정한 AI 에이전트 결제 승인 벤치마크⭐ 25
APort Vault는 4,371개 인간 작성 공격과 225,964회 평가로 결제 에이전트의 승인 취약성을 계량화했으며, OAP 기반 결정론적 사전 점검이 정책 수준에 따라 요청률을 크게 바꾸는 점을 보여줬습니다.
💡 에이전트 연구는 이제 단순한 프롬프트 엔지니어링을 넘어, 스킬 메모리·온톨로지·보안 정책·실행 환경까지 외부 구조를 함께 설계하는 방향으로 가고 있습니다. 특히 GUI와 코드, BI와 디자인처럼 실제 업무 흐름을 통합한 벤치마크와 인프라가 늘면서, 에이전트의 성능보다 운영 가능성과 검증 가능성이 더 중요해지고 있습니다.
📄Multimodal & Generative3
OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue네이티브 오디오-비주얼 대화를 위한 합성·벤치마킹·학습⭐ 29
OmniVChat은 별도 ASR·캡셔닝 없이 오디오와 비디오만으로 질의하는 대화 설정을 정의하고, 합성 데이터와 평가 체계를 함께 제시해 네이티브 오디오-비주얼 대화 연구의 데이터·평가 병목을 푸는 기반을 마련했습니다.
Refinement Is Inherently Editable: Training-Free Prompt-to-Prompt Image Editing with Generative Refinement Network정제 과정 자체를 편집으로 활용하는 학습 없는 프롬프트 기반 이미지 편집⭐ 7
RefineEdit는 Generative Refinement Network 위에서 두 분기의 비트 확률 차이로 편집 위치를 동적으로 고르는 학습 없는 편집 기법으로, 수정 대상은 바꾸고 비관련 영역은 보존하는 prompt-to-prompt 편집을 강화했습니다.
OmniVBench: A Benchmark and Large-Scale Dataset for Omni Reference-to-Video Generation옴니 레퍼런스 비디오 생성을 위한 벤치마크와 대규모 데이터셋
OmniVBench는 콘텐츠·모션·스타일·구조·서사·멀티레퍼런스를 아우르는 7개 과제군 18개 세부 과제로 omni R2V를 평가하고, factor-grounded 프로토콜과 대규모 Omni-R2V 데이터셋을 함께 제공합니다.
💡 멀티모달 생성·대화는 입력 채널을 더 자연스럽게 통합하는 동시에, 그 성능을 제대로 측정할 데이터와 평가 기준을 함께 만드는 단계에 들어섰습니다. 오디오-비주얼 대화와 omni R2V, 그리고 정교한 편집 기법은 생성 품질 자체보다 제어 가능성과 실제 사용성을 더 전면에 내세웁니다.
🗣️Language Models3
MoME: Mixture-of-Memory Embeddings for Context-Aware Sparse Lookup문맥 인지형 희소 조회를 위한 메모리 임베딩 혼합⭐ 6
MoME는 토큰당 단일 메모리 행 대신 여러 슬롯과 hidden-state 게이팅을 도입해 다의어의 문맥별 의미를 분리하며, 여러 소형 LLM 사전학습 설정에서 기존 memory embedding 대비 더 나은 성능과 확장 추세를 보였습니다.
When AI Reviews Train AI Reviewers: Scientific-Judgment Collapse and MitigationAI 리뷰가 AI 리뷰어를 훈련할 때: 과학적 판단 붕괴와 완화
이 연구는 모델 생성 리뷰를 다시 학습에 섞으면 평점 분포와 의미 다양성이 압축되는 scientific-judgment collapse가 발생함을 보였고, 이를 줄이기 위한 오픈소스 리뷰 시스템 TrustReviewer를 제안했습니다.
Geometry of Values: Task Vector Composition for Ethical Preference Alignment in Language Models언어모델의 윤리 선호 정렬을 위한 가치의 기하와 태스크 벡터 조합⭐ 1
이 논문은 5개 언어 1.2만 건 가치 충돌 데이터셋으로 LLM의 윤리 편향을 측정하고, task vector composition으로 정직·정의·자율성 같은 추상 가치 정렬이 단순 데이터 상관 학습을 넘어 이전될 수 있음을 탐구했습니다.
💡 LLM 연구는 모델을 더 크게 만드는 것보다, 메모리 조회 방식과 가치 정렬, 재귀적 학습 데이터의 부작용처럼 내부 동작과 사회적 사용 맥락을 정교하게 다루는 쪽으로 이동하고 있습니다. 특히 synthetic data를 다시 학습하는 루프의 위험과 문맥 인지형 메모리의 이점은 앞으로의 데이터·아키텍처 설계에 직접적인 시사점을 줍니다.
📄Training & Optimization1
SiliconBench: Speed, Memory, and Fidelity for LLM Serving on Unified-Memory Desktops통합 메모리 데스크톱에서의 LLM 서빙 속도·메모리·충실도 벤치마크⭐ 5
SiliconBench는 Apple Silicon 기반 9개 서빙 엔진을 속도뿐 아니라 메모리 헤드룸과 출력 충실도까지 함께 비교해, 로컬 LLM 서빙에서 빠른 처리량이 곧 안정적 운영을 뜻하지는 않음을 보여줍니다.
💡 서빙과 최적화는 이제 단순 속도 경쟁이 아니라 메모리 여유와 출력 충실도까지 포함한 시스템 품질 문제로 재정의되고 있습니다. 실제 배포 환경에서는 빠른 엔진보다 예측 가능한 자원 사용과 품질 유지가 더 큰 차별점이 된다는 점을 잘 보여줍니다.
📄Robotics & RL4
Learning Foresight without Explicit Trajectories for 3D Diffusion Policies명시적 궤적 없이 선견지명을 학습하는 3D 디퓨전 정책⭐ 2
Movement Trend Guidance는 짧은 관측 이력에서 상호작용 진화를 압축한 latent를 미래 조건으로 넣어, DP3에 3.52% 파라미터만 추가하고도 명시적 계획 없이 장기 조작의 예측력을 높였습니다.
From Pretraining to Proficiency: Real-World Subtask RL for Long-Horizon Manipulation with Minimal Human Intervention최소한의 인간 개입으로 장기 조작을 숙련시키는 실세계 서브태스크 강화학습
PARTS는 사전학습 로봇 정책이 실패하는 병목 서브태스크에만 residual correction과 지역 보상을 집중하는 RL 프레임워크로, 드문 전체 성공 신호 없이도 실세계 장기 조작 적응을 가능하게 했습니다.
DeformSmith: Physics Harness-Guided Hierarchical Generation of Deformable Assets for Robot Manipulation로봇 조작을 위한 물리 하네스 기반 계층형 변형 자산 생성⭐ 2
DeformSmith는 텍스트나 단일 이미지에서 시작해 형상·재질·물성·상호작용을 계층적으로 생성하고 물리 시뮬레이션과 조작 피드백으로 반복 검증해, 로봇 조작용 변형 객체 자산을 자동 구축합니다.
💡 로보틱스는 장기 과제를 풀기 위해 명시적 계획, 서브태스크 중심 RL, 물리 기반 자산 생성처럼 중간 구조를 더 적극적으로 도입하고 있습니다. 공통적으로 전체 문제를 한 번에 학습하기보다, 미래 예측·검증·환경 구성 요소를 분해해 신뢰성을 높이는 접근이 강해지고 있습니다.
👁️Computer Vision1
Training-Adaptive Convolutional Sparse Coding via Information Bottleneck for Robust Visual Representation정보 병목 기반 학습 적응형 합성곱 희소 코딩으로 강건한 시각 표현 학습⭐ 0
TA-CSC는 FISTA 전개형 CSC에서 sparsity coefficient를 학습 가능한 변수로 바꾸고 정보 병목 관점으로 압축-보존 균형을 자동 조절해, 더 강건한 시각 표현과 라벨 없는 사후 압축 제어를 가능하게 했습니다.
💡 비전 표현 학습에서는 거대한 백본 경쟁과 별개로, 압축과 강건성을 직접 제어하는 구조적 표현 기법이 다시 주목받고 있습니다. 수동 하이퍼파라미터를 학습 가능한 정보 병목으로 바꾸는 흐름은 실전 배포에서 더 해석 가능하고 안정적인 표현 학습으로 이어질 가능성이 큽니다.