오늘의 한줄
오늘은 에이전트의 실행 환경과 평가 체계를 현실 세계로 확장하는 연구와, 멀티모달 생성 모델의 공간 일관성·지식 한계를 보완하는 연구가 특히 두드러집니다. 동시에 문서 AI, 압축 LLM 복구, 픽셀 디퓨전 설계처럼 실전 성능을 끌어올리는 데이터·학습·아키텍처 개선도 눈에 띕니다.
📄Multimodal & Generative7
Boogu-Image-0.1: Boosting Open-Source Unified Multimodal Understanding and GenerationBoogu-Image-0.1: 오픈소스 통합 멀티모달 이해·생성 성능 끌어올리기⭐ 755
Boogu-Image-0.1은 이해·데이터·학습 파이프라인 개선과 에이전트형 추론 스케일링을 결합해, 제한된 연산 예산에서도 텍스트-이미지 생성·편집·중영문 렌더링에서 주요 오픈소스 모델을 대체로 앞서거나 맞먹는 성능을 보였습니다.
MuScriptor: An Open Model for Multi-Instrument Music TranscriptionMuScriptor: 다중 악기 음악 전사를 위한 오픈 모델⭐ 556
MuScriptor는 합성 데이터 사전학습에 실제 음악 파인튜닝, 강화학습 후학습, 악기 존재 조건부 입력을 결합해 현실적인 다중 악기 믹스에서도 동작하는 오픈웨이트 음악 전사 모델을 공개했습니다.
MetaView: Monocular Novel View Synthesis with Scale-Aware Implicit Geometry PriorsMetaView: 스케일 인지형 암시적 기하 사전지식을 활용한 단안 신시점 합성⭐ 16
MetaView는 단일 이미지 기반 디퓨전 신시점 합성에 피드포워드 기하 인식 네트워크의 암시적 기하 priors와 metric depth를 함께 넣어, 큰 시점 변화에서도 카메라 제어와 구조 일관성을 개선했습니다.
💡 멀티모달 생성은 이제 단순 품질 경쟁을 넘어 공간 일관성, 장기 맥락, 외부 지식 연결 같은 시스템 수준의 결손을 메우는 방향으로 이동하고 있습니다. 특히 LMM·검색·기하 priors를 보조 모듈로 붙여 생성기의 약한 고리를 보완하는 설계가 점점 핵심 패턴이 되고 있습니다.
💻Code & Agents6
PalmClaw: A Native On-Device Agent Framework for Mobile PhonesPalmClaw: 모바일 폰에서 네이티브로 동작하는 온디바이스 에이전트 프레임워크⭐ 1,123
PalmClaw는 탭·스와이프 중심 GUI 자동화를 넘어 기기 기능을 명시적 도구로 노출해 세션·메모리·스킬·에이전트 루프를 휴대폰 내부에서 직접 관리하는 온디바이스 모바일 에이전트 프레임워크를 제안했습니다.
From Controlled to the Wild: Evaluation of Pentesting Agents for the Real-World통제된 환경에서 현실 세계로: 실제 침투 테스트 에이전트 평가⭐ 64
이 연구는 CTF식 성공 여부 대신 실제 취약점 발견을 기준으로, 구조화된 정답·LLM 의미 매칭·이분 매칭 채점을 결합한 현실형 펜테스팅 에이전트 평가 프로토콜을 제안했습니다.
AgentCompass: A Unified Evaluation Infrastructure for Agent CapabilitiesAgentCompass: 에이전트 역량 평가를 위한 통합 인프라⭐ 32
AgentCompass는 Benchmark·Harness·Environment를 분리한 경량 평가 인프라와 비동기 장애 복구 런타임, trajectory 분석 도구를 제공해 20개 이상 벤치마크에서 재현 가능한 에이전트 평가를 지원합니다.
💡 에이전트 연구는 ‘더 똑똑한 모델’보다 ‘어디서 어떻게 실행·평가·개선할 것인가’로 무게중심이 옮겨가고 있습니다. 모바일 온디바이스 실행, GUI 자기개선, 의료 MLE 자동화, 현실형 보안 평가처럼 도메인별 운영 인프라가 경쟁력의 본체가 되는 흐름입니다.
📄Robotics & RL2
SPEAR: A Simulator for Photorealistic Embodied AI ResearchSPEAR: 사실적인 체화형 AI 연구를 위한 시뮬레이터⭐ 529
SPEAR는 Unreal Engine 애플리케이션의 1.4만 개 이상 함수를 Python에서 제어하고 1080p 이미지를 73fps로 렌더링해, 기존 UE 기반 시뮬레이터보다 훨씬 범용적이고 빠른 체화형 AI 연구 환경을 제공합니다.
Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied IntelligenceSelf in Space: UAV 체화 지능의 자기인식과 공간 인지 벤치마킹⭐ 4
SIS-Bench는 1,646개 실제 UAV 비디오에서 만든 4,856개 QA를 통해 공간 이해뿐 아니라 에이전트 자기인식까지 평가하며, 현행 MLLM이 self-in-space 능력에서 여전히 취약함을 보여줍니다.
💡 체화형 AI에서는 더 사실적인 시뮬레이션과 더 정교한 자기-공간 인지 평가가 함께 발전하고 있습니다. 즉, 좋은 에이전트를 만들기 위해서는 학습 환경의 충실도와 벤치마크의 문제 정의 자체를 동시에 끌어올려야 한다는 메시지가 분명합니다.
👁️Computer Vision3
MonkeyOCRv2: A Visual-Text Foundation Model for Document AIMonkeyOCRv2: 문서 AI를 위한 비주얼-텍스트 파운데이션 모델⭐ 144
MonkeyOCRv2는 17개 언어 1억1300만 장 규모의 MonkeyDoc v2와 이미지-텍스트 생성+픽셀 복원 사전학습을 통해 문자 획과 레이아웃을 함께 학습하며, 5개 문서 분석 과제 전반에서 기존 인코더 교체만으로 성능을 꾸준히 개선했습니다.
PolicyShiftGuard: Benchmarking and Improving Policy-Adaptive Image GuardrailsPolicyShiftGuard: 정책 변화에 적응하는 이미지 가드레일 벤치마킹과 개선⭐ 20
PolicyShiftGuard는 이미지 자체가 아니라 주어진 정책 정의에 맞춰 위반 여부를 판단하도록, 2,000개 사례의 PolicyShiftBench와 RP-SFT+BP-Adapt의 2단계 학습법을 제안한 정책 조건부 이미지 가드레일입니다.
Let RGB Be the Language of VisionRGB를 비전의 언어로 삼자⭐ 7
RINO는 마스크·깊이맵 등 모든 시각 정보를 RGB로 통일해 다양한 비전 과제를 RGB-to-RGB 편집 문제로 바꾸고, 태스크별 파인튜닝 없이도 분할·깊이 추정·조건부 생성에서 강한 제로샷 전이를 보여줬습니다.
💡 비전 모델은 자연 이미지 중심 사전학습의 한계를 넘기 위해 문서·정책·구조화 신호처럼 더 특수한 입력과 출력을 직접 모델링하는 방향으로 진화하고 있습니다. 특히 RGB 통일 인터페이스나 정책 조건부 판별처럼, 태스크 정의 자체를 재설계해 범용성과 적응성을 함께 얻으려는 시도가 인상적입니다.
📄Training & Optimization2
Registers Matter for Pixel-Space Diffusion Transformers픽셀 공간 디퓨전 트랜스포머에서 레지스터 토큰의 중요성⭐ 9
이 연구는 DiT에는 ViT식 패치 이상치가 없더라도 레지스터 토큰이 특히 픽셀 공간 DiT의 고노이즈 구간 feature map을 더 깨끗하게 만들어 성능 향상에 기여함을 보였습니다.
ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy DistillationShortOPD: 짧은 것부터 긴 것으로 가는 온폴리시 증류로 프루닝 LLM 복구하기
ShortOPD는 프루닝 후 사라진 것이 아니라 밀려난 정답과 반복 접미사 문제에 주목해, 교사가 확인한 반복 구간을 잘라낸 short-to-long 온폴리시 증류로 생성 성능 복구 효율을 높였습니다.
💡 학습·최적화 연구는 거대한 새 모델보다 기존 아키텍처와 압축 모델의 잠재력을 끝까지 끌어내는 데 집중하고 있습니다. 레지스터 토큰이나 온폴리시 복구처럼 작은 설계 변경이 실제 생성 품질과 배포 가능성을 크게 좌우한다는 점이 실무적으로 중요합니다.