오늘의 한줄

오늘 논문들은 로봇·에이전트 시스템이 장기 맥락을 다루는 방식과, 멀티모달 생성 모델을 더 안정적으로 학습·평가하는 방향에 집중합니다. 특히 메모리 구조화, 역할 분리형 에이전트 설계, 그리고 비디오·오디오비디오 생성의 RL 후학습 인프라가 두드러집니다.

🗣️Language Models2

SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party DialogueSpeakerMem-R1: 다자 대화를 위한 화자 중심 이중 트랙 메모리⭐ 70

SpeakerMem-R1은 화자별 원문 메시지와 인물·그룹 상태를 이중 트랙으로 저장해 다자 대화의 발화 귀속과 관계 추론 문제를 함께 해결하는 장기 메모리 구조를 제안합니다.

Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment FailuresJust Ask Jev: AI 정렬 실패를 제로샷 탐지하는 보정형 RL 의사결정⭐ 3

이 연구는 RLCD로 학습된 Jev를 44개 벤치마크·10종 정렬 실패 유형에서 평가해, 단일 호출로 다중 기준 확률을 산출하는 보정형 탐지기의 실효성을 검증합니다.

💡 언어 모델 연구는 단순한 텍스트 생성보다 관계 구조와 보정된 판단을 어떻게 다루느냐로 이동하고 있습니다. 다자 대화 메모리와 정렬 실패 탐지는 모두, LLM이 맥락의 구조를 잃지 않고 신뢰도까지 표현해야 실전성이 높아진다는 점을 보여줍니다.

📄Robotics & RL5

X-Planner: Event-Structured Task Planning for Embodied IntelligenceX-Planner: 체화 지능을 위한 이벤트 구조 기반 태스크 플래닝⭐ 108

X-Planner는 해석 가능한 이산 이벤트 상태와 Staircase Decoding 기반 잠재 계획을 함께 사용하는 플래닝 프런트엔드로, 장기 조작에서 중간 추론 구조를 명시적으로 학습합니다.

MemBodied: Recurrent Associative Memory for Vision-Language-Action ModelsMemBodied: 비전-언어-행동 모델을 위한 순환 연관 메모리⭐ 9

MemBodied는 연관 상태와 초기 장면 앵커로 구성된 고정 크기 에피소드 메모리를 도입해, 과거 관측을 직접 누적하지 않고도 메모리 의존 조작 과제에서 성능과 지연을 함께 개선합니다.

PackLab: A Comprehensive Framework for Developing, Training, and Evaluating MLLMs in Robotic Bin PackingPackLab: 로봇 빈 패킹용 MLLM 개발·학습·평가 통합 프레임워크⭐ 8

PackLab은 물리 기반 시뮬레이터와 패킹 특화 MLLM인 PackLab-VLM을 결합해, 이질적 패킹 설정에서 폐루프 순차 의사결정을 학습·평가하는 통합 프레임워크를 제안합니다.

💡 로보틱스에서는 장기 조작을 위해 플래닝, 메모리, 시뮬레이션, 실행 전 리허설까지 중간 구조를 명시화하는 흐름이 강합니다. VLA를 더 크게 만드는 것만으로는 부족하며, 상태 유지와 폐루프 수정 능력이 범용성의 핵심으로 보입니다.

📄Multimodal & Generative5

Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical WorldSpatial-Interactor: 관측 가능한 물리 세계와의 상호작용으로 배우는 공간 추론⭐ 45

Spatial-Interactor는 상호작용 궤적을 활용한 3단계 커리큘럼으로 VLM이 물체 이동과 시점 변화에 따른 상태 전이를 학습하게 만들어 동적 환경의 공간 추론을 강화합니다.

The Past Frames the Future: Memory for Autoregressive Video Generation과거가 미래를 규정한다: 자기회귀 비디오 생성을 위한 메모리⭐ 50

이 논문은 자기회귀 비디오 생성에서 정체성·동적 상태·개입 이력을 유지하는 메모리 문제를 체계화하고, 장기 생성의 핵심 병목을 정리한 종합 리뷰를 제공합니다.

AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video GenerationAV-GRPO: 오디오-비디오 공동 생성을 위한 모달리티 앵커 기반 분리형 확산 강화학습⭐ 12

AV-GRPO는 모달리티 앵커 롤아웃, frozen-tower 최적화, 동기화 중심 보상 정규화를 결합해 오디오·비디오 공동 생성의 품질 정렬과 동기화 학습을 안정화합니다.

💡 멀티모달·생성 분야는 동적 세계를 더 잘 모델링하기 위해 공간 상태 전이, 장기 메모리, 객체 영속성, 오디오-비디오 동기화 같은 물리적 일관성 문제를 정면으로 다루고 있습니다. 생성 품질 경쟁이 이제는 ‘그럴듯함’에서 ‘시간에 따라 맞는 세계’로 확장되는 흐름입니다.

💻Code & Agents5

EmbodiedSWE: Coding Agents for Long Horizon Dexterous RoboticsEmbodiedSWE: 장기 지평 정교 조작을 위한 코딩 에이전트⭐ 36

EmbodiedSWE는 최대 30분 길이의 정교 조작 벤치마크와 에이전트 해법 증강 파이프라인 EMBODIEDSWE-GEN을 제안해, 코딩 에이전트 해법을 VLA 학습용 대규모 시연 데이터로 전환합니다.

Coding Agents for Generalized Task and Motion Planning Problems일반화된 태스크·모션 플래닝을 위한 코딩 에이전트⭐ 11

이 연구는 코딩 에이전트가 시뮬레이터 상호작용을 통해 일반화 가능한 TAMP 프로그램을 합성할 수 있는지 평가하며, 기존 TAMP 전용 엔지니어링을 자동화할 가능성을 보여줍니다.

IterSynth: Rethinking Deep Search Agents via Role-Decoupled Iterative SynthesisIterSynth: 역할 분리형 반복 합성으로 다시 보는 딥서치 에이전트⭐ 4

IterSynth는 Planner와 Synthesizer를 분리하고 요약 상태를 지속 메모리로 사용하는 구조와 RDPO를 결합해, ReAct형 딥서치 에이전트의 문맥 오염과 역할 혼잡을 줄입니다.

💡 에이전트 연구는 역할 분리, 상태 편집, 동적 평가환경처럼 추론 과정 자체를 구조화하고 검증하는 방향으로 진화하고 있습니다. 특히 코딩 에이전트는 성능 향상뿐 아니라, 벤치마크 암기와 진짜 일반화 능력을 구분하는 평가 설계가 점점 중요해지고 있습니다.

👁️Computer Vision1

RGBD20K: A Large-Scale Benchmark for RGB-D Semantic SegmentationRGBD20K: 대규모 RGB-D 의미 분할 벤치마크⭐ 4

RGBD20K는 2만 장 RGB-D 이미지와 160개 세분 클래스, 정제된 고품질 라벨을 제공해 기존 NYUv2·SUN RGB-D보다 훨씬 넓은 의미 공간의 분할 모델 학습을 가능하게 합니다.

💡 비전 분야에서는 여전히 데이터셋 품질과 범위가 성능 상한을 결정한다는 점이 분명합니다. RGB-D처럼 상대적으로 성숙한 문제에서도 더 넓은 클래스 공간과 정제된 라벨이 다음 단계의 일반화 성능을 여는 핵심 인프라로 보입니다.

📄Training & Optimization2

RewardVerse: Rubric-Guided Policy Optimization for Video Reward ModelingRewardVerse: 비디오 보상 모델링을 위한 루브릭 기반 정책 최적화⭐ 4

RewardVerse는 평가 질의와 점수 사이에 동적 루브릭을 삽입해 scalar drift를 줄이고, Rubric-Guided 최적화로 비디오 RL용 보상 모델의 안정성과 해석 가능성을 높입니다.

ViRDM: Taming Representation Distribution Matching for Few-Step Causal Video GenerationViRDM: 소수 스텝 인과 비디오 생성을 위한 표현 분포 정합 제어⭐ 5

ViRDM은 teacher·critic 없이 사전 계산된 목표 분포만으로 few-step 인과 비디오 생성기를 후학습하는 레시피를 제안해, 저지연 비디오 확산의 비용을 크게 낮춥니다.

💡 학습·최적화 연구는 더 비싼 teacher나 불안정한 단일 스칼라 보상에 의존하지 않고도 생성 모델을 후학습하려는 시도가 두드러집니다. 즉, 비용은 낮추고 신호는 더 구조화하는 방향이 비디오 생성 최적화의 주류가 되고 있습니다.