오늘의 한줄
오늘은 로봇·에이전트가 긴 맥락과 상호작용 이력을 어떻게 기억하고 활용할지에 관한 연구가 특히 두드러졌습니다. 동시에 멀티모달 생성과 비디오 보상 모델링, 그리고 코딩 에이전트 평가의 신뢰성을 높이려는 흐름도 뚜렷하게 보입니다.
🗣️Language Models2
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue다자 대화를 위한 화자 중심 이중 메모리, SpeakerMem-R1⭐ 70
SpeakerMem-R1은 화자별 원문 메시지와 인물·그룹 상태를 이중 트랙으로 저장해 다자 대화에서 발화 주체 혼동과 관계 추론 문제를 줄이고, 질의 시 엔티티·이벤트·시간 단위로 증거를 결합해 장기 대화 기억을 강화했습니다.
Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment FailuresJev에게 물어봐: 정렬 실패를 제로샷 탐지하는 보정형 RL 의사결정⭐ 3
이 연구는 RLCD로 학습된 Jev를 44개 벤치마크·10종 정렬 실패에 걸쳐 평가하는 RLCDAlignBench를 제안하며, 단일 호출로 다중 기준의 보정된 확률을 출력하는 탐지기의 실효성을 검증합니다.
💡 언어모델 연구는 단순한 장문 컨텍스트 확장보다, 다자 대화의 화자·관계 추적이나 정렬 실패의 보정된 판별처럼 구조화된 상태 표현을 어떻게 만들지에 초점이 옮겨가고 있습니다. 이제 중요한 것은 더 많이 읽는 능력보다, 무엇을 어떤 관점으로 기억하고 판단하느냐입니다.
📄Robotics & RL7
X-Planner: Event-Structured Task Planning for Embodied Intelligence체화 지능을 위한 이벤트 구조 기반 태스크 플래너, X-Planner⭐ 108
X-Planner는 해석 가능한 이산 이벤트 계획과 Staircase Decoding 기반 잠재 CoT를 함께 사용하는 계획 프런트엔드로, 장기 조작에서 오류 인식까지 포함한 구조적 추론을 더 효율적으로 학습하도록 설계했습니다.
Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical World관측 가능한 물리 세계와의 상호작용으로 배우는 공간 추론, Spatial-Interactor⭐ 45
Spatial-Interactor는 상호작용 궤적을 활용한 3단계 커리큘럼으로 VLM이 물체 이동과 시점 변화에 따른 상태 전이를 학습하게 해, 정적 공간 QA를 넘어 동적 환경의 공간 추론 능력을 키웁니다.
OmniEcho: Spatial Audio Understanding for Embodied Agents체화 에이전트를 위한 공간 오디오 이해, OmniEcho⭐ 10
OmniEcho는 197개 실세계 장면과 FOA 오디오를 담은 OmniEchoBench 및 공간 인코더를 갖춘 옴니모달 모델을 함께 제안해, 체화 에이전트의 공간 오디오-비전 이해와 내비게이션 평가 기반을 마련했습니다.
💡 로보틱스는 계획, 메모리, 시뮬레이션, 공간 오디오까지 포함한 '체화된 상태 추적'이 핵심 축으로 떠오르고 있습니다. 특히 VLM/VLA를 바로 제어에 쓰기보다, 이벤트 구조·고정 크기 메모리·리허설·시뮬레이터 같은 중간 인터페이스를 설계해 신뢰성과 장기 수행력을 끌어올리는 흐름이 강합니다.
📄Multimodal & Generative3
The Past Frames the Future: Memory for Autoregressive Video Generation과거가 미래를 만든다: 자기회귀 비디오 생성의 메모리⭐ 50
이 논문은 자기회귀 비디오 생성에서 정체성·상태·인과 변화를 장기 유지하는 메모리 문제를 체계적으로 정리하며, 제한된 컨텍스트 창을 넘는 지속 기억이 향후 월드모델 품질의 핵심 병목임을 보여줍니다.
AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation오디오-비디오 공동 생성을 위한 모달리티 앵커드 분리형 확산 RL, AV-GRPO⭐ 12
AV-GRPO는 모달리티 앵커드 롤아웃, 고정 타워 최적화, 페어드-언페어드 보상 정렬을 결합해 오디오·비디오 공동 생성의 신호 얽힘과 높은 비용 문제를 줄이는 온라인 확산 RL 프레임워크입니다.
Training Object Permanence in World Models월드모델에 물체 영속성 학습시키기⭐ 8
WROP는 150개 인지과학 영감 과제와 150만 샘플 학습 코퍼스를 구축해 비디오 월드모델의 물체 영속성 결핍을 진단하고, PWM-WROP 같은 모델이 이런 핵심 물리 priors를 학습하도록 돕습니다.
💡 멀티모달 생성은 단순 품질 경쟁을 넘어 장기 일관성, 물리 priors, 모달 간 동기화처럼 더 구조적인 능력을 요구받고 있습니다. 비디오와 오디오-비디오 생성 모두에서 '무엇을 기억하고 어떤 보상으로 학습시킬 것인가'가 성능 상한을 결정하는 단계에 들어선 모습입니다.
💻Code & Agents5
EmbodiedSWE: Coding Agents for Long Horizon Dexterous Robotics장기 지평 정교 조작을 위한 코딩 에이전트, EmbodiedSWE⭐ 36
EmbodiedSWE는 최대 30분 길이의 정교 조작 벤치마크와, 코딩 에이전트 해법을 대규모 시연 데이터로 확장하는 EMBODIEDSWE-GEN을 제안해 VLA 학습용 확장 가능한 감독 신호로 코딩 에이전트를 활용할 수 있음을 보였습니다.
Coding Agents for Generalized Task and Motion Planning Problems일반화된 태스크·모션 계획을 위한 코딩 에이전트⭐ 11
이 연구는 Claude Code와 Codex 계열이 KinDER·PDDLStream의 28개 환경에서 일반화된 TAMP 프로그램을 자동 합성할 수 있는지 평가해, TAMP 특화 엔지니어링을 코딩 에이전트로 대체할 가능성을 탐색했습니다.
IterSynth: Rethinking Deep Search Agents via Role-Decoupled Iterative Synthesis역할 분리형 반복 합성으로 다시 보는 딥서치 에이전트, IterSynth⭐ 4
IterSynth는 Planner와 Synthesizer를 분리하고 요약 상태를 지속 메모리로 쓰는 딥서치 패러다임과 RDPO를 제안해, ReAct식 에이전트의 역할 결합과 컨텍스트 오염 문제를 줄였습니다.
💡 에이전트 연구는 성능 향상과 함께 평가 신뢰성에 대한 반성이 동시에 커지고 있습니다. 역할 분리형 검색, 상태 편집형 월드모델, 코딩 에이전트의 로봇·계획 활용, 그리고 벤치마크 암기 검증까지 이어지며, 이제는 '잘 푸는가'만큼 '정말 이해해서 푸는가'가 중요해졌습니다.
👁️Computer Vision1
RGBD20K: A Large-Scale Benchmark for RGB-D Semantic Segmentation대규모 RGB-D 의미 분할 벤치마크, RGBD20K⭐ 4
RGBD20K는 2만 장 RGB-D 이미지, 160개 세분 클래스, 정제된 고품질 주석을 제공해 NYUv2·SUN RGB-D보다 훨씬 넓은 의미 공간에서 더 일반화 가능한 RGB-D 분할 모델 개발을 지원합니다.
💡 비전 쪽에서는 여전히 강한 데이터셋이 연구 진도를 결정합니다. RGBD20K처럼 더 큰 규모와 더 세밀한 클래스, 더 깨끗한 주석을 갖춘 벤치마크는 RGB-D 인식 모델의 일반화 한계를 다시 끌어올리는 기반이 됩니다.
📄Training & Optimization2
RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling비디오 보상 모델링을 위한 루브릭 유도 정책 최적화, RewardVerse⭐ 4
RewardVerse는 평가 기준을 먼저 생성한 뒤 점수화하는 동적 루브릭 기반 보상 모델로 비디오 RL의 scalar drift를 줄이고, Rubric-Guided 최적화로 더 안정적인 보상 신호를 제공합니다.
ViRDM: Taming Representation Distribution Matching for Few-Step Causal Video Generation적은 스텝 인과 비디오 생성을 위한 표현 분포 정합 제어, ViRDM⭐ 5
ViRDM은 teacher·critic 없이 사전 계산된 목표 분포에 생성기만 맞추는 비디오 후학습 레시피로, few-step 인과 비디오 생성의 메모리·최적화·시간 동역학 제약을 순차적으로 해결합니다.
💡 최적화 연구는 거대한 teacher나 불안정한 단일 스칼라 보상에 덜 의존하는 방향으로 진화하고 있습니다. 루브릭 기반 보상과 teacher-free 분포 정합처럼, 학습 신호 자체를 더 해석 가능하고 안정적으로 만드는 시도가 실전형 생성 모델 후학습의 핵심이 되고 있습니다.