오늘의 한줄
오늘은 로봇·에이전트가 긴 맥락을 어떻게 기억하고, 계획하고, 수정할지에 대한 연구가 특히 두드러졌습니다. 동시에 비디오 생성에서는 메모리·보상·후학습 효율화가 핵심 축으로 떠오르며, 평가 인프라와 벤치마크도 빠르게 정교해지고 있습니다.
🗣️Language Models2
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party DialogueSpeakerMem-R1: 다자 대화를 위한 화자 중심 이중 메모리⭐ 70
SpeakerMem-R1은 화자 라벨 원문 기록과 인물·그룹 상태를 이중 트랙으로 저장해 다자 대화의 발화 귀속과 관계 추론, 시간에 따른 상태 복원을 함께 개선하는 메모리 구조를 제안합니다.
Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment FailuresJust Ask Jev: 정렬 실패를 제로샷 탐지하는 보정형 RL 의사결정⭐ 3
Jev와 RLCDAlignBench는 환각·탈옥·기만 등 10종 정렬 실패를 단일 호출의 보정 확률로 판별하는 설정을 평가해, 생성형 판정기보다 효율적인 안전성 탐지기의 가능성을 보여줍니다.
💡 언어 모델 연구는 단순한 다음 토큰 예측을 넘어, 다자 관계 기억이나 정렬 실패 탐지처럼 구조화된 상태 추적과 보정된 판단으로 이동하고 있습니다. 앞으로는 '무엇을 생성하느냐'보다 '무엇을 안정적으로 구분하고 유지하느냐'가 더 중요한 경쟁력이 될 가능성이 큽니다.
📄Robotics & RL5
X-Planner: Event-Structured Task Planning for Embodied IntelligenceX-Planner: 구현형 지능을 위한 이벤트 구조 기반 과업 계획⭐ 108
X-Planner는 이산 이벤트 상태와 연속 잠재 CoT를 함께 쓰는 이벤트 구조 계획기와 Staircase Decoding을 도입해, 장기 로봇 조작에서 더 해석 가능하고 효율적인 중간 계획 표현을 제공합니다.
MemBodied: Recurrent Associative Memory for Vision-Language-Action ModelsMemBodied: 비전-언어-행동 모델을 위한 순환 연상 메모리⭐ 9
MemBodied는 고정 크기 연상 상태와 초기 장면 앵커를 결합한 에피소드 메모리로 과거 관측 전체를 넣지 않고도 RMBench 5개 메모리 과제에서 평균 7.6% 성능 향상을 달성했습니다.
PackLab: A Comprehensive Framework for Developing, Training, and Evaluating MLLMs in Robotic Bin PackingPackLab: 로봇 빈 패킹용 MLLM 개발·학습·평가 통합 프레임워크⭐ 8
PackLab은 물리 시뮬레이션 기반 데이터 생성기와 패킹 특화 MLLM인 PackLab-VLM을 함께 제공해, 이질적 빈 패킹 환경에서 폐루프 순차 의사결정을 학습·평가할 수 있게 합니다.
💡 로보틱스에서는 메모리, 중간 계획 표현, 시뮬레이션, 폐루프 수정까지 장기 과업 수행의 전 주기를 시스템적으로 다루는 흐름이 뚜렷합니다. 특히 VLA/VLM 기반 제어가 실제로 쓸 만해지려면 행동 전 리허설과 고정 크기 메모리 같은 실행 친화적 장치가 필수라는 점이 반복해서 확인됩니다.
📄Multimodal & Generative4
Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical WorldSpatial-Interactor: 관측 가능한 물리 세계와의 상호작용으로 배우는 공간 추론⭐ 45
Spatial-Interactor는 행동 전후 관측을 활용한 3단계 커리큘럼으로 VLM이 물체 이동과 시점 변화에 따른 상태 전이를 학습하게 해, 동적 환경의 공간 추론 능력을 직접 끌어올립니다.
The Past Frames the Future: Memory for Autoregressive Video Generation과거가 미래를 만든다: 자기회귀 비디오 생성을 위한 메모리⭐ 50
이 논문은 자기회귀 비디오 생성에서 엔터티 정체성·동적 상태·개입 이력을 유지하는 메모리 문제를 체계화하고, 장기 시퀀스 생성의 병목과 설계 축을 정리한 종합 리뷰를 제공합니다.
OmniEcho: Spatial Audio Understanding for Embodied AgentsOmniEcho: 구현형 에이전트를 위한 공간 오디오 이해⭐ 10
OmniEcho는 197개 실세계 장면과 FOA 오디오를 포함한 OmniEchoBench 및 공간 인지형 옴니모달 모델을 제시해, embodied 환경에서 공간 오디오-비전 이해와 내비게이션 평가 기반을 마련했습니다.
💡 멀티모달·생성 연구는 정적 인식보다 상호작용, 상태 전이, 물리 상식, 장기 메모리처럼 시간 축을 이해하는 방향으로 확장되고 있습니다. 결국 강한 모델은 더 많은 모달리티를 붙이는 것만이 아니라, 시간에 따라 세계가 어떻게 변하는지 일관되게 추적하는 능력에서 갈릴 것으로 보입니다.
💻Code & Agents5
EmbodiedSWE: Coding Agents for Long Horizon Dexterous RoboticsEmbodiedSWE: 장기 정교 조작을 위한 코딩 에이전트⭐ 36
EmbodiedSWE는 코딩 에이전트가 긴 접촉 중심 로봇 과제를 풀 수 있음을 보이고, 단일 해법을 대규모 다양 궤적으로 확장하는 EMBODIEDSWE-GEN으로 VLA 학습 성능과 일반화를 높였습니다.
Coding Agents for Generalized Task and Motion Planning Problems일반화된 작업·모션 계획 문제를 위한 코딩 에이전트⭐ 11
이 연구는 Claude Code와 Codex가 KinDER·PDDLStream의 28개 환경에서 일반화 가능한 TAMP 프로그램을 합성할 수 있음을 보여주며, TAMP 전용 엔지니어링의 자동화 가능성을 제시합니다.
IterSynth: Rethinking Deep Search Agents via Role-Decoupled Iterative SynthesisIterSynth: 역할 분리형 반복 합성으로 다시 보는 딥서치 에이전트⭐ 4
IterSynth는 Planner와 Synthesizer를 분리하고 요약 상태를 지속 메모리로 쓰는 딥서치 패러다임과 RDPO 학습법을 제안해, ReAct식 에이전트의 역할 혼선과 컨텍스트 오염을 줄입니다.
💡 에이전트 연구는 역할 분리, 상태 편집, 동적 평가처럼 '에이전트가 틀렸을 때 어떻게 바로잡고 진짜 실력을 검증할 것인가'에 집중하고 있습니다. 코딩 에이전트가 로봇 계획까지 확장되는 흐름을 보면, 앞으로는 문제 해결 능력뿐 아니라 일반화와 평가 신뢰성이 핵심 기준이 될 것입니다.
📄Training & Optimization3
AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video GenerationAV-GRPO: 오디오-비디오 공동 생성을 위한 모달리티 고정 분리형 디퓨전 강화학습⭐ 12
AV-GRPO는 모달리티 고정 롤아웃, 고정 타워 최적화, 동기화 중심 상대 보상으로 오디오·비디오 공동 생성의 신호 얽힘과 비용 문제를 줄여 품질·정렬·동기화를 함께 개선합니다.
RewardVerse: Rubric-Guided Policy Optimization for Video Reward ModelingRewardVerse: 비디오 보상 모델링을 위한 루브릭 기반 정책 최적화⭐ 4
RewardVerse는 평가 질의를 동적 루브릭으로 먼저 구조화한 뒤 점수화해 scalar drift를 줄이고, Rubric-Guided 최적화로 비디오 RL용 보상 모델의 안정성과 신뢰도를 높입니다.
ViRDM: Taming Representation Distribution Matching for Few-Step Causal Video GenerationViRDM: 소수 스텝 인과 비디오 생성을 위한 표현 분포 정합 제어⭐ 5
ViRDM은 teacher·critic 없이 사전 계산된 목표 분포에 생성기만 맞추는 후학습 레시피로, few-step 인과 비디오 디퓨전의 메모리 병목과 시간 동역학 제약을 해결해 저지연 생성을 단순화합니다.
💡 후학습과 보상 설계는 멀티모달 생성의 병목을 푸는 핵심 레버로 자리 잡고 있으며, 특히 분리된 신호 처리와 명시적 루브릭이 안정성을 크게 좌우하고 있습니다. 무거운 teacher-critic 스택 없이도 효율적으로 성능을 끌어올리려는 시도가 늘면서, 학습 파이프라인 자체의 경량화 경쟁도 본격화되고 있습니다.
👁️Computer Vision1
RGBD20K: A Large-Scale Benchmark for RGB-D Semantic SegmentationRGBD20K: 대규모 RGB-D 의미 분할 벤치마크⭐ 4
RGBD20K는 2만 장 RGB-D 이미지, 160개 세분 클래스, 정제된 고품질 라벨을 제공해 기존 NYUv2·SUN RGB-D보다 훨씬 넓은 의미 공간에서 더 강건한 RGB-D 분할 연구를 가능하게 합니다.
💡 비전 분야에서는 여전히 좋은 데이터셋이 강한 모델의 출발점임을 보여줍니다. RGBD20K처럼 더 큰 규모와 더 깨끗한 라벨, 더 넓은 클래스 공간을 갖춘 벤치마크가 등장하면서 RGB-D 이해의 일반화 성능을 다시 끌어올릴 기반이 마련되고 있습니다.