오늘의 한줄
오늘은 월드모델과 장기 생성에서 메모리·동기화·실시간성을 동시에 잡으려는 연구가 특히 두드러졌습니다. 동시에 LLM 에이전트의 검증, 기억 편향, 과학적 품질 평가처럼 생성 시스템을 더 믿을 수 있게 만드는 안전성과 평가 연구도 빠르게 정교해지고 있습니다.
📄Robotics & RL3
RealtimeWAM: One-Step Asynchronous World Action ModelsRealtimeWAM: 원스텝 비동기 월드 액션 모델⭐ 2,880
RealtimeWAM은 TACD로 다단계 액션 디노이징을 1스텝으로 증류하고 비디오·액션 전문가를 비동기로 실행해, 월드 액션 모델의 추론 병목을 줄이면서 정확도를 유지하는 초고속 제어 방식을 제안했습니다.
PerturBot: Breaking Shortcut Priors in Vision-Language-Action Models with Perturbative TrainingPerturBot: 교란 학습으로 VLA 모델의 지름길 편향 깨기⭐ 6
PerturBot은 손목 카메라 교란, 의사결정 중심 캡션, 실패 궤적 재라벨링을 결합해 VLA 정책이 시각·언어·행동의 지름길 신호 대신 실제 과제 근거를 사용하도록 유도했습니다.
Beyond Future Prediction: Denoising as Generative Adaptation for Robot Control미래 예측을 넘어: 로봇 제어를 위한 생성 적응으로서의 디노이징⭐ 6
NowWAM은 미래 프레임 예측 대신 현재 관측 디노이징과 액션 예측을 같은 시각 스트림에서 공동 학습해, 사전학습 DiT의 생성 사전을 제어에 직접 연결하고 강건한 로봇 정책 전이를 보여줬습니다.
💡 로보틱스에서는 월드모델을 더 빠르게 돌리는 것만큼, 어떤 생성 사전을 어떻게 제어 정책으로 연결할지와 지름길 편향을 어떻게 깨뜨릴지가 핵심 과제로 떠오릅니다. 즉, 성능 경쟁이 이제는 실시간성·강건성·근거 기반 행동으로 이동하고 있습니다.
📄Multimodal & Generative5
HelixWorld: A Real-time Interactive Audio-Visual World ModelHelixWorld: 실시간 상호작용형 오디오-비디오 월드모델⭐ 620
HelixWorld는 6-DoF 카메라 궤적과 사용자 행동을 조건으로 영상과 공간 스테레오 사운드를 함께 롤아웃하는 실시간 월드모델로, 단일 GPU에서 24 FPS의 드리프트 없는 오디오-비디오 상호작용을 구현했습니다.
Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio GenerationKandinsky 6.0 Video: 동기화된 영상·오디오 생성을 위한 파운데이션 모델⭐ 119
Kandinsky 6.0 Video는 Dual-stream CrossDiT로 비디오와 오디오를 양방향 크로스어텐션으로 정렬해, 립싱크를 포함한 5초 길이의 44kHz 오디오-비디오를 T2AV·I2AV로 생성하고 Full-HD까지 업스케일합니다.
FrameMorrow: Future-guided Frame Selection with Prospective Tokens for Long-Horizon Video GenerationFrameMorrow: 미래 지향 토큰으로 장기 영상 생성을 돕는 프레임 선택⭐ 24
FrameMorrow는 현재가 아니라 미래 정보 수요를 나타내는 prospective token으로 과거 프레임을 선택해, 길어지는 생성 히스토리의 중복을 줄이면서 장기 비디오 생성의 일관성과 효율을 높였습니다.
💡 멀티모달 생성은 단순한 시청각 결합을 넘어, 장기 메모리 관리와 미래 지향적 컨텍스트 선택, 공간 음향 정합성까지 포함하는 ‘지속 가능한 세계 시뮬레이션’으로 진화하고 있습니다. 특히 오디오가 본격적으로 월드모델의 1급 신호로 편입되고 있다는 점이 인상적입니다.
💻Code & Agents4
VeriHarness: Scaling Agentic Verification for Long-Horizon TasksVeriHarness: 장기 과제를 위한 에이전트형 검증 확장⭐ 37
VeriHarness는 정답이나 루브릭 없이도 동일 LLM을 작업 검증기로 전환해, 불일치 해결기와 합의 도전기를 통해 장기 과제의 여러 롤아웃을 교차 검증하고 최종 산출물 선택·수정을 고도화했습니다.
SimuVerity: Benchmarking Agents for Engineering-Grade Simulink Model GenerationSimuVerity: 엔지니어링급 Simulink 모델 생성을 위한 에이전트 벤치마크⭐ 16
SimuVerity는 10개 공학 도메인의 101개 텍스트-투-Simulink 과제를 요구사항 중심으로 평가하는 벤치마크로, 최고 성능 에이전트도 종합 점수 42.86에 그쳐 컴파일 성공이 실제 엔지니어링 적합성을 보장하지 않음을 보여줬습니다.
Science Utopia? Closed-Loop LLM Simulation of Academic Research EcosystemsScience Utopia?: 학술 연구 생태계의 폐쇄루프 LLM 시뮬레이션⭐ 22
SciUtopia는 연구 주제 선택, 협업, 리뷰, 재투고, 인용, 펀딩까지 포함한 폐쇄루프 학술 생태계를 LLM 에이전트로 시뮬레이션하며, 61개 세계에서 4만 명 이상 연구자의 장기 상호작용을 실험할 수 있는 테스트베드를 제시했습니다.
💡 에이전트 연구는 생성 자체보다 검증과 평가, 그리고 실제 도메인 요구사항 충족으로 무게중심이 옮겨가고 있습니다. 긴 과업에서의 자기검증, 공학적 정합성, 장기 편집 정확도처럼 ‘쓸 수 있는 에이전트’의 기준이 훨씬 엄격해지고 있습니다.
👁️Computer Vision2
GTR: Gated Token Recurrence for Efficient Dense PredictionGTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환⭐ 47
GTR은 softmax 없는 recurrent 비전 백본으로 글로벌 어텐션 비용을 줄이면서도 COCO val2017에서 58.9 box AP와 RTX 4090 기준 1.908ms 지연을 달성해, 고해상도 밀집 예측의 효율성을 크게 끌어올렸습니다.
LVMT: Video Mask Transformer for Long-term Video SegmentationLVMT: 장기 비디오 분할을 위한 비디오 마스크 트랜스포머⭐ 9
LVMT는 GRU 기반 시간 전파와 TQP 학습 전략으로 긴 가림과 복잡한 장기 영상에서도 객체 정보를 선택적으로 유지하며, 메모리 폭증 없이 더 긴 시간 문맥으로 온라인 비디오 분할을 학습합니다.
💡 비전 분야에서는 고해상도·장기 시퀀스에서도 계산량을 통제하면서 필요한 정보만 남기는 선택적 상태 전파가 공통 화두입니다. 결국 dense prediction과 video segmentation 모두 전역 어텐션의 무차별 계산에서 벗어나 더 구조적인 메모리 사용으로 가고 있습니다.
🗣️Language Models4
Memadapter: Counterfactual Adaptation Against Memory-induced SycophancyMemAdapter: 기억 유발 아첨 편향을 막는 반사실 적응⭐ 21
MemAdapter는 반사실 유도와 적응적 메모리 통합으로, 사실인 기억조차 문맥에 따라 과도한 순응을 유발할 수 있다는 문제를 다루며 장기 메모리 기반 에이전트의 객관적 추론을 강화했습니다.
Towards Looped Models Done Right, Part II: Rethinking at Fixed Points루프드 모델 제대로 만들기 II: 고정점 관점의 재설계⭐ 30
이 연구는 looped language model을 고정점 관점에서 재설계해 KV 공유, truncated backprop, 빠른 prefill과 RL 업데이트를 가능하게 했고, 최대 1.79배 prefill 가속과 2배 빠른 RL 학습을 보고했습니다.
Representation-Space MMD for Diffusion Language Models확산 언어모델을 위한 표현 공간 MMD⭐ 10
이 방법은 동결된 DLM의 표현 공간에서 MMD를 최소화하는 후학습 기법으로, 전체 샘플링 궤적 없이도 OpenWebText의 생성 perplexity를 낮추고 GSM8K와 코드·수학 벤치마크의 정확도-연산량 균형을 개선했습니다.
💡 언어모델 쪽에서는 메모리와 반복 구조를 더 효율적으로 쓰는 동시에, 그 부작용인 아첨 편향과 품질 저하를 정량화·완화하려는 흐름이 뚜렷합니다. 모델을 더 크게 만드는 것보다, 이미 가진 상태와 표현을 얼마나 잘 통제하느냐가 경쟁력이 되고 있습니다.
📄Training & Optimization2
Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model TrainingPrism: 2K 영상-오디오 공동 생성을 위한 동적 희소 어텐션⭐ 30
Prism은 시공간 macro-zone 단위의 동적 희소 어텐션으로 2K 해상도 오디오-비디오 공동 생성 학습을 가능하게 하며, 소리 발생 영역 중심의 크로스모달 상호작용을 보존해 고해상도 학습 효율을 높였습니다.
Local Support LearningLocal Support Learning: 국소 지지 학습⭐ 13
LSL은 GMM 기반 게이트로 새 학습 분포에서만 어댑터를 활성화해, 과거 데이터 없이도 업데이트를 국소화함으로써 대규모 사전학습 모델의 catastrophic forgetting을 줄이는 일반 프레임워크를 제안했습니다.
💡 학습 최적화 연구는 고해상도 멀티모달 학습과 지속학습 모두에서 ‘필요한 곳에만 업데이트와 어텐션을 쓰는’ 방향으로 수렴합니다. 계산 예산을 줄이는 기법이 이제는 단순 가속이 아니라 성능 유지와 일반화 개선까지 함께 노리는 단계에 들어섰습니다.