오늘의 한줄
오늘은 생성 모델이 단순 출력기를 넘어 계획, 자기반성, 편집, 상호작용까지 통합하는 흐름이 두드러집니다. 동시에 LLM 학습·추론 효율화와 로보틱스의 실환경 정렬도 한층 더 실용적인 방향으로 진화하고 있습니다.
📄Multimodal & Generative6
YuE2: Unifying Symbolic and Audio Music Generation at Frontier QualityYuE2: 심볼릭과 오디오 음악 생성을 하나로 잇다⭐ 10,570
YuE2는 AR-NAR Mixture-of-Transformers로 악보 계획부터 semantic token, 최종 곡 오디오까지 한 번에 생성하며, WildSongBench에서 6.73점·best-of-8 기준 6.96점으로 공개 베이스라인을 앞섰습니다.
WorldPlay2: Extending Real-Time Interactive World Models in Control and HorizonWorldPlay2: 제어성과 장기 일관성을 확장한 실시간 인터랙티브 월드 모델⭐ 31
WorldPlay2는 액션·의미 제어를 분리한 hybrid control과 compressed memory, stable distillation을 결합해 실시간 응답성과 장기 시계열 일관성을 동시에 노리는 인터랙티브 월드 모델입니다.
SpatialSpeak: QA-Native Reconstruction with Local and Global Context for Spatial Chain-of-Thought ReasoningSpatialSpeak: 로컬·글로벌 문맥을 함께 학습하는 공간 추론형 VLM⭐ 19
SpatialSpeak는 3D marked-point와 object-center 질의를 QA 형식으로 학습하는 QA-RP와 CoT-VC를 결합해, 다중 시점 공간 추론에서 기하 추정과 추론 과정을 같은 생성 인터페이스로 정렬했습니다.
💡 멀티모달 생성은 이제 단순 샘플 품질 경쟁을 넘어 계획, 자기반성, 편집, 장기 일관성 같은 상위 제어 능력으로 이동하고 있습니다. 특히 음악·월드모델·반응형 아바타까지 생성 전 과정을 구조화된 중간표현으로 묶으려는 시도가 실전 활용성을 크게 높이는 방향으로 보입니다.
📄Training & Optimization2
MassAlloc Attention: Let Attention Allocate Its Own ComputeMassAlloc Attention: 어텐션이 스스로 연산량을 배분하다⭐ 763
MALA는 정규화된 attention 기여도를 기준으로 post-score 연산만 적응적으로 남기는 fused attention으로, 1K~32K 문맥에서 같은 tolerance로 낮은 출력·그래디언트 오차를 유지하며 연산을 줄였습니다.
RayOrch: Programming and Executing Lineage-Controlled Multi-Grain Dataflows for Foundation-Model Data PreparationRayOrch: 파운데이션 모델 데이터 준비를 위한 계보 제어형 데이터플로우⭐ 16
RayOrch는 부모-자식 관계와 순서를 유지하는 variable-cardinality expansion/gather 추상화로 문서·비디오 전처리 파이프라인을 프로그래밍하게 해, FM 데이터 준비의 배치 효율과 계보 추적성을 함께 확보합니다.
💡 학습·시스템 최적화는 모델 구조 자체보다 실제 연산이 어디에 쓰이는지를 더 세밀하게 통제하는 쪽으로 진화하고 있습니다. attention 연산 배분과 데이터 계보 기반 파이프라인처럼, 인프라 수준의 효율화가 곧 모델 경쟁력으로 직결되는 흐름입니다.
📄Robotics & RL3
VLA-Precision: Asymmetric Co-Bootstrapping for Efficient Real-World Online RL of Vision-Language-Action ModelsVLA-Precision: 비대칭 공동 부트스트래핑으로 실환경 VLA 온라인 RL 효율화⭐ 81
VLA-Precision은 ACoB와 ACoB-Stream으로 초기엔 개입 기반 행동학습, 이후엔 전역 리턴 전파와 로컬 선호 랭킹을 결합해 실환경 VLA의 정밀 조작 온라인 RL을 더 안정적이고 샘플 효율적으로 만듭니다.
D-JEPA: A Decision-Aligned Latent World ModelD-JEPA: 의사결정 정렬형 잠재 월드 모델⭐ 9
D-JEPA는 목표 대비 예측 특징과 실행 결과의 순서 정보를 함께 사용해 latent geometry를 의사결정에 중요한 후보들 주변에서 재정렬함으로써, 예측 정확도와 실제 실행 성공 간의 간극을 줄입니다.
Morphometric Imitation: From Morphology and Contact Aware Hand Retargeting to Sim-to-Real Visuomotor PolicyMorphometric Imitation: 형태·접촉 인지 손 리타기팅에서 심투리얼 정책까지⭐ 10
Morphometric Imitation은 MMO 리타기팅, residual RL, 정책 증류의 3단계로 인간 HOI를 로봇 손 정책으로 옮기며, 3종 로봇 손·10개 과제에서 모든 손에 대해 contact F1을 기존 최강 대비 최소 8점 높였습니다.
💡 로보틱스는 예측을 잘하는 모델보다 실제 의사결정과 정밀 실행에 맞게 정렬된 모델을 요구하고 있습니다. 온라인 RL, decision-aligned world model, sim-to-real imitation 모두 실환경 실패 비용을 줄이면서도 반복성과 접촉 품질을 높이는 데 초점을 맞추고 있습니다.
🗣️Language Models4
Improving Test-Time Scaling with Adaptive Looped Transformers적응형 루프드 트랜스포머로 테스트 타임 스케일링 개선하기⭐ 89
TaH2는 추가 반복이 필요한 토큰에만 루프 연산을 집중하도록 iteration decider를 함께 후학습해, 기존 looped transformer보다 테스트 시 정확도-연산 증가 기울기를 더 효율적으로 끌어올렸습니다.
Diffusion Reward ModelsDiffusion Reward Models: 확산 기반 보상 모델⭐ 17
DRM은 보상 모델링을 p(r|x,y) 조건부 밀도 추정으로 재정의하고 Diffusion Transformer로 다봉형 인간 선호를 표현해, 다중 속성 회귀와 pairwise preference를 하나의 구조로 다루며 5개 벤치마크에서 경쟁력 있는 성능을 보였습니다.
Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation교사 할당을 넘어: 도메인 정규화 멀티 교사 온폴리시 증류⭐ 10
DN-MOPD는 멀티 교사 온폴리시 증류에서 도메인별 피드백 분산 차이를 정규화해 instruction 신호의 과도한 지배를 완화하고, 수학·코딩·지시 따르기 능력을 더 균형 있게 한 학생 모델로 통합합니다.
💡 LLM 연구는 추론 시 추가 연산을 어디에 투입할지, 그리고 학습 신호를 어떻게 더 풍부하고 균형 있게 만들지를 동시에 파고듭니다. 테스트 타임 스케일링, 확산형 보상모델, 도메인 정규화 증류, 행동 그림자 증류는 모두 '같은 모델이라도 더 똑똑하게 학습·사용하는 법'에 대한 탐색으로 읽힙니다.
💻Code & Agents2
Self-Evolving Coding Agents: From Digital Programs to Physical-World Intelligence자기 진화형 코딩 에이전트: 디지털 프로그램에서 물리 세계 지능으로⭐ 30
Physical Coding은 로봇 작업 상태를 Code as World, 실행 절차를 Code as Policy로 명시해 계획·검증·복구를 코드 수준에서 수정 가능하게 만들어, 물리 세계 일반화와 장기 실행 가능성을 높이려는 프레임워크입니다.
WideSWE: Can Coding Agents Coordinate Changes Across Repositories?WideSWE: 코딩 에이전트는 여러 저장소 변경을 협업할 수 있을까⭐ 15
WideSWE는 103개 소프트웨어 생태계에서 추출한 120개 크로스 레포 실작업으로 코딩 에이전트를 평가하며, 최고 설정도 성공률이 42.50%에 그쳐 멀티 저장소 변경 식별·완결 능력이 여전히 병목임을 보여줍니다.
💡 코딩 에이전트는 이제 단일 저장소 버그 수정에서 벗어나, 여러 코드베이스와 물리 세계 절차까지 다루는 실행형 시스템으로 확장되고 있습니다. 다만 WideSWE의 낮은 성공률이 보여주듯, 장기 의존성과 상태 추적을 명시적으로 표현하는 구조가 여전히 핵심 과제로 남아 있습니다.
👁️Computer Vision3
SolveEdit: Benchmarking Visual Problem Solving in Generative ModelsSolveEdit: 생성 모델의 시각 문제 해결 능력 벤치마킹⭐ 14
SolveEdit은 목표 기반 장면 변환 문제 2,728개와 atomic transition contract 기반 SoLvEScoRE를 제안해, 모델이 무엇을 바꾸고 무엇을 보존해야 하는지까지 평가하는 시각 문제 해결 벤치마크를 제공합니다.
FoMo: Forking Moment in Generative Trajectory as a Perceptual DistanceFoMo: 생성 궤적의 갈라지는 시점을 지각 거리로 활용하다⭐ 10
FoMo는 diffusion 생성 궤적에서 두 이미지가 갈라지는 시점을 pointwise perceptual distance로 삼아, 사람 주석 없이도 참조 기반 IQA 학습용 지각 거리 레이블을 자동 생성합니다.
InfiniHand: Streaming World-Space Hand Motion Estimation from Egocentric VideoInfiniHand: 이고센트릭 비디오에서 월드 좌표 손 움직임을 스트리밍 추정하다⭐ 8
InfiniHand는 MANO 파라미터, 카메라 궤적, 손 위치를 비보정 이고센트릭 영상에서 end-to-end로 함께 추정하며, 약 5,000시간 규모 데이터로 학습한 streaming world-space 손 모션 복원 프레임워크입니다.
💡 비전 분야는 인식 정확도보다 '문제를 풀고, 품질을 판단하고, 장시간 추적하는 능력'을 평가하는 방향으로 넓어지고 있습니다. 새 벤치마크와 자동 라벨링, 스트리밍 3D 추정은 비전 모델을 더 실용적인 의사결정 도구로 만들기 위한 기반 작업으로 보입니다.