오늘의 한줄
오늘은 생성모델을 인식·예측 백본으로 재해석하는 흐름과, LLM의 장문맥 활용·지식 일반화·배포 효율을 함께 끌어올리려는 연구가 두드러졌습니다. 동시에 에이전트 평가는 더 긴 작업과 더 촘촘한 보상으로 이동하며, 실제 활용성을 측정하는 방향으로 진화하고 있습니다.
💻Code & Agents2
Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading롱호라이즌 터미널 벤치: 촘촘한 보상 채점으로 장기 터미널 작업 한계 평가하기⭐ 25
Long-Horizon-Terminal-Bench는 실험 재현·소프트웨어 공학 등 46개 장기 터미널 작업을 세분화된 서브태스크로 채점해, 에이전트의 최종 성공 여부뿐 아니라 중간 진척도와 부분 성취까지 정밀하게 평가합니다.
VaseMuseum: Digital Intelligent Museum for Ancient Greek PotteryVaseMuseum: 고대 그리스 도자기를 위한 디지털 지능형 박물관⭐ 1
VaseMuseum은 2D 이미지와 3D 유물을 함께 다루는 VaseAgent에 외부 지식 검색과 불확실성 인식을 결합해, 문화유산 질의응답에서 근거 기반 해석과 과신 억제를 동시에 노립니다.
💡 에이전트 연구는 이제 짧은 성공/실패 과제를 넘어, 긴 워크플로에서 얼마나 멀리 갔는지와 얼마나 근거 있게 답하는지까지 평가하는 방향으로 이동하고 있습니다. 벤치마크와 응용 시스템 모두에서 '부분 진척도'와 '검증 가능성'이 핵심 품질 지표가 되고 있습니다.
👁️Computer Vision2
From RGB Generation to Dense Field Readout: Pixel-Space Dense Prediction with Text-to-Image ModelsRGB 생성에서 조밀 필드 읽기로: 텍스트-이미지 모델의 픽셀 공간 조밀 예측⭐ 13
ReChannel은 RGB 이미지를 다시 생성하지 않고 DiT의 패치-토큰 격자에서 깊이·노멀·마스크 같은 과업별 채널을 직접 읽어내, 텍스트-이미지 모델을 더 정확한 픽셀 단위 조밀 예측기로 전환합니다.
Video Generation Models are General-Purpose Vision Learners비디오 생성 모델은 범용 비전 학습기다
GenCeption은 사전학습된 비디오 디퓨전 백본을 텍스트 지시형 인식 모델로 바꿔 깊이·노멀·카메라 자세·세그멘테이션·3D 키포인트에서 DepthAnything3, SAM 계열 등 전문 모델과 맞먹거나 능가했습니다.
💡 비전에서는 생성모델을 단순 합성기가 아니라 범용 인식 백본으로 재활용하는 흐름이 강해졌습니다. 중요한 변화는 RGB를 다시 그리는 우회 대신, 생성 사전학습이 학습한 공간·구조 priors를 과업 고유의 픽셀 예측으로 직접 읽어내려는 점입니다.
📄Multimodal & Generative3
PanoWorld: Real-World Panoramic GenerationPanoWorld: 실제 세계를 위한 파노라마 생성⭐ 12
PanoWorld는 DPRC와 GMA로 파노라마 표현의 회전 등가성을 활용해 장거리 메모리를 단순화하고, 실제·시뮬레이션 데이터셋 World360까지 구축해 물리적으로 일관된 파노라마 월드 모델 성능을 끌어올렸습니다.
Scalable Visual Pretraining for Language Intelligence언어 지능을 위한 확장 가능한 시각 사전학습
이 연구는 문서·웹페이지를 텍스트로 평탄화하지 않고 시각 문서 자체로 비지도 사전학습하는 것이 동일 코퍼스의 텍스트 전용 학습보다 일관되게 우수함을 보여주며, 언어 지능의 입력 형식을 재고하게 만듭니다.
MedPMC: A Systematic Framework for Scaling High-Fidelity Medical Multimodal Data for Foundation ModelsMedPMC: 파운데이션 모델을 위한 고충실도 의료 멀티모달 데이터 확장 프레임워크⭐ 1
MedPMC는 610만 편 PMC 논문에서 1,100만 개 의료 이미지-텍스트 쌍을 자동 구축했으며, 스크리닝 F1 93.2·패널 검출 F1 96.5·분리 mAP 89.8로 의료 멀티모달 데이터 인프라의 재현성과 품질을 크게 높였습니다.
💡 멀티모달 연구는 더 사실적인 세계 모델과 더 고품질 데이터 인프라를 동시에 구축하며, '무엇을 학습시키느냐' 못지않게 '어떤 형태로 세상을 입력하느냐'를 재정의하고 있습니다. 특히 문서 시각정보와 파노라마·의료 데이터처럼 기존 텍스트 환원으로 잃던 신호를 되살리는 시도가 인상적입니다.
🗣️Language Models4
Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning왜 외운 지식이 일반화되지 않는가: LLM 파인튜닝의 기계적 이해를 향해
이 연구는 파인튜닝된 LLM의 Knowing-Using Gap을 정의하고 self-patching으로 지식 회로 불일치를 추적해, 단순 휴리스틱만으로도 일반화 실패의 오라클 개선 여지 중 58~75%를 회복했습니다.
Phone Segmentation and Recognition through Phonological Activation Mapping음운 활성화 매핑으로 푸는 음소 분할과 인식⭐ 1
SPAM은 자기지도 음성표현을 음성학적 특징 활성도로 바꾼 뒤 경사하강 없이 가벼운 헤드를 얹어, 1분 미만의 전사만으로 음소 분할과 인식을 함께 수행하며 학습에 없던 음소까지 일반화합니다.
Self-Guided Test-Time Training for Long-Context LLMs장문맥 LLM을 위한 자기 유도 테스트타임 트레이닝
이 논문은 장문맥에서 무작위 구간 TTT가 성능을 해칠 수 있음을 보이고, 질문과 관련된 고품질 스팬을 스스로 골라 적응하는 self-guided TTT로 LongBench-v2류 장문맥 활용 문제를 더 효율적으로 개선합니다.
💡 LLM 연구는 모델 크기 경쟁보다 장문맥 활용, 지식의 실제 사용, 이중언어 효율 같은 실전 병목을 정면으로 다루고 있습니다. 내부 회로 진단부터 테스트타임 적응, 아키텍처 효율화까지 '배운 것을 제대로 꺼내 쓰게 만드는' 방향이 뚜렷합니다.
📄Robotics & RL1
Flow-ERD: Agent-type Aware Flow Matching with Entropy-Regularized Distillation for Diverse Traffic SimulationFlow-ERD: 다양한 교통 시뮬레이션을 위한 에이전트 유형 인지 플로우 매칭과 엔트로피 정규화 증류
Flow-ERD는 AFM과 ERD를 결합해 차량·보행자 유형별 운동 일관성을 유지하면서도 다양성을 보존했고, WOSAC 테스트 벤치마크 1위와 현실성-다양성 파레토 프런트 우위를 달성했습니다.
💡 시뮬레이션 품질 평가가 현실성 일변도에서 벗어나 다양성까지 함께 최적화하는 쪽으로 진화하고 있습니다. 자율주행처럼 분포 밖 상호작용이 중요한 영역에서는, 그럴듯함만큼 다양한 미래를 보존하는 생성 정책이 점점 더 중요해질 것입니다.
📄Training & Optimization2
Trust Region Policy Distillation신뢰 구간 정책 증류
TOP-D는 proximal teacher를 동적으로 구성해 고분산 On-Policy Distillation을 안정화하고, 추가 계산비용 없이 수학 추론 학습의 안정성·샘플 효율·최종 성능을 모두 개선했습니다.
KronQ: LLM Quantization via Kronecker-Factored HessianKronQ: 크로네커 분해 헤시안 기반 LLM 양자화⭐ 2
KronQ는 활성값 통계만 보던 기존 GPTQ류 PTQ에 그래디언트 공분산을 도입해 입력·출력 양방향 incoherence 처리와 새 민감도 지표를 설계함으로써, LLM 양자화 손실을 더 정교하게 줄입니다.
💡 학습·최적화 연구는 새 거대 모델을 만드는 대신, 기존 학습 절차와 배포 경로의 불안정성과 비효율을 줄이는 데 집중하고 있습니다. 증류 안정화와 2차 정보 기반 양자화처럼, 계산 예산을 늘리지 않고 성능을 끌어올리는 기법의 가치가 더 커지고 있습니다.