오늘의 한줄

오늘은 LLM을 단순 응답기가 아니라 로컬 도구 제작기나 장기 기억 에이전트로 재구성하려는 시도와, 이미지·비디오 생성의 품질-속도 균형을 다시 설계하는 연구가 두드러졌습니다. 동시에 벤치마크 연구들은 에이전트 메모리, 의료·데이터 작업, 멀티모달 지각 평가처럼 실제 배치 환경의 약점을 더 정밀하게 드러내는 방향으로 진화하고 있습니다.

🗣️Language Models3

Program-as-Weights: A Programming Paradigm for Fuzzy Functions프로그램을 가중치로: 퍼지 함수를 위한 새로운 프로그래밍 패러다임96

PAW는 자연어 명세를 경량 어댑터 프로그램으로 컴파일해 0.6B Qwen3 인터프리터에서 실행하며, Qwen3-32B 직접 프롬프팅급 성능을 약 1/50 메모리로 MacBook M3에서 30 tok/s로 구현했습니다.

BlockPilot: Instance-Adaptive Policy Learning for Diffusion-based Speculative DecodingBlockPilot: 확산 기반 추측 디코딩을 위한 입력별 적응 정책 학습56

BlockPilot은 프리필 표현에서 샘플별 최적 블록 크기를 예측해 확산 기반 speculative decoding의 고정 블록 한계를 줄이며, 입력마다 다른 병렬화 전략으로 무손실 추론 가속을 높였습니다.

Multi-Block Diffusion Language Models멀티블록 확산 언어모델20

MBD-LMs는 bounded running-set 추론과 맞춘 Multi-block Teacher Forcing으로 BD-LM을 후학습해, 여러 블록을 동시에 디코딩하는 MultiBD 설정에서 학습-추론 불일치를 줄였습니다.

💡 언어모델 연구는 더 큰 모델을 직접 호출하는 대신, 입력별 디코딩 정책을 최적화하거나 자연어 명세를 로컬 실행 가능한 신경 프로그램으로 컴파일하는 방향으로 이동하고 있습니다. 추론 효율화도 단순 캐시 최적화에서 벗어나 블록 구조와 학습-추론 정합성 자체를 재설계하는 단계에 들어섰습니다.

📄Multimodal & Generative6

GEAR: Guided End-to-End AutoRegression for Image SynthesisGEAR: 이미지 생성을 위한 가이드형 종단간 자기회귀 학습47

GEAR는 VQ 토크나이저와 AR 생성기를 표현 정렬 기반으로 공동 학습하는 종단간 프레임워크로, hard/soft 이중 read-out으로 비미분 가능한 코드북 병목을 풀어 생성기가 예측하기 쉬운 토큰 분포를 직접 유도합니다.

InstanceControl: Controllable Complex Image Generation without Instance LabelingInstanceControl: 인스턴스 라벨 없이 복잡한 이미지 생성 제어하기15

InstanceControl은 VLM으로 텍스트의 인스턴스 설명과 시각 조건의 영역 대응을 자동 정렬해 수작업 인스턴스 라벨 없이도 다중 객체 장면에서 속성 혼동을 줄이는 제어형 이미지 생성을 구현했습니다.

Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual ReasoningPerceive-to-Reason: 세밀한 시각 추론을 위한 지각과 추론의 분리14

P2R은 먼저 근거를 찾는 Perceiver와 답을 내는 Reasoner를 분리하고, PRA-GRPO로 지각·추론 역할별 RL 업데이트를 번갈아 수행해 고해상도 이미지의 미세 단서 기반 시각 추론 성능을 일관되게 끌어올렸습니다.

💡 생성 연구는 토크나이저-생성기 공동학습, 원스텝 분포 정합, 학습 없는 다단계 가속처럼 품질과 속도를 동시에 잡기 위한 구조적 개선이 활발합니다. 동시에 P2R, InstanceControl, PerceptionRubrics는 멀티모달 시스템에서 '무엇을 봤는가'를 더 명시적으로 분리·정렬·평가해야 성능이 실제 신뢰성으로 이어진다는 점을 보여줍니다.

💻Code & Agents6

AutoMem: Automated Learning of Memory as a Cognitive SkillAutoMem: 기억을 인지 기술로 자동 학습하기20

AutoMem은 파일시스템 조작을 메모리 행동으로 승격하고, 강한 LLM이 전체 궤적을 검토해 메모리 구조와 사용 숙련도를 함께 자동 개선함으로써 장기 에이전트의 메타메모리 자체를 학습 가능한 기술로 다뤘습니다.

AgenticDataBench: A Comprehensive Benchmark for Data AgentsAgenticDataBench: 데이터 에이전트를 위한 종합 벤치마크19

AgenticDataBench는 15개 산업 도메인과 실제 B2B 사례를 포함한 세밀한 정답 라벨 기반 벤치마크로, 데이터 에이전트의 분석 워크플로 전반을 더 현실적이고 세분화된 수준에서 평가할 수 있게 했습니다.

AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM AgentsAgenticSTS: 장기 지평 LLM 에이전트를 위한 제한 메모리 테스트베드16

AgenticSTS는 원시 대화 기록을 누적하지 않고 타입별 검색으로만 매 결정 프롬프트를 구성하는 bounded-memory 계약을 Slay the Spire 2 환경에 구현해, 장기 에이전트 메모리 설계를 분리·실험 가능하게 만들었습니다.

💡 에이전트 분야는 이제 단순 성능 경쟁보다 메모리 구조, 기억의 부작용, 지속적 스킬 진화, 도메인별 실제 업무 평가처럼 운영 메커니즘을 정교하게 다루는 흐름이 강합니다. 특히 장기 에이전트에서는 더 많은 컨텍스트를 넣는 것보다 어떤 정보를 어떤 계약으로 보게 할지 설계하는 일이 핵심 역량으로 떠오르고 있습니다.

📄Training & Optimization2

TurboServe: Serving Streaming Video Generation Efficiently and EconomicallyTurboServe: 스트리밍 비디오 생성을 효율적이고 경제적으로 서빙하기14

TurboServe는 스트리밍 비디오 생성을 세션 배치와 GPU 프로비저닝을 함께 푸는 온라인 스케줄링 문제로 정식화해, 장시간 세션과 수요 변동이 큰 환경에서 지연과 비용을 함께 낮추는 첫 전용 서빙 시스템을 제안했습니다.

Morphing into Hybrid Attention Models하이브리드 어텐션 모델로의 변환7

FlashMorph는 어떤 레이어에 full attention을 남길지 예산 제약 부분집합 최적화로 풀고, 가중치를 고정한 morphable 모델에서 공동 학습된 중요도 점수로 전역 상호의존성을 반영해 Transformer를 효율적인 hybrid attention으로 변환합니다.

💡 시스템과 최적화 연구는 모델 자체뿐 아니라 서빙 스케줄링과 어텐션 구조 변환까지 포함해 전체 비용 구조를 줄이는 데 초점을 맞추고 있습니다. 앞으로는 학습 알고리즘의 개선만큼이나 배치·세션·레이어 수준의 자원 배분이 실제 성능을 좌우할 가능성이 큽니다.

📄Robotics & RL2

Domain Arithmetic: One-Shot VLA Adaptation under Environmental ShiftsDomain Arithmetic: 환경 변화에 대응하는 원샷 VLA 적응10

DART는 단 1개 시연만으로 카메라 시점이나 로봇 플랫폼 변화에 적응하도록 VLA 가중치에 도메인 특화 정보를 벡터 산술로 더하고, singular component 정렬로 잡음을 걸러 기존 적응법을 시뮬·실기 모두에서 앞섰습니다.

Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?Play2Perfect: 정밀 조립을 위한 손재주 플레이 사전학습의 핵심은 무엇인가13

Play2Perfect는 다양한 물체·목표를 상대로 한 task-agnostic 플레이 RL 사전학습으로 파지·손안 재배치 같은 조작 priors를 익힌 뒤 정밀 조립에 미세조정해, 복잡한 접촉 기반 조립을 더 일반적인 손재주 학습 문제로 풀었습니다.

💡 로보틱스에서는 대량 시연 대신 원샷 적응이나 플레이 기반 사전학습처럼 데이터 효율을 극대화하는 접근이 두드러집니다. 이는 범용 VLA와 손재주 조작 모두에서, 다양한 환경 변화와 정밀 작업을 버티는 일반화 능력이 핵심 경쟁력으로 옮겨가고 있음을 시사합니다.

👁️Computer Vision1

AGVBench: A Reliability-Oriented Benchmark of Data Augmentation for Vein RecognitionAGVBench: 정맥 인식을 위한 신뢰성 중심 데이터 증강 벤치마크8

AGVBench는 5개 정맥 데이터셋과 7개 백본에서 30개 증강을 비교해 MixUp류가 정확도는 높지만 보정과 적대적 강건성은 약하고, 강한 기하 변환은 미세 혈관 구조를 해쳐 성능을 떨어뜨린다는 점을 보여줬습니다.

💡 비전 쪽 벤치마크 연구는 정확도만으로는 실제 배치 품질을 설명할 수 없다는 점을 다시 확인시킵니다. 특히 정맥 인식처럼 미세 구조가 중요한 영역에서는 증강 전략의 보정·강건성까지 함께 봐야 하며, 자연 이미지에서 통하던 관행이 그대로 통하지 않습니다.

매일 아침, 받은편지함에서 만나보세요

새로운 뉴스레터가 발행될 때마다 이메일로 받아볼 수 있습니다.

받아볼 뉴스레터 선택