세종뉴스룸

인공지능데이터사이언스학과 구영현 교수 연구팀의 연구 논문이 세계 최고 수준의 인공지능 국제 학술 대회인 'ICLR 2026(International Conference on Learning Representations)'에 채택됐다.

ICLR은 NeurIPS, ICML과 함께 딥러닝 및 인공지능 분야에서 큰 영향을 미치는 국제 학술 대회 중 하나로, 오는 4월 23일부터 4월 27일까지 브라질에서 개최될 예정이다.

채택된 논문의 제목은 'DTP: Delta-Guided Two Stage Pruning for Mamba-based Multimodal Large Language Models'로, Mamba 기반 Multimodal LLM에서의 효율적인 추론을 위한 새로운 토큰 프루닝 기법을 제시했다.

본 연구는 기존 Transformer 기반 Multimodal Large Language Model(MLLM)에서 주로 연구되던 시각 토큰 프루닝 기법에서 나아가, Mamba 기반 MLLM의 구조적 특성을 반영한 시각 토큰 프루닝 기법인 Delta-guided Two-stage Pruning(DTP)을 제안한다. DTP는 Transformer 기반 MLLM에서 사용되던 Attention 기반 토큰 중요도 추정 방식과 달리, Mamba 구조의 핵심 내부 파라미터인 Delta를 활용해 토큰 중요도를 직접 계산함으로써, 추가 학습 없이 추론 단계에서 불필요한 시각 토큰을 효과적으로 제거한다.

제안된 방법은 초기 레이어에서의 선택적 프루닝과 후기 레이어에서의 완전 프루닝으로 구성된 2단계 전략을 통해 계산량을 크게 줄이면서도 성능 저하를 최소화한다. 이를 통해 대표적인 Mamba 기반 MLLM에서 연산량을 최대 약 50%까지 감소시키고, Prefill 지연 시간을 35% 이상 단축하며 기존 방법론 대비 우수한 성능 유지 효과를 입증했다.

연구에 참여한 인공지능데이터사이언스학과 석사과정 박성열 대학원생은 "영향력 있는 인공지능 국제 학술대회에 연구 성과를 발표할 수 있는 기회를 얻어서 영광이다. 이번 성과를 발판 삼아 앞으로도 꾸준히 더 나은 연구를 수행하기 위해 노력하겠다"고 소감을 전했다.

세종대 홍보실(hongbo@sejong.ac.kr)