2026.7.13

“비싼 장비 없이도 AI 더 빨라진다” LLM 운영 비용 줄이고 고성능 확보한 신기술 선보여

-컴퓨터 시스템 분야 최고 학회 ‘OSDI 2026’서 고려대 최초 논문 채택

□ 챗GPT·제미나이와 같은 대규모언어모델(LLM)을 운영할 때 필요한 서버 비용을 크게 낮추면서도 처리 성능은 오히려 높일 수 있는 길이 열렸다. 고려대학교(총장 김동원) 전기전자공학부 안정섭 교수 연구팀이 LLM 서비스의 GPU(그래픽처리장치) 활용 효율을 높이고 병목 현상을 줄이는 혁신적인 스케줄링(작업 분배) 기술을 개발했다. 

□ 이번 연구 성과는 7월 13~15일 미국 시애틀에서 개최되는 컴퓨터 시스템 분야 최고 권위의 국제 학술대회인 ‘OSDI(USENIX Symposium on Operating Systems Design and Implementation) 2026’에 채택됐다. 연구팀은 “고려대가 OSDI에 논문을 등재한 첫 사례로, 운영체제·시스템 연구에서 세계 최고 수준의 경쟁력을 인정받은 결과”라고 밝혔다. 

*논문명: Revisiting Pipeline Parallelism for LLM Serving

□ 챗GPT와 같은 LLM은 크기가 너무 커서 모델을 여러 대의 GPU에 나누어 작업을 처리하는 ‘병렬화’가 필수적이다. 현재 업계에서 널리 쓰이는 ‘텐서 병렬화’는 여러 GPU들이 쉴 새 없이 데이터를 주고받으며 동시에 작업을 처리하는 방식으로, NVLink와 같은 값비싼 고속 연결망이 필수적이다.

□ 반면, 여러 GPU를 층(layer) 단위로 나누고, 이를 컨베이어 벨트처럼 순차적으로 처리하는 ‘파이프라인 병렬화’는 GPU 간 통신량이 적어 고속 연결망 없이 일반 표준 서버(PCIe 기반)로도 이론적으로 더 높은 처리량을 낼 수 있지만, ‘파이프라인 버블’ 문제 때문에 실제 온라인 서비스에서는 잘 쓰이지 않았다.

*파이프라인 버블: 파이프라인 병렬화에서 이전 GPU의 작업이 끝나기를 기다리느라 다른 GPU가 일시적으로 아무 일도 하지 못하는 유휴 시간을 ‘버블’이라 한다

□ 이에 연구팀은 작업의 길이와 양이 제각각인 실제 사용자 요청 환경에서도 높은 성능을 구현하는 두 가지 핵심 스케줄링 기술을 고안했다. 먼저, 시스템이 응답 속도 목표(SLO)를 실시간으로 감시하며 긴 입력 문장을 가장 최적의 크기로 나누어 처리하는 기술이다. 더불어, 단계별 부하를 점검해 특정 GPU에 과도하게 작업이 몰리거나 유휴 시간이 발생하지 않도록 분배하는 방식도 함께 제안했다. 

□ 연구팀은 개발한 두 기술을 LLM을 구동하는 핵심 추론 엔진 중 하나인 SGLang에 구현해 실제 서비스 환경과 유사한 조건에서 성능을 평가했다. 그 결과, 연구팀의 기술을 적용한 파이프라인 병렬화 방식이 업계 표준인 텐서 병렬화보다 더 높은 처리 성능을 달성했다. 

*연구팀은 검증 과정에서 엔비디아 최고급 그래픽 카드인 ‘A100 40GB GPU’ 4대와 고성능 오픈소스 AI 모델인 ‘Qwen2.5 32B·14B’를 활용해 실제 LLM 서비스 환경과 유사한 조건을 구현했다

□ 특히 사용자가 질문하고 AI가 답하는 형태인 ‘대화형 워크로드’ 환경에서는 기존 파이프라인 병렬화 방식 대비 답변 속도가 35% 빨라졌으며, 사용자가 질문 후 최종 답변을 받기까지 기다려야 하는 대기 시간도 32% 단축됐다. 

□ 안정섭 교수는 “고가의 전용 고속 연결망(NVLink) 없이 일반 GPU 서버만으로도 현재 업계 표준인 텐서 병렬화 보다 더 높은 처리 성능을 달성했다”며 “이는 LLM 서비스의 운영 비용을 낮추고 자원 효율을 높일 수 있는 길을 열었다는 점에서 의미가 크다”고 밝혔다. 

□ 이번 연구는 정보통신기획평가원, 한국전자통신연구원(ETRI), SK하이닉스의 지원을 받아 수행됐다. 

전기전자공학부 (02-3290-3229)

커뮤니케이션팀 (02-3290-1063)