엔비디아(www.nvidia.co.kr)는 KT가 엔비디아 DGX 슈퍼팟(NVIDIA DGX SuperPOD) 플랫폼을 기반으로 초거대 AI 모델 ‘믿음(Mi:dm)’을 구축했다고 16일 밝혔다. 엔비디아는 기업의 생성형AI 도입을 가속화할 수 있도록 지원한다.
KT는 경량 모델부터 초대형 모델에 이르기까지 기업 규모와 사용 목적에 맞게 완전 맞춤형(Full Fine-Tuning)으로 서비스를 제공할 예정이다. 또 AI 풀스택을 통해 KT클라우드와 함께 믿음의 기업전용 AI 믿음 클라우드팜(Mi:dm CloudFarm)을 패키지로 지원한다. 이를 통해 기업들은 별도 개발과 학습 인프라가 없어도 합리적인 비용으로 초거대 AI를 활용한 서비스를 개발할 수 있다.
KT는 초거대 AI를 활용하고 학습하고자 하는 모든 기업에게 믿음의 파운데이션 모델(Foundation Model)을 개방한다. 이를 위해 KT 믿음 스튜디오(KT Mi:dm Studio)라는 전용 포털을 오픈해 고객에게 편리한 개발 환경을 제공한다. 여기에서는 KT 믿음의 파운데이션 모델을 직접 선택, 학습, 서빙 할 수 있는 맞춤형 환경이 구성된다.
파운데이션 모델은 방대한 데이터셋으로 학습한 초거대 AI 핵심 기반 모델이다. 오픈 AI(OpenAI)사의 자연어 처리 모델 GPT가 대표적이다. 보다 복잡한 기술 구현이나 시스템 구축을 위해 기업이 원하는 형태로 미세조정(Fine-Tuning: 파인 튜닝)을 거쳐 다양한 AI 응용서비스를 만들 수 있다.
초거대 AI를 사용하고 싶지만 수십 억에서 수천 억에 달하는 파라미터 모델을 직접 만들 여력이 없는 대다수 기업들의 경우 기존 파운데이션 모델을 튜닝하는 방법을 활용했다. 하지만 데이터 자주권 차원에서 빅테크에 데이터가 종속될 수 있다는 보안 우려가 있고 무엇보다 기존 상업용 파운데이션 모델은 풀 파인 튜닝(FFT)을 제공하지 못한다는 한계가 있었다.
KT는 이러한 기업고객들의 갈증을 해결하고자 국내 업계 최초로 조(兆)단위 데이터의 사전 학습을 완료한 자체 파운데이션 모델 믿음을 개방했다. 이를 통해 LLM(대규모 언어 모델)의 B2B 사업화를 가속하고 궁극적으로 기업들이 원하는 AI 사업 모델과 응용 서비스의 폭발적 확산을 이끌어낸다는 계획이다.
아울러 기존 대비 약 27% 가까운 GPU 학습 비용 절감이 가능한 KT 클라우드(KT Cloud)의 HAC(Hyperscale AI Computing) 서비스, 추론 비용을 기존 대비 50% 절감한 리벨리온(Rebellions)의 NPU 인프라 등 AI 풀스택을 효율적인 AI 개발 환경을 위한 맞춤형 통합 패키지로 함께 제공할 예정이다.
KT는 지난 10월 31일 믿음 출시와 함께 수요 기업들이 사용 신청을 할 수 있도록 초거대 AI 믿음 공식 웹사이트(Midm.kt.com)를 오픈했다. 신청 기업들은 전문 컨설팅을 통해 사용 협의를 진행하게 된다.
엔비디아 DGX 슈퍼팟 플랫폼을 기반으로 KT는 믿음을 개발했다. 믿음은 대규모 데이터를 학습한 LLM으로 설계된 목적외에 다양한 과제에 대한 답변도 생성 가능하다. 또 목적에 따라 개별의 데이터 수집, 학습, 추론이 필요했던 기존 모델과 달리 하나의 모델로 여러가지 업무들을 동시에 수행한다.
엔비디아 네모 프레임워크(NeMo Framework)는 믿음 파운데이션 모델 학습에 활용됐다. 안전하고 확장 가능한 AI를 지원하는 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 제품군에 포함된 네모 프레임워크는 데이터 처리, 학습, 평가, 생성형 AI 모델 추론 등 LLM 파이프라인 전반에 걸친 완벽한 솔루션으로 주목받고 있다. 엔비디아 네모는 대규모로 LLM을 신속하게 학습, 사용자 맞춤화, 배포함으로써 투자수익률을 향상시킨다. 이와 함께 멀티 노드와 멀티 GPU 학습으로 처리량을 극대화해 LLM 학습 시간도 최소화한다. 엔비디아는 KT와 협력해 최적의 3D 병렬처리(parallelism)를 찾아 초거대AI 믿음 학습에 사용되는 계산 처리량을 극대화했다.
믿음은 효율적 미세학습(PEFT, Parameter Efficient Fine-Tuning) 방식을 통한 맞춤화 서비스도 지원한다. 효율적 미세학습은 LLM을 미세 학습하는 데 오랜 시간이 소요되는 문제점을 해결하기 위한 기법이다. 사전 학습된 네트워크의 원래 매개변수를 대부분 동결한 채 소수의 가중치만 추가 학습해 기업에 특정 작업과 도메인 맞춤형 AI를 제공할 수 있다. 엔비디아는 믿음 구축에 LoRA, IA^3 등 다양한 미세학습 방법을 비교 분석해 구현했다. 해당 미세학습 방법은 네모 프레임워크와 텐서RT-LLM(TensorRT-LLM) 소프트웨어에서 지원된다.
텐서RT-LLM은 엔비디아 GPU상에서 최적의 LLM 추론 성능을 제공하는 솔루션이다. 이는 양자화된 모델의 분산추론을 효율적으로 지원한다. 엔비디아는 KT와 함께 int4 규모의 양자화를 제공해 모델의 메모리 소요량을 1/8 크기로 줄일 수 있는 솔루션을 제공할 예정이다.
믿음은 응답의 유용성과 안정성의 향상을 위해 다양한 강화 학습을 사용했다. 엔비디아는 KT와의 협업을 통해 PPO(Proximal Policy Optimization), DPO(Direct Preference Optimization), SteerLM 등 다양한 방법론을 비교했다. 네모 프레임워크에서는 RLHF(Reinforcement Learning From Human Feedback)와 SteerLM 등 모델 정렬 능력 향상을 위해 다양한 방법론도 함께 제공될 예정이다.
KT 믿음의 또 다른 장점은 강력한 신뢰 패키지(Reliable Package)를 제공한다는 것이다.
그간 생성형 AI가 산업현장에서 폭넓게 사용되는데 가장 큰 장애물로 여겨진 문제점은 바로 ‘AI의 환각 답변(Hallucination: 이하 할루시네이션)’이었다. KT는 이를 해결하기 위해 검색과 추론, 답변 모든 단계에서 신뢰성을 높일 세 가지 기술을 개발해 믿음에 적용했다.
p다큐먼트 AI(Document AI)는 도식화된 복잡한 문서도 모델이 정확히 이해할 수 있도록 변환하는 기술이다. p서치 AI(Search AI)는 목표 도메인과 문서에 최적화된 최신 정보를 찾아내는 딥러닝 기술이다. p팩트가드 AI(FactGuard AI)는 원문에 근거한 응답만 생성하도록 강화학습을 적용했다. KT는 이로 인해 생성형 AI의 가장 큰 문제점인 할루시네이션 현상을 일반 생성형 AI 서비스 대비 최대 70% 가까이 줄일 수 있다고 설명했다.
또한 KT가 공개한 믿음 모델 중 외부에 완전히 개방하는 70억 파라미터 규모의 경량 모델은 한국어 LLM 평가 리더보드라 불리는 ‘오픈 Ko-LLM(Open Ko-LLM)’에서 최상위를 기록하며 우수한 성능을 입증하기도 했다.
‘오픈 Ko-LLM’은 누구나 자신이 개발한 한국어 LLM을 등록해 성능을 평가하고 경쟁할 수 있는 공개 플랫폼이다. 이를 통해 다양한 기업과 기관에서 개발한 한국어 LLM 모델들이 성능을 개선하며 한국 초거대 AI 생태계의 기반을 다지고 있다는 평가를 받는다.
특히 ‘오픈 Ko-LLM’은 역사 왜곡이나 형태소 오류, 환각, 혐오 표현 등 광범위한 항목을 평가하고 AI가 주어진 조건에 대해 생성해 낸 결과물이 한국어 사용자의 일반 상식에 부합하는지를 평가한다. 여기서 최상위를 기록한 KT 믿음은 신뢰성과 성능면에서 공식적으로 인정을 받게 된 것이다.
KT는 이번 믿음 출시를 계기로 기업전용 LLM 사업화, 새로운 AI 혁신 사업 발굴 등 B2B 시장에 집중한다. 이후 스타트업 개방 생태계를 통해 초거대 AI 기반 비즈니스 혁신에 나선다는 계획이다.
한편 KT는 AICC와 지니TV, AI통화비서 등 기존 AI 사업들의 인공지능을 믿음으로 고도화하고 KT의 무선서비스, IVI, 로봇 등에도 초거대 AI를 적용한 사업화를 계획하고 있다. 기존 서비스가 룰베이스(Rule Based) 모델을 통해 정해진 답변만을 제공하는 한계가 있었지만 앞으로는 생성형 AI의 창의적 답변에 신뢰성 있는 정보를 더해 제공하게 된 것이다.
아울러 믿음을 적용해 내부 업무 프로세스와 고객서비스도 대폭 개선한다. 실제로 믿음을 시범 적용한 KT 콜센터에선 봇 인식률 5% 개선, 후처리 속도 20%, 지식 구축 속도 30% 향상 등 다양한 부분에서 성능 개선 효과를 보였다. 앞으로 금융과 통신영역, 지니TV 마케팅, 시니어와 육아상담 등의 영역에서도 믿음을 적용한 업무 프로세스 개선이 진행될 예정이다.
엔비디아 네모 프레임워크 덕분에 '믿음 서비스'에서 파운데이션 모델을 쉽고 빠르고 안정적으로 훈련하고 배포할 수 있다. 또한, 엔비디아와의 협업으로 최첨단 미세 조정과 정렬 기술을 적용해 모델 성능을 향상시켰다. 특히, 양자화 같은 엔비디아 TRT-LLM 소프트웨어의 다양한 기술 덕분에 총소유비용(TCO)을 획기적으로 절감했다.