강민주 메가존클라우드 마틸다랩 팀장이 AI 연구개발에 특화된 전용 프로세서 ‘IPU’의 특징을 소개하고 있다. / IT조선
강 팀장은 그 대안으로 ‘AI 전용 프로세서’를 꼽았다. 한 번에 복수의 연산을 동시에 수행하는 ‘병렬 처리’에 특화된 AI 전용 프로세서를 이용하면 GPU로도 수백 년이 걸릴 학습 과정을 수일 수준으로 대폭 단축할 수 있다는 것.
이어 강 팀장은 현재 메가존 클라우드에서 AI 연구개발에 사용 중인 AI 특화 프로세서 ‘그래프코어(Graphcore)’ IPU(인텔리전스 프로세스 유닛)를 소개했다. 그래프코어 IPU는 한 번의 클럭에 수천여 개의 서로 다른 명령과 데이터를 동시에 처리할 수 있는 프로세서로, AI 학습 같은 병렬처리 작업에 특화된 제품이다.
특히 그는 "하나의 공유 메모리를 다수의 코어가 함께 공유하는 기존 CPU나 GPU와 달리, 그래프코어 IPU는 각각의 코어당 별도의 메모리(S램)가 할당되어 있고, 코어와 메모리가 직접 연결되어 있어 수천 개의 서로 다른 데이터와 명령을 동시에 처리하고, 한꺼번에 동기화할 수 있다"고 강조했다.
또한, 기존 하드웨어와 작동 구조가 다른 만큼, 그래프코어 IPU는 미리 준비된 소프트웨어 스택과 개발도구를 함께 제공한다. 이를 통해 개발자들이 그래프코어 IPU를 제대로 활용해 원하는 AI 모델을 쉽게 개발할 수 있다고 강 팀장은 설명했다. 자유롭게 규모를 확장할 수 있는 IPU 전용 서버를 통해 기업과 개발자들이 AI 프로젝트의 규모와 복잡성, 정확도 등에 따라 AI 연구개발용 시스템의 규모도 필요한 만큼 확장할 수 있다고 덧붙였다.
이어 강 팀장은 그래프코어 IPU를 도입한 국내외 기업들의 도입 사례도 소개했다. ▲실시간 영상의 4K급 화질 개선 ▲다른 언어로의 번역과 검수 ▲신약 개발에 필요한 예측 분석 ▲텍스트의 자연스러운 음성 변환 등 AI를 도입한 분야와 활용 방식은 각각 다른 상황에서도 공통으로 AI의 학습 및 추론에 걸리는 시간을 수배~수십 배 까지 단축한다. 또한
결과 도출 효율은 대폭 증가했으며, 그에 따른 인력과 비용 시간, 자원을 절약할 수 있었다고 강조했다.
또 기업들이 별도의 온프레미스를 구축하기 어려운 상황에서 AI 모델의 학습과 이를 통한 서비스를 개발할 수 있도록 메가존 클라우드에서 주문형 IPU POD을 ‘하이퍼스케일 AI 서비스’라는 이름으로 기업 고객에게 제공하고 있다고 덧붙였다.
마지막으로 강 팀장은 AI 개발에 최적화된 모델인 ‘ML옵스(MLOps)’를 소개했다. 최근 많은 기업에서 개발자와 관리자, 운영자 등이 통합된 환경에서 적극적으로 협업하는 업무 형태인 ‘데브옵스(DevOps)’라는 개념을 도입, 소프트웨어의 개발과 배포, 운영, 피드백 등을 모두 통합해 개발 주기 단축, 빠른 배포, 안정적인 운영 등을 가능케 하고 있다.
강 팀장은 AI 모델과 서비스의 개발에도 데스옵스와 비슷한 ML옵스 모델이 필요하다고 강조했다. 이를 위해 메가존 클라우드와 마틸타랩은 AI 엔지니어들에게 IPU 전용 프로세서를 비롯해 각종 필수 요소들을 통합한 자체적인 ML옵스 플랫폼을 개발 중이라는 것.
이러한 ML옵스 플랫폼이 완성되면 기업과 AI 엔지니어들이 목적
한 AI 모델과 서비스를 더욱 빠르고 손쉽게 개발하고 배포, 운영할 수 있는 길이 열릴 것이라고 그는 덧붙였다.
강 팀장은 "앞으로 더 많은 고객이 AI 모델과 이에 기반한 서비스를 개발하고 활용하는데 메가존 클라우드가 제공하는 다양한 IPU 인프라와 솔루션이 큰 도움이 될 수 있기를 기대한다"고 말했다.
최용석 기자 redpriest@chosunbiz.com
