그래프코어가 세계 최초의 3D 웨이퍼-온-웨이퍼(Wafer-on-Wafer, WoW) 프로세서인 ‘Bow(보우) IPU’를 출시했습니다. Bow IPU는 그래프코어의 차세대 Bow Pod AI 컴퓨터 시스템의 핵심으로 주요 AI 애플리케이션에 걸쳐 기존 프로세서 대비 40% 향상된 성능과 16% 뛰어난 전력효율을 제공합니다. 또한, 기업들은 이 모든 성능 개선을 기존과 동일한 가격에 소프트웨어 변경 없이 누릴 수 있습니다.
플래그십 제품 Bow Pod256과 초대형 Bow Pod1024는 각각 89페타플롭스(PetaFLOPS) 및 350페타플롭스의 AI 연산을 지원하는데요. 이를 통해, AI 모델의 크기가 기하급수적으로 증가하는 추세에 머신러닝 엔지니어들이 효과적으로 대응하는 동시에, 머신 인텔리전스 분야에서 새로운 혁신을 달성할 기회를 제공할 계획입니다.
고객 성공 사례
그래프코어의 새로운 Bow Pod 시스템은 전 세계적으로 출하가 시작됐습니다.
그래프코어 Bow 시스템의 첫 도입 사례는 미국 에너지부(DOE) 산하의 퍼시픽 노스웨스트 국립 연구소(Pacific Northwest National Laboratory; PNNL)로, 사이버보안 및 컴퓨터 화학 관련 애플리케이션에 Bow Pod 시스템을 적용할 계획입니다.
PNNL의 전산이론화학연구소(Computational and Theoretical Chemistry Institute) 공동 총괄 수터네이 추두어리(Sutanay Choudhury)는 “퍼시픽 노스웨스트 국립 연구소는 기존의 기술로 다루기 어려운 과학 문제를 해결하기 위해 머신 러닝과 GNN(그래프 신경망)의 한계에 도전하고 있다”며 “일례로, 전산화학과 사이버 보안 분야에서의 Bow IPU 활용을 추진하고 있다. 올해 그래프코어 시스템을 통해 해당 분야의 학습 및 추론 시간을 며칠에서 몇 시간으로 상당히 단축할 수 있었다. 빨라진 속도는 우리가 향후 연구에 유의미하게 머신러닝 도구를 통합할 수 있을 것이라는 가능성을 보여줬다. 이 차세대 기술과의 협업을 점차 넓혀갈 것”이라고 말했습니다.
미국의 클라우드 서비스 제공사 시라스케일(Cirrascale) 역시 Bow Pod 시스템을 자사 그래프클라우드(Graphcloud) IPU 베어 메탈(bare metal) 서비스의 일부로 고객에게 제공하고 있으며, 유럽의 클라우드 서비스 제공사 지코어랩스(G-Core Labs)는 2022년 2분기 내 Bow IPU 클라우드 인스턴스를 출시할 계획이라고 발표했습니다.
실제 결과
Bow Pod는 자연어 처리를 위한 GPT 와 BERT부터 컴퓨터 비전을위한 EfficientNet 와 ResNet, 그리고 GNN에 이르는 광범위한 AI 애플리케이션에서 가시적인 성과를 끌어낼 것으로 기대되는데요.
Bow Pod 시스템을 사용하는 고객들은 광범위한 AI 애플리케이션에서 기존 그래프코어 콜로서스 (Colossus) Mk2 IPU-Pod 시스템과 비교해 동일한 피크 엔벨로프 전력(Peak Power Envelope; PEP)에서 최대 40% 개선된 성능을 확인했습니다.
기존 IPU-Pod 시스템 대비 Bow Pod 시스템의 개선된 성능
특히, Bow Pod16은 최신 컴퓨터 비전 모델 EfficientNet 훈련에서 경쟁 제품 엔비디아 DGX A100 시스템 보다 5배 우수한 성능을 절반 가격에 제공해, 총소유비용(TCO) 절감효과는 무려 10배에 달합니다.
그래프코어 Bow 시스템 VS 엔비디아 DGX A100 시스템의 EfficientNet 모델 훈련 비교
전력 효율성 개선
최대 40%의 성능 개선뿐만 아니라, Bow Pod 시스템은 기존 제품 대비 확실히 개선된 전력 효율도 자랑합니다.
다양한 애플리케이션에 걸쳐 테스트를 진행한 결과, Bow Pod는 와트(Watt)당 최대 16% 향상된 전력 효율을 보였습니다.
기존 IPU-Pod 시스템 대비 Bow Pod 시스템의 와트당 성능 효율
‘WoW’ 요인
Bow Pod 시스템의 핵심인 Bow IPU 프로세서에 전 세계 최초로 3D 반도체 기술을 적용하여 상당히 향상된 성능과 개선된 전력 효율을 달성할 수 있었는데요.
그래프코어는 그동안 긴밀하게 협력해온 TSMC의 3D 패키징 기술인 웨이퍼-온-웨이퍼(Wafer-on-Wafer;WoW) 기술을 처음으로 적용한 고객이 됐습니다. WoW는 실리콘 다이 간 더 높은 대역폭을 제공할 수 있는 잠재력을 지닌 기술로, 전력 효율을 최적화하고 웨이퍼단에서 콜로서스 아키텍처의 전력 공급을 개선하는 데 사용됩니다.
Bow IPU에 사용된 WoW기술을 통해 두 웨이퍼가 서로 결합하여 새로운 3D 다이를 생성합니다. 즉, AI 처리를 담당하는 첫 번째 웨이퍼는 1,472개의 독립된 IPU-Core 타일이 포함돼 아키텍처상 GC200 IPU 프로세서와 호환되고, 900MB의 인프로세서 메모리를 갖춰 8,800개 이상의 스레드를 실행합니다. 그리고 두 번째 웨이퍼에 전력 제공 다이를 갖추게 됩니다.
전력 제공 다이에 딥 트렌치 커패시터(deep trench capacitor)를 프로세싱 코어와 메모리 바로 옆에 추가함으로써, 효율적으로 전력을 제공하여 350테라플롭스의 AI 연산을 지원, 40% 개선된 성능을 제공합니다. TSMC와 긴밀히 협업하여 백사이드 실리콘관통전극(BTSV)과 웨이퍼 온 웨이퍼(WoW) 하이브리드 결합 등 여러 혁신적인 기술을 포함해 전체 기술 요건을 충족할 수 있었습니다.
폴 드 부트(Paul de Bot) TSMC 유럽 지역 총괄은 “그래프코어는 TSMC의 혁신적인 SoIC-WoW 솔루션의 주요 고객으로 적극적으로 협력해왔다”며 “그래프코어의 획기적인 병렬처리 아키텍처 설계는 TSMC의 기술과 이상적인 조화를 이룬다. 그래프코어는 TSMC의 WoW 기술을 통해 전력 공급 기능을 확대하여 성능을 크게 향상시켰다. 앞으로도 해당 기술의 지속적인 발전을 위해 그래프코어와 협력을 이어 나갈 수 있길 기대한다”고 밝혔습니다.
신뢰받는 기술
업계를 선도하는 그래프코어의 여러 고객에게는 성능, 효율성과 안전성을 모두 갖춘 컴퓨터 시스템이 필요합니다. 기존 IPU를 사용하고 있는 사용자도 매끄럽게 보우 Pod 시스템으로 전환할 수 있죠.
강력하고 사용하기 쉬운 포플러(Poplar) 소프트웨어 스택과 꾸준히 증가하고 있는 IPU에 최적화된 여러 모델을 통해 Bow Pod 시스템의 최대 역량을 활용할 수 있습니다.
Bow Pod 시스템을 구성하는 Bow-2000 IPU머신은 2세대 IPU-M2000 머신과 동일한 견고한 시스템 아키텍처에 4개의 강력한 Bow IPU 프로세서가 탑재되어 1.4 페타플롭스 AI 연산 속도를 지원합니다.
기존 IPU-Pod 시스템과 역 호환이 가능하며, Bow-2000의 빠른 속도, 저지연 IPU 패브릭, 유연한 1U 폼 팩터 서버가 모두 유지됩니다.
Bow-2000은 Bow Pod 제품군의 가장 기본 구성 요소로, 4개의 Bow-2000과 1개의 호스트 서버로 구성된 Bow Pod16, 8개의 Bow 2000과 1개의 호스트 서버로 구성된 Bow Pod32부터 Bow Pod64와 대규모 플래그십 모델 Bow Pod256, Bow Pod1024까지 확장됩니다. Bow Pod 시스템을 구성할 때 호스트 서버는 업계를 선도하는 델(Dell), 아토스(Atos), 슈퍼마이크로(Supermicro), 인스퍼(Inspur), 레노버(Lenovo)의 호스트 서버 중에서 선택할 수 있습니다.
Bow IPU 시스템 제품군
상용화
보우 Pod 시스템은 전 세계적으로 출하가 시작되어 그래프코어 세일즈 파트너를 통해 이용할 수 있습니다.
그래프코어의 파트너사 시라스케일, 지코어랩스, 아토스는 Bow Pod 제품 출시를 축하하며 제품 사용 소감을 전달해왔습니다.
“시라스케일의 그래프클라우드(Graphcloud)는 그래프코어의 IPU를 경험해보지 못한 많은 AI 혁신가들에게 IPU를 경험해볼 기회를 제공함과 동시에 연산 역량을 확장해야 하는 사용자에게 유연한 스케일업 플랫폼을 제공한다. 그래프클라우드에 Bow Pod가 추가됨에 따라 클라우드 상의 AI 연산 성능을 새로운 차원으로 끌어올릴 수 있게 됐다. 이는 거대 모델 연산을 가속하는 것은 물론, 멀티테넌시(multi-tenancy) 환경의 사용자들에게도 상당한 이점을 제공할 것이다.” - 피제이 고(PJ Go) 시라스케일 클라우드 서비스(Cirrascale Cloud Services) CEO
“지코어랩스 고객에게 있어 컴퓨터 성능은 곧 ‘발전’을 의미한다. 그래프코어 IPU를 통해 고객은 더 빠른 속도로 AI 모델을 구동해 비즈니스를 발전시키고 있다. Bow POD의 향상된 연산력은 AI 혁신을 이끌게 될 것으로, 지코어랩스는 이러한 Bow 시스템의 접근성을 높이는데 중요한 역할을 할 것이다.” - 안드레 라이텐바흐(Andre Reitenbach) 지코어랩스(G-Core Labs) CEO
“그래프코어 Bow POD 시스템은 AI 연산의 새로운 기준이 되어 우리 고객들이 AI 혁신을 가속화하고 그 어느 때보다 빠른 속도로 성과를 달성할 수 있도록 지원할 것이다. 모델의 크기가 점점 더 커지고 복잡해지고 있는 가운데, 그래프코어와 아토스는 엑사스케일(Exascale) 시스템을 제공하기 위해 협력하고 있다. 높은 연산효율을 제공하기 위한 그래프코어의 지속적인 노력은 AI 투자에 대한 최고의 수익을 보장할 것이다.” - 아그네스 부도(Agnès Boudot) 아토스(Atos) 수석 부사장 겸 HPC 및 퀀텀(Quantum) 부문 총괄
