죄송합니다. 더 이상 지원되지 않는 웹 브라우저입니다.

인텔 가우디 2, 생성형 AI 성능에서 벤치마크 결과 제공 가능한 NV H100의 유일한 대안

글/반도체네트워크 편집부 2024.04.01

ML커먼스(MLCommons)는 업계 표준 추론(inference) 벤치마크 ‘MLPerf v4.0’ 결과를 발표했다. 인텔® AMX(Intel® Advanced Matrix Extensions)가 포함된 5세대 인텔® 제온®(Intel® Xeon®) 스케일러블 프로세서 및 인텔® 가우디® 2(Intel® Gaudi® 2) 가속기에 대한 벤치마크 결과는 인텔이 경쟁력을 갖춘, 폭넓은 제품 포트폴리오를 통해 “AI 에브리웨어(AI Everywhere)”를 실천하겠다는 의지를 보여준다. 인텔 가우디 2 AI 가속기는 생성형 AI(GenAI) 성능에 있어 엔비디아 H100 대비 벤치마크 결과를 공개하는 유일한 대안이며 가격 대비 성능 면에서 우수한 경쟁력을 가지고 있다. 또한 인텔은 MLPerf 결과를 공개하는 유일한 서버 CPU 공급업체이기도 하다. 인텔 5세대 제온의 벤치마킹 결과는 MLPerf 인퍼런스 v3.1(MLPerf Inference v3.1)에서 4세대 인텔 제온 프로세서의 결과와 비교하여 평균 1.42배 향상되었다.

인텔 DCAI 제품 관리 총괄 제인 볼(Zane Ball) 부사장은 “인텔은 가속기 및 CPU 제품 전반에 걸쳐 업계 표준 벤치마크 결과 AI 성능을 지속적으로 개선하고 있다”라며 “이번 결과는 인텔이 고객의 역동적이고 광범위한 AI 요구 사항을 충족하는 AI 솔루션을 제공하고 있음을 보여주고 있다. 인텔 가우디 및 제온 제품 모두 고객에게 즉시 제공가능한 옵션과 강력한 가격 대비 성능상의 이점을 제공한다”고 밝혔다.

기존 MLPerf 라운드의 학습 및 추론 성능에 기반해 인텔의 MLPerf 결과는 고객들이 AI 성능을 평가할 수 있는 업계 표준 벤치마크 결과를 제공한다. 

인텔 가우디 2 결과 정보: 인텔® 가우디® 소프트웨어 제품군은 널리 사용되는 LLM(대규모 언어 모델) 및 멀티모달(multimodal) 모델의 모델 적용 범위를 지속적으로 확대하고 있다. MLPerf 인퍼런스 v4.0의 경우 인텔은 최첨단 모델 스테이블 디퓨전 XL(Stable Diffusion XL) 및 Llama v2-70B에 대한 가우디 2 가속기 결과를 제출했다. 텍스트 생성 추론(Hugging Face Text Generation Inference)에 대한 높은 고객 요구로 가우디의 Llama 결과에서는 연속 일괄 처리 및 텐서 병렬 처리를 지원하는 TGI 툴킷을 사용하여 실제 LLM 확장의 효율성을 향상시켰다. Llama v2-70B의 경우 가우디 2는 각각 오프라인 및 초당 서버 토큰에 대해 8035.0 및 6287.5를 제공했다. 또한 스테이블 디퓨전 XL에서 가우디 2는 초당 오프라인 샘플 및 초당 서버 쿼리에 대해 각각 6.26 및 6.25를 제공했다. 이러한 결과에 기반해 인텔 가우디 2는 TCO(총소유비용)면에서 중요한 고려 사항인 경쟁력있는 가성비를 지속적으로 제공하고 있다.

인텔 5세대 제온 결과 정보: 하드웨어 및 소프트웨어 개선에 따라 인텔 5세대 제온 테스트 결과는 MLPerf 인퍼런스 v3.1에서 4세대 인텔 제온 프로세서 대비 기하 평균이 1.42배 향상되었다. 예를 들어 연속 일괄 처리를 포함한 소프트웨어 최적화를 갖춘 GPT-J의 경우 5세대 제온은 v3.1에 비해 약 1.8배의 성능 향상을 보였다. 마찬가지로 DLRMv2는 인텔 AMX를 활용하는 MergedEmbeddingBag 및 기타 최적화를 통해 약 1.8배의 성능 향상과 99.9의 정확도를 보였다.

인텔은 시스코(Cisco), 델(Dell), 콴타(Quanta), 슈퍼마이크로(Supermicro), 위윈(WiWynn)와 같은 OEM 파트너와의 협력을 통해 자체 MLPerf 제출을 제공한 데 대해 자부심을 가지고 있다. 또한 인텔은 2020년부터 4개 세대의 제온 제품에 대한 MLPerf 결과를 제출했으며 제온은 많은 가속기의 결과 제출시 사용된 호스트 CPU이기도 하다.

인텔 개발자 클라우드에서 AI 솔루션을 사용해 보는 방법: 5세대 제온 프로세서와 인텔 가우디 2 가속기는 인텔® 개발자 클라우드(Intel Developer Cloud)에서 사용해볼 수 있다. 이 환경에서 사용자는 소규모 및 대규모 학습(LLM 또는 GenAI)과 추론 생산 워크로드를 대규모로 실행하고 AI 컴퓨팅 리소스 등을 관리해볼 수 있다.

Intel 소개
반도체 업계의 선두주자인 인텔(NASDAQ: INTC)은 우리의 삶을 윤택하게 하고 전 세계의 발전을 가능케 할 세상을 바꾸는 기술들을 창조하고 있다. 무어의 법칙을 바탕으로 인텔은 고객의 문제 해결을 돕기 위해 반도체의 설계와 제조 과정을 지속적으로 발전하기 위해 노력하고 있다. 인텔은 클라우드, 네트워크, 엣지 그리고 모든 컴퓨팅 디바이스에 인텔리전스를 접목함으로써 데이터의 잠재력을 끌어내 기업의 비즈니스는 물론 우리가 살고 있는 사회를 좀 더 나은 방향으로 변화시키고 있다. 인텔의 혁신적인 노력에 대한 보다 자세한 정보는 newsroom.intel.com 혹은 intel.com에서 확인 가능하다. 인텔©. 인텔 및 인텔 로고는 인텔사 또는 그 자회사의 상표이다. 기타 명칭과 브랜드는 해당 소유업체의 자산이다.