생성형 AI - 극히 전력 소모가 큰 컴퓨팅 애플리케이션의 전력 소모 줄이기

PDF 다운로드

글/Maury Wood, VP Strategic Marketing, Vicor

생성형 AI 신경망 모델을 학습시키기 위해서는 통상적으로 수 개월이 소요되며, 수십 억 개의 트랜지스터로 이루어진 GPU 기반 프로세서 수천 개, 고대역폭 SDRAM, 초당 테라비트에 이르는 광 네트워크 스위치를 동시적이고도 연속적으로 가동한다. 생성형 AI는 인간의 생산성을 높일 것으로 기대되나, 에너지 및 온실 가스 비용에 있어서 부담을 높일 것이다.

뉴욕 타임즈의 기사에 따르면, 2027년에 AI 서버가 연간 85 ~ 134테라와트시의 전력을 소비할 것으로 예상된다. 이것은 아르헨티나의 연간 전기 에너지 소비량과 맞먹는 것이다.

이처럼 증가하는 에너지 소비량을 억제하기 위해서 AI 프로세서 용으로 전원 공급 네트워크가 세대를 거듭하면서 진화하고 있다. 회로 아키텍처, 전원 변환 토폴로지, 소재 과학, 패키징, 기계적/열 엔지니어링을 비롯한 다양한 측면에서 혁신이 이루어지고 있다.

생성형 AI 학습 프로세서 용으로 PoL과 팩토라이즈드 전원 공급의 진화

TDP(Thermal Design Power)는 생성형 AI 학습 애플리케이션에 사용되는 GPU 기반 엔진의 연속적 전력 소모를 나타내는 지표로서, 2020년에서 2022년 사이에 TDP가 400W에서 700W로 거의 두 배로 높아졌다. 2022년 이후로 반도체 업계는 TDP가 꾸준히 증가하는 것을 목격하고 있으며, 2024년 3월에는 1,000W TDP에 이르는 GPU가 발표되었다.

생성형 AI 학습 용으로 칩릿 기반 프로세서 컴플렉스는 하나의 GPU 또는 ASIC 다이와 6~8개의 고대역폭 메모리(HBM) 다이들로 이루어진다. GPU는 4nm CMOS로 통상적으로 0.65V의 코어 VDD로 동작하며, 1천억 개 혹은 그 이상의 트랜지스터를 포함할 수 있다. HBM은 144기가바이트에 이를 수 있으며, 통상적으로 1.1V 또는 1.2V 전원 전압으로 동작한다. 프로세서의 전원 공급에 있어서 가장 중요한 특징은 인공 신경망 알고리즘 로딩과 관련된다. GPU가 휴지(idle) 상태일 때와 알고리즘을 완전히 로드한 상태일 때 트랜션트 전류 소모(dI/dt)가 크게 변동적이다. 알고리즘을 완전히 로드한 상태일 때는 마이크로초에 2,000A 혹은 그 이상까지도 될 수 있다. 또한 이 프로세서는 높은 수준의 전원 전압 언더슈트 또는 오버슈트를 허용하지 못한다. 통상적으로 이러한 부하 스텝 트랜션트를 공칭 VDD의 10% 또는 그 미만으로 제한해야 한다. 이러한 역동적 동작 조건 때문에 생성형 AI 프로세서 학습 용으로 전원 공급 솔루션은 수십 밀리초 동안 지속되는 피크 이벤트로 피크 전류 공급 용량이 연속적 전류 공급 용량의 두 배가 되도록 설계한다(그림 1).

CPU, FPGA, 네트워크 스위치 프로세서 용으로 그리고 이제는 AI 학습 및 추론 칩 용으로 진화해온 가장 주된 전원 공급 아키텍처는 PoL(Point of Load) 접근법이다. 팩토라이즈드 PoL 전류 곱셈 접근법은 전통적인 다위상 전압 애버리징보다 훨씬 더 높은 전력 및 전류 밀도를 달성한다. 이 전원 아키텍처는 이상화된 트랜스포머 “권수비(turns ratio)”라고 하는 개념을 사용한다. 이것은 전압 분할이 전류 곱셈을 생성하는 것이다. 전류 곱셈은 확장적 성격에 의해서 각기 다른 출력 전압 및 출력 전류로 포괄적인 계열의 PoL 컨버터들을 개발할 수 있도록 한다. 이 점이 특히 중요한 것은, 첨단 AI 학습 프로세서의 요구가 빠르게 변화하고 있기 때문이다.

팩토라이즈드 전원 아키텍처(FPA) - 레귤레이션과 변환 기능 요소화

오늘날 생성형 AI 전원 시스템 디자인은 다음과 같은 과제들을 해결해야 한다:

• 500A부터 2000A까지 이르는 매우 높은 전류 공급 용량

• 부하들이 매우 역동적인 성능 요구

• 높은 PDN 손실과 임피던스

• 48V 버스 인프라 사용이 일반화됨으로써 48V 대 서브 1V 변환 필요

이러한 고전류 고밀도 PoL 문제를 해결하기 위해서는 다른 접근법이 요구된다. 새로이 도입된 팩토라이즈드 전원 아키텍처(Factorized Power Architecture)는 레귤레이션과 전압 변환/전류 곱셉 기능을 요소들로 해체함으로써 다시 말해서 요소화(factorize)함으로써 이러한 전원 공급 스테이지들을 최적의 위치에다 배치하고 되도록 높은 효율과 전력/전류 밀도를 달성하도록 한다.

레귤레이터는 VIN = VOUT 일 때 최대의 효율이며, 레귤레이터의 입력 대 출력 비가 높아짐에 따라서 효율이 감소한다. 통상적인 입력 전압이 36V와 60V 사이에서 변동적이므로, 최적의 출력 버스 전압은 IBA(Intermediate Bus Architecture)에 흔히 사용되는 기존 12V 버스보다는 48V이다. 48V 출력 버스는 12V 버스보다 4배 더 낮은 전류를 필요로 하고(P = VI), PDN 손실은 전류의 제곱이므로(P = I2R) 손실을 16배까지 낮춘다. 그러므로 레귤레이터를 먼저 배치하고 48V 출력으로 레귤레이트함으로써 최대의 효율을 달성할 수 있다. 레귤레이터는 때때로 48V보다 낮게 스윙하는 입력을 수용해야 하므로, 이 측면을 만족시키기 위해서는 벅-부스트 레귤레이션 스테이지가 필요하다. 입력 전압을 레귤레이트했으면 그 다음 단계는 48V를 1V로 변환하는 것이다.

1V 부하를 필요로 하는 경우에 가장 좋은 변환 비는 48:1일 것이다. 이러한 경우에는 레귤레이터가 입력을 48V 출력으로 벅 또는 부스트하고 트랜스포머가 48V에서 1V로 스텝다운한다. 스텝다운 전압 트랜스포머는 전류를 같은 비율로 상승시키기 때문에, 트랜스포머 소자를 전류 곱셈기라고도 할 수 있다. 이 경우에는 1A 입력 전류를 48V 출력으로 곱할 것이다. 고전류 출력의 PDN 손실을 최소화하기 위해서는 전류 곱셈기의 크기를 작게 해서 되도록 부하에 가깝게 배치할 수 있도록 해야 한다.

PRM 레귤레이터와 VTM/MCM 모듈러 전류 곱셈기가 결합해서 Vicor의 팩토라이즈드 전원 아키텍처를 형성한다. 이 두 디바이스가 서로 결합적으로 작동하면서 각각이 자신의 특수한 역할을 효율적으로 수행함으로써 전체적인 DC-DC 변환 기능을 가능하게 한다. PRM은 레귤레이트되지 않은 입력 소스로부터 레귤레이트된 출력 전압 또는 “팩토라이즈드 버스”를 제공한다. 이 버스는 VTM으로 전달되고, VTM이 팩토라이즈드 버스 전압을 부하가 필요로 하는 레벨로 변환한다.

IBA와 달리 FPA는 중간 버스 전압을 직렬 인덕터를 통해서 PoL로 스텝다운하지 않는다. 중간 버스 전압을 애버리징하는 대신에, FPA는 1:48 또는 그 이상의 전류 이득으로 고전압 레귤레이션 및 전류 곱셈기 모듈을 사용해서 더 높은 효율, 더 작은 크기, 더 빠른 응답을 달성하고, 1000A 이상으로 확장 가능하다(그림 2).

[그림 2] 팩토라이즈드 전원 아키텍처는 1000A 이상의 높은 전류를 제공할 수 있으며 전원 공급 네트워크 저항을 20배까지 낮추도록 한다.

수직형 PoL 컨버터 배치로 전력 소모 감소

처음 몇 세대의 고전류 생성형 AI 프로세서 전원 아키텍처는 PoL 컨버터를 프로세서 컴플렉스와 측방향으로(옆으로 나란히) 배치했다. 측방향으로 배치한 PoL 솔루션의 전원 공급 네트워크(PDN)는 럼프드 임피던스(lumped impedance)가 200µΩ 혹은 그 이상으로 꽤 높다. 이것은 PCB로 구리의 저항과 트레이스 길이 때문이다. 그러므로 생성형 AI 학습 프로세서의 연속적 전류 요구량이 1,000A로 높아짐에 따라서, PCB 자체만으로 200와트의 전력 소모에 해당되게 되었다. 거대 언어 모델 학습으로 AI 수퍼컴퓨터에 사용되는 수천 개의 가속화기 모듈(AM)을 곱했을 때, 이 200와트가 모여서 상당한 양의 전력 소모에 이를 수 있다. 특히나 AM은 거의 전원을 끄지 않는다는 점을 감안하면 더 그렇다. 이러한 AM들은 10년이나 그 이상 동안 24/7으로 작동된다.

이와 같이 에너지가 낭비된다는 것을 인식하고 AI 컴퓨터 디자이너들이 PoL 컨버터를 프로세서 컴플렉스 바로 하단에다 배치하는 것을 검토하기 시작했다. 이것을 수직형 전원 공급(Vertical Power Delivery) 구조라고 한다. VPD PDN은 럼프드 임피던스가 10µΩ 또는 그 미만이 될 수 있다. 이것은 코어 전압 도메인으로 1,000A 연속으로 10와트의 소모에 해당된다. 그러므로 측방향 PoL 컨버터 배치에서 수직형 PoL 컨버터 배치로 전환함으로써 PCB 전력 소모를 200 - 10 = 190와트(WPCB) 낮출 수 있다(그림 3).

VPD의 또 다른 이점은 GPU 다이 표면 전압 변화도를 낮춘다는 것이다. 이 역시도 전력을 절약하는 것으로 이어진다. 앞서도 언급했듯이, 통상적인 4nm CMOS GPU 공칭 동작 전압은 0.65VDD이다. 측방향 전원 공급을 사용하면 프로세서 컴플렉스의 사면 가장자리로 전력을 인가하므로, GPU 다이 중앙에서 0.65V 공칭을 이루기 위해서 0.70V의 전압이 필요할 수 있다. 이것은 집적회로 전력 분포 임피던스 때문이다(통상적으로 알루미늄 전도체를 사용하는데, 알루미늄은 구리보다 저항이 높다). 수직형 전원 공급을 사용하면 다이 표면에서 0.65V를 보장할 수 있다. 0.70 - 0.65V = 50mV의 이 차이를 1,000A로 곱하면 추가적인 50와트(WVDD)의 전력을 절약할 수 있다는 뜻이다. 그러므로 이 경우에 총 전력 소모 절약은 190 WPCB + 50 WVDD = 240와트이다(그림 4).

앞으로 공공 분야의 AM 수요 전망(2024년에 250만 유닛 이상)과 전기 전력의 가격 전망(메가와트시에 75달러)에 따르면, AM당 이 240W의 절약은 2026년에 전세계적 차원에서 테라와트시의 전력을 절약함으로써 해마다 수십억 달러의 전기 요금을 절약하고 (재생 에너지 믹스에 따라서) 수백만 톤의 이산화탄소 배출을 줄이는 효과를 가져올 것이다. 

급격히 증가하는 생성형 AI 전력 소모 억제

Vicor는 생성형 AI 전원 공급에 있어서 이러한 진화를 선도하고 있다. 팩토라이즈드 PoL 컨버터 솔루션은 생성형 AI 프로세서 전력 효율을 높이도록 함으로써, 생성형 AI 전력 소모를 사회적 차원의 환경 보호 목표와 더 잘 부합하도록 도울 것이다.

Vicor는 생성형 AI 모델 학습과 관련해서 빠르게 증가하는 전력 소모를 완화할 수 있도록 새로운 전원 아키텍처와 향상된 새로운 제품을 개발하는 것을 통해서 끊임없이 혁신을 계속하고 있다. PoL DC-DC 변환에 있어서 진보된 팩토라이즈드 전류 곱셉기 접근법으로 모든 이들에게 생성형 AI의 혜택이 돌아가도록 하면서 전지구적 차원에서 전력 소모를 억제하도록 기여할 것이다. 

기사입력 : 2024-10-02