AMD, LLM 플랫폼 ‘라미니’에 AMD 인스팅트 하드웨어 및 소프트웨어 기술 지원
글/반도체네트워크 편집부 2023.09.30
AMD가 기업 맞춤형 프라이빗 모델을 구축할 수 있는 LLM (Large Language Model, 거대 언어 모델) 플랫폼 ‘라미니(Lamini)’의 블로그 게시물을 게재했다. 이번 게시물을 통해 라미니는 전체 LLM 소프트웨어 스택이 AMD 인스팅트(AMD Instinct) 하드웨어 및 AMD 소프트웨어로 구축 및 훈련됐다고 전했다.
기업용 LLM에 대한 높은 수요에도 불구하고 대다수 기업들은 LLM 전문성 부족 등으로 인해 실제 활용에 많은 어려움을 겪고 있다. 라미니는 지난 1년간 AMD 인스팅트 그래픽 카드를 통해 LLM을 구동해 왔으며 기업 고객으로부터 최고 수준의 성능에 대한 평가를 받았다. 또한, 기업들이 단 세 줄의 코드만으로 AMD 인스팅트 GPU에서 프로덕션 지원 LLM을 손쉽게 실행할 수 있는 방법을 제공한다.
라미니 CEO 샤론 주(Sharon Zhou)는 “기존 소프트웨어들과 동일하게 LLM IP를 소유하고 쉽게 사용할 수 있어야 한다”며 “AMD 인스팅트 GPU를 활용해 리드타임을 최소화하고 새로운 기회를 만들어 낼 수 있게 되어 기쁘다”고 밝혔다.
라미니 CTO 그렉 다이아모스(Greg Diamos)는 “AMD ROCm은 라미니 소프트웨어를 사용해 LLM 용 쿠다(CUDA)와 소프트웨어 패리티(software parity)를 달성했다”며 “라미니 시스템에 인스팅트 MI250을 채택함으로써 고객들이 요구하는 대형 모델을 구동하고 최적화된 미세 조정 기능을 제공한다. MI250의 대형 HBM 용량(128GB)을 사용해 보다 확장된 모델과 A100 클러스터 대비 단순화된 소프트웨어를 선보인다”고 전했다.
또한, 라미니 파트너사 iFIT CTO 체이스 브래머(Chase Brammer)는 “라미니 시스템과 이를 통해 제공되는 엔터프라이즈 LLM을 통해 엔지니어링팀에서 손쉽게 LLM 기능을 구축했다”며 “AMD 인스팅트 하드웨어를 활용해 몇 줄만의 코드만으로 빠르게 시스템을 구축하고 작업을 이어갈 수 있었다”고 밝혔다.
라미니 블로그 게시물 관련 세부적인 내용은 공식 웹사이트를 통해 확인하실 수 있다.
AMD, 전문가용 모바일 및 데스크톱 시스템에 탁월한 성능을 제공하는 기...
조회수 95회 / AMD
AMD, AI 기반 임베디드 시스템의 엔드투엔드 가속 지원하는 새로운 2세...
조회수 92회 / AMD
AMD 적응형 컴퓨팅 기술, 소니세미컨덕터솔루션즈의 자동차용 라이다 레...
조회수 116회 / AMD
AMD, 비용 효율적인 엣지 애플리케이션을 위한 스파르탄 울트라스케일+ ...
조회수 116회 / AMD
AMD 라데온 RX 7900 GRE 그래픽 카드 전 세계 출시
조회수 187회 / AMD
AMD, MWC 2024에서 폭넓은 통신사 파트너 생태계와 5G 어드밴스드 및 6G...
조회수 173회 / AMD
AMD, 보다 효율적인 선로 검사를 지원하는 AI 선로 검사 솔루션
조회수 153회 / AMD
AMD, 임베디드 프로세서와 적응형 SoC를 결합한 ‘임베디드+’ 아키텍처로...
조회수 222회 / AMD
AMD, 세계 최초 전용 AI 엔진 탑재 데스크탑 프로세서 공식 출시
조회수 208회 / AMD
PDF 다운로드
회원 정보 수정