요즘 IT업계에서 많이 거론되는 이름 NVIDIA.
삼성전자, TSMC 등과 함께 향후 거대한 IT 시장을 지배할 반도체 주도권 싸움이 치열하다.
AI의 적용 분야는 날로 확산될 것이다. AIoT라 하여 거의 모든 기기들이 IT 네트워크에 연결될 것이고, 이 기기들에는 어떤 형태로든 AI가 적용될 것으로 예상된다.
기기들에 AI가 적용되고, 기기들로부터 수집된 데이터들이 빅데이터가 되고 이에 다시 AI를 적용하는 일이 매우 많아질 것이다.
빅데이터는 말 그대로 거대한 데이터가 될 것이며 이러한 거대한 데이터를 빠르게 가공하고 처리하기 위해서는 속도 및 안정성이 보장되는 매우 고성능의 칩들이 필요하다. AI용 칩은 말 그대로 거대한 시장을 형성할 것으로 예측된다. 이러한 시장 흐름에 따라 향후 AI 전문칩의 시장 주도권 싸움이 날로 치열해질 것이다.
오늘 받은 광고 메일에 NVIDIA가 있어 이들의 광고를 필사처럼 옮겨 적으며 내 IT 상식을 늘려보고자 한다.
NVIDIA DGX GH200
NVIDIA DGX GH200은 NVIDIA Grace Hopper Superchip을 사용하여 최대 규모의 신경망과 추천기능, 시뮬레이션 모델 및 생성형 AI 애플리케이션을 개발하는데 필요한 기능을 제공한다고 한다.
대규모 추천 시스템(주로 Amazon, 쿠팡, 마켓컬리 등과 같은 온라인 쇼핑몰에서 고객에게 상품을 추천하거나, 넷플릭스, 디즈니, 웨이브 같은 OTT 또는 유튜브 같은 서비스에서 고객에게 컨텐츠를 추천하는 기능) 생성형 AI 및 그래프 분석을 위한 테라바이트급 모델을 처리하도록 설계되었으며 거대한 AI 모델을 위한 선형 확장성과 함께 대규모 메모리 공간을 제공한다.
NVIDIA는 NVIDIA DGX GH200의 주요 특징을 아래와 같이 말한다.
1. 거대한 모델을 위한 거대한 메모리
NVIDIA DGX GH200은 상호 연결된 NVIDIA Grace Hopper슈퍼칩 전반에 걸쳐 대규모 AI 공간을 제공하는 유일한 AI 슈퍼 컴퓨터로, 개발자에게 더 많은 메모리를 제공하여 대규모 모델을 구축할 수 있도록 지원합니다.
2. 슈퍼파워 효율적인 컴퓨팅
Crace Hopper 슈퍼칩은 동일한 회로 기판에서 NVIDIA Grace CPU와 NVIDIA Hopper GPU를 결합하여 대역폭을 7배 증가시키고 상호 연결 전력 소비를 5배 이상 줄임으로써 기존의 PCle CPU-GPU연결이 필요하지 않습니다.
3. 통합 및 실행 준비 완료
턴키 DGX GH200 배포를 통해 몇 달이 아닌 몇 주 만에 대규모 모델을 구축할 수 있습니다. 이 풀스텍 데이터센터급 솔루션에는 설계부터 배포까지 NVIDIA의 통합 소프트웨어 및 화이트 글러브 서비스가 포함되어 있어 AI의 ROI를 빠르게 실현할 수 있습니다.
NVIDIA DGX GH200의 스펙은 아래와 같습니다.
CPU 및 GPU : NVIDIA Grace Hopper Superchip 32개
CPU 301 : SVE2 4X128b의 2,304 Arm Neoverse V2 코어
공유메모리 : 19.5TB
성능 : FP8의 128 petaFLOPS A 성능
네트워킹 : 400Gb/s infiniBand의 OSFP 단일포트 NVIDIA ConnectX-7 VPI32개
200Gb/s infiniBand 및 Ethernet의 듀얼 포트 NVIDIA BlueField 3 VPI 16개
NVIDIA NVUuink 스위치 시스템 : L1 NVIDIA NVUuink 9개
관리네트워킹 : 베이스보드 관리 컨트롤러호스팅 (BMC), RJ45
소프트웨어 : NVIDIA AI Enterprise(최적화된 AI 소프트웨어)
NVIDIA Base Command (어케스트레이션, 스케줄링 및 클러스터 관리)
DGX OS / Ubuntu / Red Hat Enterprise Linux / Rocky (운영체제)
지원 : 3년 약정의 비즈니스 표준 하드웨어 및 소프트웨어 지원
[참고] : NVIDIA Grace Hopper 슈퍼칩이란?
- 대규모 AI 및 HPC를 위해 설계된 CPU + GPU
- PCle Gen5보다 7배 빠른 새로운 초당 900GB/s 코히어런트 인터페이스
- HBM3 및 HBM3e GPU 메모리로 가속 컴퓨팅 및 생성형 AI 강화
- NVIDIA AI, HPC SDK, NVIDIA Omniverse를 포함한 모든 NVIDIA 소프트웨어 스택 및 플랫폼