NVIDIA, 핫 칩에서 호퍼 GPU 및 그레이스 CPU에 대한 새로운 세부 정보 공개

NVIDIA, 그레이스 CPU, 호퍼 GPU, NVLink 스위치, 핫 칩의 젯슨 오린 모듈에 대한 새로운 세부 정보 공유

최신 칩 설계는 AI, 엣지 및 고성능 컴퓨팅에서 NVIDIA의 플랫폼 혁신의 폭과 깊이를 반영합니다.

 

 

이틀에 걸친 네 번의 강연에서 NVIDIA 선임 엔지니어들은 네트워크 엣지에 있는 최신 데이터 센터와 시스템을 위한 가속화된 컴퓨팅의 혁신에 대해 설명합니다.

 

프로세서 및 시스템 아키텍트가 매년 모이는 가상 핫 칩 이벤트에서 NVIDIA의 첫 번째 서버 CPU, 호퍼 GPU, NVSwitch 상호 연결 칩의 최신 버전 및 NVIDIA Jetson Orin 시스템 온 모듈(SoM)에 대한 성능 번호 및 기타 기술 세부 정보를 공개합니다.

 

프레젠테이션은 NVIDIA 플랫폼이 어떻게 새로운 차원의 성능, 효율성, 규모 및 보안을 달성할 것인지에 대한 새로운 통찰력을 제공합니다.

 

특히, 이 강연은 GPU, CPU 및 DPU가 피어 프로세서 역할을 하는 칩, 시스템 및 소프트웨어의 전체 스택에서 혁신하는 설계 철학을 보여줍니다. 이들은 함께 클라우드 서비스 제공업체, 슈퍼컴퓨팅 센터, 기업 데이터 센터 및 자율 시스템 내에서 이미 AI, 데이터 분석 및 고성능 컴퓨팅 작업을 실행하고 있는 플랫폼을 구축합니다.

 

엔비디아의 퍼스트 서버 CPU 내부

데이터 센터에는 CPU, GPU 및 기타 액셀러레이터의 유연한 클러스터가 필요하며 대규모 메모리 풀을 공유하여 오늘날의 워크로드 요구 사항을 에너지 효율적인 성능을 제공해야 합니다.

 

이러한 요구를 충족시키기 위해 NVIDIA의 저명한 엔지니어이자 15 년의 베테랑 인 Jonathon Evans는 NVIDIA NVLink-C2C에 대해 설명합니다. CPU와 GPU를 초당 900GB로 연결하며, 비트당 1.3피코줄만 소비하는 데이터 전송 덕분에 기존 PCIe Gen 5 표준보다 5배 높은 에너지 효율을 제공합니다.

 

NVLink-C2C는 두 개의 CPU 칩을 연결하여 144개의 Arm Neoverse 코어로 NVIDIA Grace CPU를 생성합니다. 세계에서 가장 큰 컴퓨팅 문제를 해결하기 위해 만들어진 프로세서입니다.

효율성을 극대화하기 위해 그레이스 CPU는 LPDDR5X 메모리를 사용합니다. 초당 테라바이트의 메모리 대역폭을 지원하면서 전체 컴플렉스의 전력 소비를 500와트로 유지합니다.

 

하나의 링크, 많은 용도

NVLink-C2C는 또한 Grace CPU 및 Hopper GPU 칩을 NVIDIA Grace Hopper Superchip의 메모리 공유 피어로 연결하여 AI 교육과 같이 성능이 부족한 작업에 최대한의 가속을 제공합니다.

 

누구나 NVLink-C2C를 사용하여 NVIDIA GPU, CPU, DPU 및 SoC에 일관되게 연결하여 새로운 종류의 통합 제품을 확장할 수 있는 맞춤형 칩릿을 구축할 수 있습니다. 상호 연결은 Arm 및 x86 프로세서에서 각각 사용하는 AMBA CHI 및 CXL 프로토콜을 지원합니다.

 

그레이스와 그레이스 호퍼에 대한 첫 번째 메모리 벤치 마크.

 

시스템 수준에서 확장하기 위해 새로운 NVIDIA NVSwitch는 여러 서버를 하나의 AI 슈퍼컴퓨터에 연결합니다. NVLink를 사용하여 초당 900GB로 실행되는 상호 연결, PCIe Gen 5의 대역폭의 7배 이상을 사용합니다.

 

NVSwitch를 사용하면 32개의 NVIDIA DGX H100 시스템을 AI 슈퍼컴퓨터에 연결하여 최고의 AI 성능을 제공할 수 있습니다.

 

알렉산더 이시이 (Alexander Ishii)와 라이언 웰스 (Ryan Wells)는 베테랑 NVIDIA 엔지니어 모두 스위치를 통해 사용자가 최대 256 GPU로 시스템을 구축하여 1 조 개 이상의 매개 변수를 가진 AI 모델 교육과 같은 까다로운 워크로드를 해결할 수있는 방법을 설명합니다.

 

이 스위치에는 NVIDIA 확장 가능한 계층적 집계 감소 프로토콜을 사용하여 데이터 전송 속도를 높이는 엔진이 포함되어 있습니다. 샤프는 NVIDIA 퀀텀 인피니밴드 네트워크에 데뷔한 인네트워크 컴퓨팅 기능이다. 통신 집약적 인 AI 응용 프로그램에서 데이터 처리량을 두 배로 늘릴 수 있습니다.

 

 

회사에서 14 년 동안 근무한 수석 저명한 엔지니어 인 Jack Choquette는 NVIDIA H100 Tensor Core GPU (일명 Hopper)에 대한 자세한 투어를 제공 할 예정입니다.

 

새로운 상호 연결을 사용하여 전례없는 높이로 확장 할 수있을뿐만 아니라 가속기의 성능, 효율성 및 보안을 향상시키는 많은 고급 기능을 갖추고 있습니다.

 

호퍼의 새로운 변압기 엔진과 업그레이드된 텐서 코어는 세계 최대 신경망 모델을 사용한 AI 추론에서 이전 세대에 비해 30배의 속도 향상을 제공합니다. 또한 세계 최초의 HBM3 메모리 시스템을 사용하여 NVIDIA의 가장 큰 세대 증가인 무려 3테라바이트의 메모리 대역폭을 제공합니다.

 

다른 새로운 기능 중 :

 

Hopper는 다중 테넌트, 다중 사용자 구성에 대한 가상화 지원을 추가합니다.

새로운 DPX 명령어는 선택 매핑, DNA 및 단백질 분석 애플리케이션을 위한 반복 루프 속도를 높입니다.

Hopper는 기밀 컴퓨팅을 통해 향상된 보안을 지원합니다.

경력 초기에 Nintendo64 콘솔의 리드 칩 디자이너 중 한 명인 Choquette는 Hopper의 발전 중 일부의 기초가되는 병렬 컴퓨팅 기술을 설명 할 것입니다.

 

이 회사에서 17년간 재직한 아키텍처 관리자인 Michael Ditty는 엣지 AI, 로봇 공학 및 고급 자율 기계용 엔진인 NVIDIA Jetson AGX Orin에 새로운 성능 사양을 제공할 예정입니다.

 

12개의 Arm Cortex-A78 코어와 NVIDIA Ampere 아키텍처 GPU를 통합하여 AI 추론 작업에서 초당 최대 275조 건의 작업을 제공합니다. 이는 이전 세대보다 2.3배 높은 에너지 효율로 최대 8배 더 높은 성능입니다.

 

최신 생산 모듈은 최대 32GB의 메모리를 갖추고 있으며 포켓 크기의 5W Jetson Nano 개발자 키트로 확장되는 호환 가능한 제품군의 일부입니다.

 

엔비디아 오린을 위한 성능 벤치마크

 

모든 새로운 칩은 700 개 이상의 응용 프로그램을 가속화하고 2.5 백만 명의 개발자가 사용하는 NVIDIA 소프트웨어 스택을 지원합니다.

 

CUDA 프로그래밍 모델을 기반으로 자동차(DRIVE) 및 헬스케어(클라라)와 같은 수직 시장을 위한 수십 개의 NVIDIA SDK와 추천 시스템(멀린) 및 대화형 AI(리바)와 같은 기술이 포함되어 있습니다.

 

NVIDIA AI 플랫폼은 모든 주요 클라우드 서비스 및 시스템 제조업체에서 사용할 수 있습니다.