엔비디아, 젠슨의 컴퓨팅 '황의 법칙' 설명

황의법칙 : GPU 가격은 2년마다 1.5배 상승.

프로세스 향상은 지난 10년 동안 1,000배 GPU 추론 성능이 향상된 것보다 훨씬 덜 중요하다고 주장됩니다.

엔비디아 CEO 젠슨 황 (이미지 출처: Shutterstock)
2020년대에도 무어의 법칙이 둔화되고 있는지 , 계속 적용될 수 있는지, 아니면 심지어 죽었는지 살아 있는지에 대한 사람들의 논쟁이 벌어지는 동안 엔비디아 과학자들은 황의 법칙 뒤에 숨은 인상적인 추진력을 예고합니다. 지난 10년 동안 Nvidia GPU AI 처리 능력은 1000배 증가했다고 합니다. 황의 법칙은 "단일 칩 추론 성능"에서 우리가 본 속도 향상이 이제 줄어들지 않고 계속해서 나타날 것임을 의미합니다.

Nvidia는 금요일에 황의 법칙에 대한 블로그 게시물을 게시하여 그 뒤에 있는 신념과 작업 관행을 간략하게 설명했습니다. Nvidia 수석 과학자 Bill Dally가 "무어 법칙 이후 시대에 컴퓨터 성능이 제공되는 방식의 구조적 변화"라고 설명하는 것은 흥미롭게도 주로 인간의 독창성에 기반을 두고 있습니다. 이 특성은 법칙을 확립하기에는 다소 예측할 수 없는 것처럼 보이지만 Dally는 아래의 인상적인 차트가 황의 법칙의 시작에 불과하다고 믿습니다.

Dally의 최근 Hot Chips 2023 컨퍼런스 토크에 따르면 위 차트는 지난 10년 동안 GPU AI 추론 성능이 1000배 증가한 것을 보여줍니다. 흥미롭게도 무어의 법칙과 달리 프로세스 축소는 황의 법칙의 진행에 거의 영향을 미치지 않았다고 Nvidia 수석 과학자가 말했습니다.

(이미지 출처: 엔비디아)
Dally는 Nvidia GPU 기본 숫자 처리를 변경하여 어떻게 16배의 이득을 얻었는지 회상합니다. Transformer Engine을 사용하는 Nvidia Hopper 아키텍처 의 등장으로 또 다른 큰 발전이 이루어졌습니다 . Hopper는 8비트 및 16비트 부동 소수점과 정수 연산을 동적으로 혼합하여 12.5배의 성능 도약을 제공하고 에너지를 절약한다고 주장합니다. 이전에 Nvidia Ampere는 2배의 성능 향상을 위해 구조적 희소성을 도입했다고 과학자는 말했습니다. NVLink 및 Nvidia 네트워킹 기술과 같은 발전으로 인해 이러한 인상적인 이점이 더욱 강화되었습니다.

Dally의 가장 놀라운 주장 중 하나는 AI 추론 성능의 1000배 이상의 복합적인 이득이 프로세스 개선으로 인한 이득과 극명하게 대조된다는 것입니다. 지난 10년 동안 Nvidia GPU가 28nm에서 5nm 프로세스로 전환함에 따라 반도체 프로세스 개선은 "총 이익의 2.5배에 불과했습니다"라고 Hot Chips의 Dally는 주장했습니다.

 "신선한 재료를 발명하고 검증하는 독창성과 노력"이라는 개념을 바탕으로 황의 법칙은 어떻게 계속해서 발전할 수 있을까요? 고맙게도 Dally는 그와 그의 팀이 여전히 AI 추론 처리를 가속화할 수 있는 "여러 기회"를 보고 있다고 말합니다. 탐구할 분야에는 "숫자 표현 방식을 더욱 단순화하고, AI 모델에서 더 많은 희소성을 생성하고, 더 나은 메모리 및 통신 회로를 설계하는 것"이 ​​포함됩니다.