엔비디아 연말맞이 Toy Jensen이 부르는 AI 기반의 '징글벨' 버전

Toy Jensen Rings in Holidays With AI-Powered ‘Jingle Bells’ | NVIDIA Blog

 

 

 

 

순전히 우연의 순간, 자신의 공연을 온라인으로 스트리밍하는 재능 있는 가수 라일레(Lah Yileh Lee)와 신팅 리(Xinting Lee)는 타이페이의 광장에서 공연을 하던 중 NVIDIA 설립자이자 CEO인 젠슨 황(Jensen Huang)을 우연히 만났습니다.

 

Huang은 레이디 가가의 "Always Remember Us This Way"를 녹음하는 세레나데를 응원하며 합류하지 않을 수 없었습니다.

그 결과 비디오는 Huang이 원래 요청한 노래인 레이디 가가의 "Hold My Hand"를 부른 두 사람의 후속 비디오와 마찬가지로 빠르게 입소문을 탔습니다.

 

엔비디아 옴니버스 아바타 클라우드 엔진을 사용하여 만든 장난감 젠슨

이제 AI 기반 아바타 인 Toy Jensen의 도움으로 Huang은 장난스러운 휴일 테마 응답을 생각해 냈습니다.

 

NVIDIA의 크리에이티브 팀은 NVIDIA Omniverse 아바타 클라우드 엔진(ACE) 플랫폼의 일부인 핵심 기술을 선보이는 기술 데모인 TJ의 홀리데이 퍼포먼스를 빠르게 개발했습니다.

 

Omniverse ACE는 개발자가 매력적인 대화형 아바타를 쉽게 구축, 사용자 지정 및 배포할 수 있는 클라우드 네이티브 AI 마이크로서비스 및 워크플로 모음입니다.

 

전문 지식, 특수 장비, 수동 집약적인 워크플로가 필요한 현재의 아바타 개발과 달리 Omniverse ACE는 Omniverse 플랫폼과 NVIDIA의 통합 컴퓨팅 프레임워크(UCF)를 기반으로 구축되어 최소한의 코딩으로 AI 파이프라인을 빠르게 만들고 구성할 수 있습니다.

 

엔비디아 기술 프로그램 매니저인 사이러스 호그(Cyrus Hogg)는 "정말 놀라운 기술이며, 우리가 이를 해낼 수 있다는 사실은 경이롭다"고 말했습니다.

 

이를 실현하기 위해 NVIDIA 팀은 최근에 개발된 음성 변환 모델을 사용하여 그들이 제공한 샘플에서 전문 가수의 음성을 추출하여 원래 몇 시간의 실제 녹음 교육을 통해 개발된 TJ의 음성으로 변환했습니다. 그들은 그 샘플의 음표를 사용하여 TJ의 디지털 음성에 적용하여 아바타가 원래 가수와 동일한 음표와 동일한 리듬으로 노래하도록 했습니다.

 

엔비디아 옴니버스 제너레이티브 AI – 오디오2페이스, 오디오2제스처로 사실적인 표정, 신체 움직임 구현
그런 다음 팀은 NVIDIA Omniverse ACE와 Omniverse Audio2Face 및 Audio2Gesture 기술을 사용하여 TJ의 오디오만을 기반으로 애니메이션 공연을 위한 사실적인 표정과 신체 움직임을 생성했습니다.

 

Omniverse ACE 기술을 개발한 팀은 공연에서 선보인 기술을 개발하고 미세 조정하는 데 수년을 보냈지만, 제작한 음악 트랙을 세련된 비디오로 만드는 데 몇 시간 밖에 걸리지 않았습니다.

 

장난감 젠슨, '징글벨' 퍼포먼스로 팬들을 기쁘게 하다

그것은 그들에게 놀라운 성능을 보장 할 수있는 충분한 시간을주었습니다.

 

그들은 심지어 마이클 부블레와 데이비드 포스터와 함께 작업한 작곡가이자 프로듀서인 Jochem van der Saag와 협력하여 TJ가 함께 노래할 수 있는 완벽한 반주 트랙을 만들었습니다.

 

"우리는 van der Saag가 노래를 작곡하고 그는 또한 우리를 위해 그것을 조율 할 것입니다."라고 Hogg는 말했습니다. "그래서 그것은 팀에 정말 큰 도움이 됩니다. 그리고 우리는 그를 영입하게 되어 정말 기쁩니다."