NVIDIA의 "Chat With RTX"는 TensorRT-LLM으로 구동되고 모든 RTX 30 및 40 GPU에서 무료로 사용 가능한 Windows PC용 현지화된 AI 챗봇

신기한 프로젝트가있네요. 무려 엔비디아 공식입니다!

AI 생태계를 확장하는 NVIDIA는 TensorRT-LLM으로 구동되고 최신 RTX GPU에서 무료로 사용할 수 있는 Windows PC용 챗봇인 "Chat with RTX"를 출시했습니다.

NVIDIA는 ChatGPT를 RTX 30 및 40 GPU에서 무료로 사용할 수 있는 로컬에서 사용 가능한 "Chat With RTX" AI 챗봇으로 대체하려고 합니다.

"Chat with RTX" 챗봇의 유틸리티는 매우 간단합니다. 이는 현지화된 시스템으로 설계되었습니다. 즉, 온라인에 접속할 필요 없이 PC에서 항상 개인화된 GPT 챗봇을 사용할 수 있다는 의미입니다. RTX와의 채팅은 PC에서 로컬로 사용할 수 있는 데이터 세트를 활용하여 완전히 개인화할 수 있으며 가장 좋은 점은 거의 모든 RTX 40 및 RTX 30 GPU에서 실행된다는 것입니다.

세부 사항부터 시작하여 Chat with RTX는 작년에 Windows PC용으로 발표된 NVIDIA의 TensorRT-LLM 및 RAG(Retrieval Augmented Generationed) 소프트웨어를 활용 하고 RTX 하드웨어에서 사용할 수 있는 RTX 가속 기능을 최대한 활용하여 사용자에게 가능한 최고의 경험을 제공합니다. 다시 한 번 말씀드리지만, 이 애플리케이션은 최소 8GB의 비디오 메모리를 갖춘 모든 GeForce RTX 30 및 40 GPU에서 지원됩니다.

"Chat with RTX"를 무료로 다운로드한 후 사용자는 이를 PC에서 사용 가능한 로컬 데이터세트(.txt, .pdf, .doc, .docx, .xml)에 연결하고 Mistral과 같은 대규모 언어 모델에 연결할 수 있습니다. Llama 2. 예를 들어 YouTube 동영상이나 전체 재생 목록에 대한 특정 URL을 추가하여 데이터 세트 검색 결과를 더욱 향상시킬 수도 있습니다. 연결 후 사용자는 다양한 쿼리를 실행하여 ChatGPT를 사용하는 것과 동일한 방식으로 Chat With RTX를 사용할 수 있지만 생성된 결과는 전적으로 특정 데이터세트를 기반으로 하므로 온라인 방법에 비해 더 나은 응답을 제공합니다.

TensorRT-LLM을 지원하는 NVIDIA RTX GPU가 있다는 것은 모든 데이터와 프로젝트를 클라우드에 저장하지 않고 로컬에서 사용할 수 있다는 의미입니다. 이렇게 하면 시간이 절약되고 보다 정확한 결과를 얻을 수 있습니다. RAG 또는 검색 Augamanted Generation은 LLM이 처리할 데이터 세트로 채울 수 있는 지역화된 라이브러리를 사용하고 해당 LLM의 언어 절제 기능을 활용하여 정확한 결과를 제공함으로써 AI 결과를 더 빠르게 만드는 데 사용되는 기술 중 하나입니다. 결과.

NVIDIA는 이번 달 말에 출시될 TensorRT-LLM v0.6.0을 통해 성능이 5배 향상되었다고 밝혔습니다. 또한 Mistral 7B 및 Nemotron 3 8B와 같은 추가 LLM도 지원할 수 있습니다.

여기에서 NVIDIA의 "Chat with RTX" 애플리케이션을 다운로드할 수 있습니다 . Windows 11 및 Windows 10 PC 모두에서 지원되며 최적의 성능을 위해서는 최신 NVIDIA GPU 드라이버가 필요합니다.