LocalAI로 나만의 GPT 만들어보기

안녕하세요. 달소입니다.

이번글에서는 앞서 소개해드린 LocalAI를 통해서 나만의 GPT를 만드는 방법입니다.

제일처음 소개해드린글이 아래글이였는데 벌써 2.12.4 버전까지나왔습니다.

https://svrforum.com/svr/821974

최신버전의 가장 좋은점은 AIO 즉, All In One 이미지를 제공해준다는 점 인데요.

docker run 한방으로 GPT를 바로 실행시킬 수 있습니다.

LocalAI 컨테이너 구동하기
 

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-aio-cpu

바로 이미지를 받으면서 설치하는데 용량이 상당히 많이들어갑니다.

이미지를 다받으면 사용에 필요한 모델도 받습니다.

모델까지 다받으면 위 처럼 서비스가 실행됩니다.

웹으로접근해보면 아래처럼 랜딩페이지가 나옵니다.

여기서 사용할 수 있는 언어가 나오고 우측상단에 API를 누르면

사용할 수 있는 스웨거가 나옵니다.

예시

예시로 간단한 사용방법입니다.

모델명 확인하기

curl http://localhost:8080/v1/models

GPT 호출하기

curl ip는 구동하는 ip로 변경해주시면됩니다.

curl http://192.168.1.21:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "gpt-4",
  "messages": [{"role": "user", "content": "여기에 질문하시면됩니다."}],
  "temperature": 0.7
}'

CPU 모델이라 그런지 질문하나당 리소스가 상당합니다.. 이럴거면 전기세가 더 나올것 같기도 ㅋㅋ

사실 이게 백엔드라고보면 되는데 프론트엔드도 하나 찾아봐서 연동하는걸 해봐야겠습니다.