LocalAI로 나만의 GPT 만들어보기
안녕하세요. 달소입니다.
이번글에서는 앞서 소개해드린 LocalAI를 통해서 나만의 GPT를 만드는 방법입니다.
제일처음 소개해드린글이 아래글이였는데 벌써 2.12.4 버전까지나왔습니다.
https://svrforum.com/svr/821974
최신버전의 가장 좋은점은 AIO 즉, All In One 이미지를 제공해준다는 점 인데요.
docker run 한방으로 GPT를 바로 실행시킬 수 있습니다.
LocalAI 컨테이너 구동하기
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-aio-cpu
바로 이미지를 받으면서 설치하는데 용량이 상당히 많이들어갑니다.
이미지를 다받으면 사용에 필요한 모델도 받습니다.
모델까지 다받으면 위 처럼 서비스가 실행됩니다.
웹으로접근해보면 아래처럼 랜딩페이지가 나옵니다.
여기서 사용할 수 있는 언어가 나오고 우측상단에 API를 누르면
사용할 수 있는 스웨거가 나옵니다.
예시
예시로 간단한 사용방법입니다.
모델명 확인하기
curl http://localhost:8080/v1/models
GPT 호출하기
curl ip는 구동하는 ip로 변경해주시면됩니다.
curl http://192.168.1.21:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
"model": "gpt-4",
"messages": [{"role": "user", "content": "여기에 질문하시면됩니다."}],
"temperature": 0.7
}'
CPU 모델이라 그런지 질문하나당 리소스가 상당합니다.. 이럴거면 전기세가 더 나올것 같기도 ㅋㅋ
사실 이게 백엔드라고보면 되는데 프론트엔드도 하나 찾아봐서 연동하는걸 해봐야겠습니다.
1등
초보나스 2024.04.12. 00:04
이게 4.0 챗 GPT 인가요
초보나스
모델은 그렇습니다ㅎㅎ
2등
행복구슬 2024.04.12. 09:17
달소님 도커로 올릴려고하는데 혹시 cpu 코어 램 어느정도 줬는지 알수있나요?
행복구슬
4 core 8G 줬습니다!
행복구슬 2024.04.12. 10:53
달소
감사합니다^^
3등
수라 2024.04.12. 10:01
로컬로 돌리려면 성능이 엄청 좋아야 하지 않나요? 궁금하네요
수라
확실히 답변하나 받는데 좀걸리긴합니다ㅜ
설레발 2024.04.12. 10:07
얼마전 올리신 hoader 의 자동 태깅이랑 연동은 안되겠죠..?
akrsoTale 2024.04.12. 11:44
GPT4버전 모델이 공개가 되었었나요..? 처음 알았네요. API로만 재공하는줄 알았는데요..
붕어분쇄기 2024.04.12. 14:39
akrsoTale
이름만 GPT4아닐까요..
akrsoTale 2024.04.12. 15:57
붕어분쇄기
찾아보니 뭔가 GPT4라고 이름이 달린 모델이 생각보다 많네용
스피릿 2024.04.12. 20:13
혹시 요거 한국어도 될까요?
스피릿
오 넵넵 한국어도 됩니다!
kmw_ 2024.04.14. 14:40
도커니깐 32gb 내외로 될거라 생각했는데 생각보다 용량이 큰가보네요
kmw_
네 이미지랑 모델 용량이 어마어마합니다 ㄷㄷ
kmw_ 2024.04.18. 21:34
달소
깃헙 보니 글카쓰는게 있어서 그걸로 받아봤는데 용량이 더큰가봅니다
120gb 패스스루 시키고 도커랑 portainer밖에 안깔아줬는데 꽉차서 꺼져버렸네요;; 윈도우용 256짜리 날리고 거기다 재설치하려고 시도중입니다;
120gb 패스스루 시키고 도커랑 portainer밖에 안깔아줬는데 꽉차서 꺼져버렸네요;; 윈도우용 256짜리 날리고 거기다 재설치하려고 시도중입니다;
핀비 2024.04.15. 08:34
GPT4 스크랩!
nicknickk 2024.04.15. 17:03
프론트엔드는 big-agi 알아보시죠
localai 뿐만아니라 openai, 제미나이도 연동 가능합니다
localai 뿐만아니라 openai, 제미나이도 연동 가능합니다
nicknickk
오,,, 엄청난정보 감사합니다 ㅎㅎ 바로 시도중입니닷
cmt alert