예제부분을 보시고 깃으로 한번 보시면 어떤 프로젝트인지 감을 잡으실 수 있을듯합니다!

GitHub - go-skynet/LocalAI: Self-hosted, community-driven, local OpenAI-compatible API. Drop-in replacement for OpenAI running LLMs on consumer-grade hardware. No GPU required. LocalAI is a RESTful API to run ggml compatible models: llama.cpp, alpaca.cpp, gpt4all.cpp, rwkv.cpp, whisper.cpp, vicuna, koala, gpt4all-j, cerebras, falcon, dolly, starcoder, and many others! :robot: Self-hosted, community-driven, local OpenAI-compatible API. Drop-in replacement for OpenAI running LLMs on consumer-grade hardware. No GPU required. LocalAI is a RESTful API to run ggml com... from GITHUB

🚀🔥 반가운 소식! LocalAI v1.18.0은 새로운 기능, 버그 수정 및 업데이트로 가득 찬 뛰어난 릴리스와 함께 여기에 있습니다! 🎉🔥

이 환상적인 커뮤니티 중심의 릴리스를 만드는 데 귀중한 도움을 주신 놀라운 커뮤니티에 크게 감사드립니다! 귀하의 지원에 감사 드리며 커뮤니티를 성장 시키십시오! 🙌

LocalAI란?

LocalAI는 AI 모델을 자신의 CPU에서 로컬로 실행할 수 있는 OpenAI 호환 API입니다! 💻 데이터는 컴퓨터를 떠나지 않습니다! 값비싼 클라우드 서비스나 GPU가 필요하지 않은 LocalAI는 llama.cpp 및 ggml을 사용하여 AI 프로젝트를 강화합니다! 🦙

새로운 기능

이 LocalAI 릴리스에는 많은 새로운 기능, 버그 수정 및 업데이트가 포함되어 있습니다! 도움을 주신 커뮤니티 덕분에 훌륭한 커뮤니티 릴리스가 되었습니다!

우리는 이제 다양한 모델을 지원하는 동시에 이전 양자화 형식과 역호환되며 이 새로운 릴리스에서는 여전히 이전 형식과 새로운 k-quant를 로드할 수 있습니다 !

새로운 기능

• ✨ 매 기반 모델 제품군(7b)( mudler ) 에 대한 지원 추가

• ✨ Metal Apple Silicon GPU에 대한 실험적 지원 - ( 테스트를 위한 mudler 및 u/Soleblaze 에게 감사드립니다 ! ). 빌드 섹션을 참조하십시오 .

• ✨ /v1/completions 끝점( samm81 ) 에서 토큰 스트림 지원

• ✨ huggingface 백엔드 추가( Evilfreelancer )

• 📷 Stablediffusion은 이제 esrgan으로 2048x2048 이미지 크기를 출력할 수 있습니다! ( 머들러 )

컨테이너 이미지

• 🐋 CUDA 컨테이너 이미지(arm64, x86_64) ( sebastien-prudhomme )

• 🐋 FFmpeg 컨테이너 이미지(arm64, x86_64)( mudler )

종속성 업데이트

• 🆙 Bloomz는 새로운 양자화 형식( mudler ) 을 포함하여 최신 ggml 변경 사항으로 업데이트되었습니다.

• 🆙 RWKV가 새로운 양자화 형식( mudler ) 으로 업데이트되었습니다.

• 🆙 라마 모델에 대한 k-quants
  형식 지원 ( mudler )

• 🆙 gpt4all이 업데이트되어 이전 모델을 로드할 수 있는 업스트림 변경 사항을 통합하고 동일한 바이너리에서 다른 CPU 명령어 세트(AVX 전용, AVX2)를 사용합니다! ( 머들러 )

일반적인

• 🐧 완전한 Linux 정적 바이너리 릴리스( mudler )

• 📷 기본적으로 컨테이너 이미지( mudler ) 에서 Stablediffusion이 활성화되었습니다. 참고: REBUILD=false를 사용하여 컨테이너 이미지 재구축을 비활성화할 수 있습니다.

예

• 💡 AutoGPT 예제( mudler )

• 💡 PrivateGPT 예시( mudler )

• 💡 Flowise 예시( 머들러 )

2개의 새로운 프로젝트가 이제 LocalAI와의 직접적인 통합을 제공합니다!

• 플로이즈

• 모드

전체 릴리스 변경 로그