serge 테스트 중입니다.

숙제대장님의 재밌어 보이는 숙제를 보고 흥미가 동하더군요...

Chat GPT를 자체호스팅 ? Serge GitHub - nsarrazin/serge: A web interface for chatting with Alpaca through llama.cpp. Fully dockerized, with an easy to use API. A web interface for chatting with Alpaca through llama.cpp. Fully docker... by 달소 from 서버포럼

아실분은 이미 다 아시지만 llama는 페북(지금은 meta)이 공개한 언어 모델이죠.

근데 원래는 아무나 할 수 있던 것은 아니고 제한적으로 설문인가? 해야 받을 수 있었는데 누군가 토렌트로 풀었고 대혼돈이 찾아왔다고 합니다.

아직까지 상업적이용은 불가인데 유저들이 건의하고 있다고 하니 앞으로는 잘모르겠네요...

성능은 chatGPT보다 파라미터는 적고 성능이 우수한 편인데 한국어 자료는 적고... 이런저런 이야기들이 있긴합니다.

어쨌든 후기도 아니고... 그냥 막 올려봤습니다.

예전에 중고로 샀던 i7-620M thinkpad... 좀 가지고 놀다가 구석행이었는데 serge 얘기를 듣고 다시 꺼냈습니다 ㅋㅋ

물론 2tb evo plus 마이그레이션 실패 중이라 심란한 상태지만 사소한건 무시하도록 하죠

일단 첫화면입니다.

세부설정란 같은데 잘 모르겠습니다.

알아서 제작자가 기본 세팅을 해줬겠죠?

그냥 진행해보겠습니다.

참고로 전 13B로 설치해봤습니다.

채팅화면입니다. 음... 뭔가 익숙하군요...

i7-620M은 너무 구식이라 그런가... 좀 느리군요

일단 메모리상태가 정상은 아닌듯합니다

권장 사양을 생각하지말고 좋은 컴을 미리 구비해두도록 합시다.

전 성질이 급하니 일단 다시해보기로 했습니다.

...은 어림도 없지!