local 에서 LLM 을 돌리는 방법
로컬에서 챗봇을 돌리는 방법입니다.
보통 LLM 이라고 하죠.
일단 한글을 알아먹는 LLM 이 필요하죠.
다들 한글 잘 알아먹는다고 하는데 제가 해보니 글쎄 입니다.
그나마 야놀자 EEVE 가 그나마 알아 먹더군요.
허깅페이스에서 야놀자 EEVE 의 GGUF 파일을 다운 받습니다.
저는 우분투 서버에 RTX 4070 한개를 사용했어요.
거기에 CUDA 환경을 구축했습니다.
그러면 OLLAMA 를 설치할 수 있습니다.
올라마를 설치하면 GGUF 형식의 LLM 을 구동할 수 있어요.
구동된 LLM 은 STREMLIT 을 활용하여 화면을 구성할 수 있어요.
조만간 서비스에 붙일 수 있을 정도의 품질이 나올 수도 있을꺼 같습니다.
댓글
댓글 쓰기