local 에서 LLM 을 돌리는 방법

로컬에서 챗봇을 돌리는 방법입니다.

보통 LLM 이라고 하죠.

일단 한글을 알아먹는 LLM 이 필요하죠.

다들 한글 잘 알아먹는다고 하는데 제가 해보니 글쎄 입니다.

그나마 야놀자 EEVE 가 그나마 알아 먹더군요.

허깅페이스에서 야놀자 EEVE 의 GGUF 파일을 다운 받습니다.

저는 우분투 서버에 RTX 4070 한개를 사용했어요.

거기에 CUDA 환경을 구축했습니다.

그러면 OLLAMA 를 설치할 수 있습니다.

올라마를 설치하면 GGUF 형식의 LLM 을 구동할 수 있어요.

구동된 LLM 은 STREMLIT 을 활용하여 화면을 구성할 수 있어요.

조만간 서비스에 붙일 수 있을 정도의 품질이 나올 수도 있을꺼 같습니다.