local 에서 LLM 을 돌리는 방법
로컬에서 챗봇을 돌리는 방법입니다. 보통 LLM 이라고 하죠. 일단 한글을 알아먹는 LLM 이 필요하죠. 다들 한글 잘 알아먹는다고 하는데 제가 해보니 글쎄 입니다. 그나마 야놀자 EEVE 가 그나마 알아 먹더군요. 허깅페이스에서 야놀자 EEVE 의 GGUF 파일을 다운 받습니다. 저는 우분투 서버에 RTX 4070 한개를 사용했어요. 거기에 CUDA 환경을 구축했습니다. 그러면 OLLAMA 를 설치할 수 있습니다. 올라마를 설치하면 GGUF 형식의 LLM 을 구동할 수 있어요. 구동된 LLM 은 STREMLIT 을 활용하여 화면을 구성할 수 있어요. 조만간 서비스에 붙일 수 있을 정도의 품질이 나올 수도 있을꺼 같습니다.