Llama 3.2 fine tunning 중 cannot find tokenizer merges in model file 오류
라마 3.2 로 파인튜닝 중 오류를 만났어요. 기본 모델을 3.2로 변경하고 gguf 까지 변환이 잘 되었어요. 하지만 올라마에 서비스를 구동할 때 오류가 났어요. 토크나이저를 찾을 수 없다는 등등.... 검색해도 거의 나오지 않고 올라마 깃허브에 가보니 저와 비슷한 오류가 있었어요. 대충 보니 트랜스포머 버전이 4.45 이상으로 가면서 토크나이저 포맷이 변경된거 같아요. 그래서 트랜스포머 버전을 4.44 버전을 사용하면 된다는 거였어요. 일단 해보니 오류가 사라지고 잘되는겁니다. 이후 설치시 확인해보니 언슬롯에서 기본으로 트랜스포머 버전이 4.44 버전으로 되도록 변경하였더군요. 이것때문에 이틀을 왜 안되지. 이전 버전으로 돌아가보고 해볼 수 있는 경우의 수는 다해본거 같아요.