라마 3.1 파인 튜닝 하는 방법

라마 3.1 을 파인튜닝하여 내부 서버에 서비스 올리기

먼저 라마 3.1을 파인 튜닝 하기 전에 학습할 데이터를 만들어야 한다.

보통은 pdf 같은 파일로 qa 리스트를 만들면 된다.

허깅페이스에 올라온 오픈소스로 pdf -> qa 추출을 했더니 너무 처참했다.

그나마 괜찮은 성능을 보인 것은 chatGPT 이다.

유료지만 api 를 활용하니 비용은 거의 몇백원 정도 되었다.

qa 는 jsonl 형식으로 만들어서 허깅페이스 데이터셋에 등록하면 작업하기 편하다.

이제 파인튜닝을 할 준비가 된것이다.

허깅페이스 데이터셋을 가져와서 구글 코랩에서 파인튜닝을 하면 된다.

처음엔 A100 을 사용했으나 현재는 가장 낮은 GPU  도 가능하다.

학습 횟수를 1천번 정도도 돌렸으나 별차이가 없었다.

뭔가 좀 더 연구가 필요하다.

현재 60회 정도 돌리니 그나마 결과가 나은거 같다.

이미지 학습과 다르게 이건 많이 학습 할수록 잘 안되는 느낌이다.

학습이 완료되면 모델을 허깅페이스에 등록한다.

난 gguf 까지 변환하여 허깅페이스에 등록했다.

이제 gguf 파일을 서버에서 다운받아서 ollama 에 올리면 된다.

RTX4070 하나로 돌리는데 속도와 결과는 그럭저럭 쓸만하다.

사용자가 많지 않으니.....,

나중에 colab 에 정리된 코드를 가지고 이야기 했으면 한다.

워낙에 많이 바뀌므로 정리가 어렵다.


댓글

이 블로그의 인기 게시물

한글 2010 에서 Ctrl + F10 누르면 특수문자 안뜰 때

아이폰에서 RFID 사용하는 방법

VCC 와 GND 는 무엇일까?