smith3015 의 기술 블로그

라즈베리파이에서 Flet 으로 프로그램을 하나 작성하였습니다. 하지만 실행할 때 오류가 납니다. libmpv.so.1 파일이 없다고 나옵니다. 대충 찾아보면 $ sudo apt instll libmpv1 을 하면 된다고 하는데 설치가 안됩니다. $ sudo apt install libmpv2 로 설치하면 됩니다. 대부분 내용이 업데이트 된걸 반영하고 있지 않아요. 설치된 다음에 위치를 찾습니다 $ find /usr/lib /usr/local/lib -name "libmpv.so*" 위치를 찾았으면 이제 심볼릭 링크를 걸어줍니다. $ sudo ln -s /usr/lib/aarch64-linux-gnu/libmpv.so.2 /usr/lib/libmpv.so.1 이제 Flet 을 실행하시면 화면이 나올 것입니다. 이것 때문에 삽질한 기억이 있습니다. 주요 요점은 $ sudo apt install libmpv2 로 설치한 다음 라이브러리를 링크로 걸어줍니다. 

윈도 11에서 바탕화면에 이상한 아이콘이 있다. 이 사진에 대한 자세한 정보 아이콘이다. 아이콘을 없애는 방법이다. 레지스트리 편집기에서 삭제할 수 있다. 윈도 아이콘 - 검색 - 레지스트리 편집기 프로그램을 실행할 수 있다. HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Explorer\HideDesktopIcons\NewStartPanel 이동한 다음 오른쪽 창에서 마우스 오른쪽 클릭하여 새로 만들기 합니다. 이름은 {2cc5ca98-6485-489a-920e-b3e88a6ccce3} 변경합니다. 값은 DWORD 16진수 1 로 변경합니다. 저장 후 빠져 나옵니다. 이제 새로 고침을 하면 삭제됩니다.

라마 3.2 로 파인튜닝 중 오류를 만났어요. 기본 모델을 3.2로 변경하고 gguf 까지 변환이 잘 되었어요. 하지만 올라마에 서비스를 구동할 때 오류가 났어요. 토크나이저를 찾을 수 없다는 등등.... 검색해도 거의 나오지 않고 올라마 깃허브에 가보니 저와 비슷한 오류가 있었어요. 대충 보니 트랜스포머 버전이 4.45 이상으로 가면서 토크나이저 포맷이 변경된거 같아요. 그래서 트랜스포머 버전을 4.44 버전을 사용하면 된다는 거였어요. 일단 해보니 오류가 사라지고 잘되는겁니다. 이후 설치시 확인해보니 언슬롯에서 기본으로 트랜스포머 버전이 4.44 버전으로 되도록 변경하였더군요. 이것때문에 이틀을 왜 안되지. 이전 버전으로 돌아가보고 해볼 수 있는 경우의 수는 다해본거 같아요.

라마 3.1 을 파인튜닝하여 내부 서버에 서비스 올리기 먼저 라마 3.1을 파인 튜닝 하기 전에 학습할 데이터를 만들어야 한다. 보통은 pdf 같은 파일로 qa 리스트를 만들면 된다. 허깅페이스에 올라온 오픈소스로 pdf -> qa 추출을 했더니 너무 처참했다. 그나마 괜찮은 성능을 보인 것은 chatGPT 이다. 유료지만 api 를 활용하니 비용은 거의 몇백원 정도 되었다. qa 는 jsonl 형식으로 만들어서 허깅페이스 데이터셋에 등록하면 작업하기 편하다. 이제 파인튜닝을 할 준비가 된것이다. 허깅페이스 데이터셋을 가져와서 구글 코랩에서 파인튜닝을 하면 된다. 처음엔 A100 을 사용했으나 현재는 가장 낮은 GPU  도 가능하다. 학습 횟수를 1천번 정도도 돌렸으나 별차이가 없었다. 뭔가 좀 더 연구가 필요하다. 현재 60회 정도 돌리니 그나마 결과가 나은거 같다. 이미지 학습과 다르게 이건 많이 학습 할수록 잘 안되는 느낌이다. 학습이 완료되면 모델을 허깅페이스에 등록한다. 난 gguf 까지 변환하여 허깅페이스에 등록했다. 이제 gguf 파일을 서버에서 다운받아서 ollama 에 올리면 된다. RTX4070 하나로 돌리는데 속도와 결과는 그럭저럭 쓸만하다. 사용자가 많지 않으니....., 나중에 colab 에 정리된 코드를 가지고 이야기 했으면 한다. 워낙에 많이 바뀌므로 정리가 어렵다.

우분투 24.04 서버를 설정하여 운영 중입니다. 메일서버인 iRedMail 을 설치하였습니다. 근데 웬일인가요. 다른 모든 서비스가 안됩니다. https://www.linuxbabe.com/mail-server/ubuntu-24-04-iredmail-server-installation 위 링크를 참고하여 설치하였는데 설치는 잘됩니다. 나중에 자세히 보니 /etc/nftables.conf 어쩌고 나옵니다. 위 링크는 iptables 이 나오더군요. 제가 아는 바로는 우분투 방화벽은 ufw 이고 이건 iptables 기반으로 작동되는 것으로 알고 있었습니다. nftables 는 차세대 방화벽이더군요. 설정에 가서 기존에 운영중이던 포트를 허용 되도록 추가하였습니다. 서비스 잘 운영 됩니다.

우분투 서버에서 NVIDIA GPU 4060 설치하다 맞이한 오류입니다. 한동안 오류에서 벗어나 있었는데 지난 밤을 꼬박 세웠네요. 1.  설치된 라이브러리 지우고 다시 설치 $ sudo apt remove nvidia* $ sudo apt autoremove $ sudo reboot 재부팅 후 다시 접속 후 $ ubuntu-drivers devices 전 추천이 535로 나오더군요 $ sudo apt install nvidia-driver-535 역시나 안되더군요. 전 지우는 방법만 달리해서 한 15번 정도 반복했던거 같습니다. 2.  GCC 및 G++ 지우고 다시 설치 $ sudo apt remove gcc $ sudo apt remove g++ $ sudo apt autoremove $ sudo reboot 재부팅 후 다시 접속합니다. $ sudo apt install gcc $ sudo apt install g++ 3. CMOS 에서 SECURE BOOT 비활성화 전 이 방법으로 하니 되더군요. 전원을 끄고 다시 전원을 켠 후 바로 F1 과 Del 키를 눌렀어요. 어느 키가 CMOS 진입키 인지 모르니까요. 들어가서 부팅 쪽 메뉴에 있더라구요. 요즘은 기본으로 활성화 되어 있으니 그걸 찾아서 Disable 했어요. 이게 GPU 기기를 인증 안된걸로 인식하여 차단되어서 그렇다고 하더라구요. $ sudo apt remove nvidia* $ sudo apt autoremove $ sudo reboot 재부팅 후 다시 접속합니다. $ sudo apt install nvidia-driver-535 $ nvidia-smi 오랜만에 결과가 나왔네요.