기타/오류 뿌수기16 [jax 오류] typeerror: can not serialize 'array' object (checkpoint 저장 오류) jax에서 모델의 checkpoint를 저장하려할때 위와 같은 오류가 발생하였다. typeerror: can not serialize 'array' object 기존에 사용하던 flax의 버전이 0.5.3이였는데, 0.6.1 버전으로 업데이트 해 주면, 쉽게 해결할 수 있다. pip uninstall flax pip install flax==0.6.1 다만, 이렇게 하면 flax의 optimizer 라이브러리(flax 0.5.3)가 optax라는 라이브러리(flax 0.6.1)로 바뀌어서 해당 부분을 전부 수정해야하는 번거로움이 있다. 참고 자료 https://github.com/google/jax/issues/13540 cannot serialize 'Array' object when jax_array.. 2023. 4. 30. [jax 오류] jax에서 debugging하는 방법 (how to print BatchTracer class in jax) jax에서 변수들을 출력해보면, Tracedwith with val = ~ 이런 식으로 나오는 경우가 많다. (BatchTracer Class) 이는 jax가 함수들을 compile한 후 한번에 실행하기 때문에, print 할 수 있는 실제 값이 없고, 그 shape(껍데기)만 출력하기 때문이다. (자세한 이유는 https://github.com/google/jax/issues/196에 정확하고, 상세하게 나와있으니 참고하면 좋을 것 같다.) 그러나 d3pm 코드를 이해하는 과정에서 변수에 어떤 값이 할당되어 있는지 확인해야하는 경우가 많았기 때문에 debugging 방법이 정말 없는지 열심히 찾아보았다. 최종적으로 발견한 방법은 크게 두 가지가 있었는데, 우리의 코드에서는 두번째 방법으로 해결하였다. .. 2023. 3. 25. [jax 오류] INTERNAL: nvlink exited with non-zero error code 65280, output: nvlink error d3pm code를 뜯어보던 과정에서 jax 관련 오류가 발생하였다. INTERNAL: nvlink exited with non-zero error code 65280, output: nvlink error 대충 위와 같은 오류였는데, 디버깅을 해봐도 non-zero(?)와 관련된 부분은 찾을 수 없었다. 그러던 중 jax의 공식 레포(https://github.com/google/jax)에서 jax가 TPU에서 제공 된다는 것을 알게되었고, GPU 설정이 아닌 TPU 환경에서 실행해야 할 것 같다는 생각이 들었다. 참고로 개발 환경이 colab pro + vscode였는데, colab - 런타임 - 런타임 유형 변경 - 하드웨어 가속기 TPU 선택 을 통해 문제를 해결할 수 있었다. 참고로 tpu는 구.. 2023. 3. 15. [허깅페이스 오류] ValueError: Token is required (write-access action) but no token found. You need to provide a token or be logged in to Hugging Face with `huggingface-cli login` or `huggingface_hub.login`. See https://huggingface.co/setti.. 허깅페이스에 내가 만든 모델을 업로드 하려 할 때, 위와 같은 오류가 뜨는 경우가 있다. 우선 가장 먼저 체크해야 할 사항은 huggingface-cli login을 통해 로그인을 하였는지이다. 이때, login을 하려면 Token이 필요한데, Token은 https://huggingface.co/settings/tokens 에서 받을 수 있다. 중요한 점은 Token이 WRITE type이여야 한다는 것인데, 발급받을때 READ type과 WRITE type 중 선택할 수 있다. 해당 토큰을 발급받고 아래와 같이 로그인하면 로그인 성공이 뜬다. 그 후 코드를 실행하면 정상적으로 잘 작동한다! 2023. 1. 21. [우분투(wsl2), vscode 오류] "E: Unable to locate package git" 오류 해결 윈도우에서 wsl2를 설치하고 도커를 이미지를 다운받아 vscode나 jupyter notebook를 띄우는 것은 이미 블로그에 자세하게 적어놓았다. 딥러닝을 위한 Window10 Docker 설치 방법 (윈도우 도커 설치 방법) 0. 글 쓰기에 앞서 최근 공부했던 딥러닝 파이토치 코드를 로컬 데스크탑에서 돌리려다 AssertionError: Torch not compiled with CUDA enabled 이 오류때문에 골머리를 앓은 적이 있다. 파이토치와 NVIDIA.. hyunsooworld.tistory.com 그런데 그렇게 띄운 vscode 환경에서 터미널에 git clone을 사용하려고 하니 git이 먹히지 않았다. "bash: git: command not found"이란 오류가 계속 나와 .. 2022. 9. 20. ImportError: libXrender.so.1: cannot open shared object file: No such file or directory 오류 해결 !apt update && apt install -y libsm6 libxext6 !apt-get install -y libxrender-dev 이 두개만 설치해주면 정상적으로 작동한다. 2022. 8. 14. 이전 1 2 3 다음
