본문 바로가기

분류 전체보기127

HuggingFace custom dataset 저장하는 방법 이번에 수업에서 image classification project를 하다보니 colab으로 매 번 개별 이미지 파일들을 dataset으로 만드는게 시간도 오래걸리고, 무엇보다 vscode에서 사용하기 어려울 것 같아 불편하였다. 예전에 프로젝트를 할 때 huggingface dataset에 올려놓고 사용한 적이 있었는데, 그 방법을 다시 상기시킬 겸 적어보려한다. (사실 아래 링크에 매우 자세한 방법이 나와있습니다. 영어가 편하신 분들은 공식 레포를 읽는 것이 더 도움 될 수 있습니다!) https://huggingface.co/docs/datasets/image_dataset Create an image dataset There are two methods for creating and sharing.. 2023. 6. 18.
[jax 오류] typeerror: can not serialize 'array' object (checkpoint 저장 오류) jax에서 모델의 checkpoint를 저장하려할때 위와 같은 오류가 발생하였다. typeerror: can not serialize 'array' object 기존에 사용하던 flax의 버전이 0.5.3이였는데, 0.6.1 버전으로 업데이트 해 주면, 쉽게 해결할 수 있다. pip uninstall flax pip install flax==0.6.1 다만, 이렇게 하면 flax의 optimizer 라이브러리(flax 0.5.3)가 optax라는 라이브러리(flax 0.6.1)로 바뀌어서 해당 부분을 전부 수정해야하는 번거로움이 있다. 참고 자료 https://github.com/google/jax/issues/13540 cannot serialize 'Array' object when jax_array.. 2023. 4. 30.
[네이버 클라우드 인턴] 파파고 이미지 번역팀 체험형 인턴 지원 후기 (3. 최종면접) [네이버 클라우드 인턴] 파파고 이미지 번역팀 체험형 인턴 지원 후기 (2. 코딩테스트) [네이버 클라우드 인턴] 파파고 이미지 번역팀 체험형 인턴 지원 후기 (1. 서류전형(?)) 부캠 수료와 동시에 진행되었던 파파고 이미지 번역팀 인턴 채용 프로세스 .. !! 어느덧 2달이 지났지만, 이 hyunsooworld.tistory.com 마지막 관문은 최종 면접이였다. 최종 면접은 총 2시간 진행되었는데, 내가 현재까지 해왔던 프로젝트에 대한 발표 20분과 이에 대한 질답 및 기타 기술면접 1시간 40분으로 구성 되었다. 20분 간의 발표를 위해 총 ppt 80장 ... 을 만들었고 !! ppt의 퀄리티나 발표 자체는 정말 자신 있었다. 기술 면접도 어느 정도는 자신 있었는데, 이건 우매함의 봉우리 그 자.. 2023. 4. 9.
[네이버 클라우드 인턴] 파파고 이미지 번역팀 체험형 인턴 지원 후기 (2. 코딩테스트) [네이버 클라우드 인턴] 파파고 이미지 번역팀 체험형 인턴 지원 후기 (1. 서류전형(?)) 부캠 수료와 동시에 진행되었던 파파고 이미지 번역팀 인턴 채용 프로세스 .. !! 어느덧 2달이 지났지만, 이런 저런 핑계로 안 쓰다보면 너무 늦어질 것 같아서 시험기간임에도 이렇게 후기를 남 hyunsooworld.tistory.com 서류 전형(?)에 합격하고 다음은 코딩테스트였다. 커피챗 당시 코딩테스트가 없을수도 있다고 말씀해주셔서 아주 약간의 기대를 품었지만, 역시나 코딩테스트는 꼭 봐야했다. 코딩테스트 준비를 항상 몰아쳐서 하는 나로서는 정말 큰일났다 .. 싶었고, 이렇게 좋은 기회를 코테 때문에 떨어지면 너무 아쉬울 것 같다는 생각에 코테 준비를 바로 시작했다. 프로그래머스 level2 문제들을 주로.. 2023. 4. 9.
[네이버 클라우드 인턴] 파파고 이미지 번역팀 체험형 인턴 지원 후기 (1. 서류전형(?)) 부캠 수료와 동시에 진행되었던 파파고 이미지 번역팀 인턴 채용 프로세스 .. !! 어느덧 2달이 지났지만, 이런 저런 핑계로 안 쓰다보면 너무 늦어질 것 같아서 시험기간임에도 이렇게 후기를 남긴다. 우선 부스트캠프에서 우리는 최종 프로젝트로 diffusion을 활용해서 text-to-emoji 프로젝트를 진행했고, 정말 열심히 프로젝트에 모든 것을 쏟아 부었던 것 같다. (자세한 내용은 여기서 확인 가능한데 .. 나중에 자세한 포스팅 예정입니다!) 이런 노력을 알아봐주셨던 것일까 .. 부캠 수료식 하루 전날 아침 운영진님들로부터 DM을 받았다!! 바로 파파고 이미지 번역팀에서 커피챗을 요청했다는 얘기였는데, 채용 연계 기업들에 큰 관심은 없었지만(관심이 없었다기 보단 3학기나 남은 나의 대학 생활을 마무.. 2023. 4. 9.
[jax 오류] jax에서 debugging하는 방법 (how to print BatchTracer class in jax) jax에서 변수들을 출력해보면, Tracedwith with val = ~ 이런 식으로 나오는 경우가 많다. (BatchTracer Class) 이는 jax가 함수들을 compile한 후 한번에 실행하기 때문에, print 할 수 있는 실제 값이 없고, 그 shape(껍데기)만 출력하기 때문이다. (자세한 이유는 https://github.com/google/jax/issues/196에 정확하고, 상세하게 나와있으니 참고하면 좋을 것 같다.) 그러나 d3pm 코드를 이해하는 과정에서 변수에 어떤 값이 할당되어 있는지 확인해야하는 경우가 많았기 때문에 debugging 방법이 정말 없는지 열심히 찾아보았다. 최종적으로 발견한 방법은 크게 두 가지가 있었는데, 우리의 코드에서는 두번째 방법으로 해결하였다. .. 2023. 3. 25.

티스토리툴바