LLM3 [LLM tuning 오류] AttributeError: module 'collections' has no attribute 'Container' 최근에 LLM 코딩할 일이 생겨서 이준범님의 KoAlpaca 레포를 보고 스크립트를 따라하고 있다.https://github.com/Beomi/KoAlpaca 3090 4대를 이용하였고, README에 나와있는대로 진행하였는데, 아래와 같은 오류들이 나왔다.AttributeError: Caught AttributeError in replica 0 on device 0.AttributeError: module 'collections' has no attribute 'Container' 해당 오류 이후에 터미널이 꺼지지는 않고 계속 무한 로딩이 지속되었는데, python 버전 문제였다. 3.10 버전이 collections 모듈을 좀 수정한 것 같다. 아무튼 파이썬 버전을 3.9로 내려서 새로 가상환경을 만.. 2024. 5. 27. [논문 리뷰] Understanding In-Context Learning in Transformers and LLMs by Learning to Learn Discrete Functions (ICLR 2024 Oral) arxiv : https://arxiv.org/pdf/2310.03016.pdf code : X In-context learning에 대해 나온 논문들 중 엄청 최근에 나온 논문이다. 얼마 전 발표된 ICLR 2024에서 oral paper로 선정되었고, 매주 목요일마다 진행 중인 LLM 스터디에서 내가 발표를 맡기로 해서(고르고 약간 후회했다 ..), 매우 자세하게 리뷰할 예정이다. 아마 이 논문을 완벽하게 이해하면, top-down으로 in-context learning을 공부하는 좋은 스타트가 되지 않을까 생각한다. Before reading 논문 제목을 보고 해당 모델이 어떤 방법론을 바탕으로 할지 가설을 세워봅시다. -> Discrete Function을 학습해 Transformer 및 LLM의.. 2024. 2. 1. [논문 리뷰] MetaICL: Learning to Learn In Context (NAACL 2022) arxiv : https://arxiv.org/abs/2110.15943 code : https://github.com/facebookresearch/MetaICL 1. Introduction 논문이 다루는 task : in-context learning Input : x_1,y_1, ... ,x_k Output : y_k 해당 task에서 기존 연구 한계점 기존의 연구들에 따르면 LM의 모델 사이즈가 크거나(68B 이상), task reformatting 혹은 task-specific templates가 있어야만 in-context learning이 가능하다. 그러나 본 연구에서 제시하는 MetaICL은 훨씬 더 작은 언어 모델들로, specific한 formula없이 in-context learnin.. 2024. 1. 20. 이전 1 다음