본문 바로가기

전체 글126

파이썬 특정 함수 뜯어보기 (inspect 라이브러리) 파이썬을 활용하다 보면 특정 라이브러리의 특정 함수에 대한 사용법 혹은 내부 동작 방식을 알고 싶은 경우가 있다.대부분의 경우에는 라이브러리를 타고, 가다보면 해당 함수가 정의된 .py 파일을 찾아 살펴보면 될 것이다. 그러나 나의 경우 clip model(아래 사진의 model)에서 forward_text_embedding function이 그 어떤 reference에도 나오지 않았다. 이게 특정 라이브러리의 함수가 어떻게 생겨먹었나(?) 알 수 있는 방법이 없을지 검색하다가 inspect 라이브러리를 알게 되었다. 사용 방법은 매우 간단한데, 그냥 import inspect 후, inspect.getsource(model.forward_text_embedding)을 하면 내부 코드가 어떻게 생겼는지 .. 2024. 9. 1.
[논문 리뷰] Matryoshka Multimodal Models (arxiv 240527) arxiv : https://arxiv.org/abs/2405.17430code : https://github.com/mu-cai/matryoshka-mm 이용재 교수님 세미나를 들으며 직접 전해들었던 논문.이 랩실의 연구들은 참 내 스타일인게 많은 것 같다.근데 사실 논문 자체는 뭐가 1도 없다;; Before reading논문 제목을 보고 해당 모델이 어떤 방법론을 바탕으로 할지 가설을 세워봅시다.Matryoshka 인형 처럼(?) token 수를 정하면 그거에 맞는 output(coarse to fine)을 출력하는 LMM논문의 main figure를 보고 전체 흐름을 유추해봅시다.적절한 M을 어떻게 구해야하는지가 궁금하다. 특정 이미지가 얼마나 복잡한지 그 최적의 token 수를 사람이 눈으로 보.. 2024. 8. 23.
최근 근황 (졸업과 논문) 이번 여름 방학은 정말 정신이 하나도 없었다. 3월에 KIST에 들어와서 진행한 연구를 AAAI에 무사히 잘 제출하였고, 동시에 같은 날 학부 졸업식까지 있었다.처음 써보는 논문인데 너무 좋은 사수를 만나 성공적으로 마무리 할 수 있었던 것 같다. 작년 5월 쯤 학부 졸업 전에 뉴립스 섭미션을 해보자라는 목표가 있었는데, 뉴립스는 아니지만 그래도 탑컨퍼에 공동 1저자로 낼 수 있어서 성취감이 정말 컸다. 내년에는 더 열심히 해서 뉴립스에도 꼭 제출할 수 있었으면 좋겠다. 이번에 논문을 쓰면서 많은 것을 느꼈는데, 우선 분명 아쉬움은 있었다. 많은 실험을 하며 잘 되지 않던 케이스도 있었고, 잘 되더라도 설명력이 부족하거나, 이게 최선(최적)일까? 하는 생각도 정말 많이 들었다. 그럼에도 끝까지 실험을 열.. 2024. 8. 19.
[논문 리뷰] IMPUS: IMAGE MORPHING WITH PERCEPTUALLY UNIFORM SAMPLING USING DIFFUSION MODELS (ICLR 2024) AID: Attention Interpolation of Text-to-Image Diffusion 논문과 비슷하게 image interpolation task(여기서는 image morphing task)를 수행한 연구다.실험부분에 AID와의 비교가 없어서 찾아보니, 이 논문이 선행연구여서 AID의 Appendix E에 본 논문(IMPUS)과 DiffMorpher(CVPR 2024)과의 비교가 있었다. 본 논문에서는 AID 이전에 있었던 diffusion interpolation 논문인 Interpolating between Images with Diffusion Models (ICMLW 2023)하고만 비교한다. 선행연구인 Interpolating ~ 이 논문이 real image에 대한 interp.. 2024. 6. 10.
[논문 리뷰] FastDrag: Manipulate Anything in One Step (arxiv0524) Gradient based optimization 논문들을 찾아보다가 발견한 논문. DragGAN이나 DragDiffusion 등을 몇 번 들어봤었는데, Drag xxx의 sota model인 것 같다. 이해하는데 꽤 어려웠지만, 배울점이 많은 논문이였다.arxiv : https://arxiv.org/abs/2405.15769code : x Before reading논문 제목을 보고 해당 모델이 어떤 방법론을 바탕으로 할지 가설을 세워봅시다.~~~ Anything이란 제목을 그닥 좋아하지는 않지만 manipulate anything이라니 .. 방법이 굉장히 궁금했다. one step이란 단어는 처음에는 눈에 들어오지 않았는데, related work를 읽으며 기존에 drag xx 방식이 전부 몇십 ste.. 2024. 6. 7.
[논문 리뷰] Diffusion Self-Guidance for Controllable Image Generation (NeurIPS 2023) NeurIPS 2023 논문.openreview를 보면 6 6 5 7을 받아 accept되었는데, 내가 논문의 contribution을 덜 이해한건지 조금 아쉽긴 했다. (논문이 별로라기보단, NIPS의 명성과 더 좋은 논문들이 reject되는걸 너무 많이 봐서 약간의 아쉬움 정도..)arxiv : https://arxiv.org/abs/2306.00986code : https://github.com/Sainzerjj/Free-Guidance-Diffusion(non official) Before reading논문 제목을 보고 해당 모델이 어떤 방법론을 바탕으로 할지 가설을 세워봅시다.Self Guidance? additional한 condition없이 스스로 guiding 하는 방법론 인 것 같다. (.. 2024. 6. 4.

티스토리툴바