이번주에 읽으려고 계획했던 논문은 아래 2편의 논문이다.
[읽음]
- Planning with Diffusion for Flexible Behavior Synthesis (ICML 2022)
- IS CONDITIONAL GENERATIVE MODELING ALL YOUNEED FOR DECISION-MAKING? (ICLR 2023)
두 논문 다 강화학습(RL)에서 diffusion을 사용한 논문인데, 요즘 강화학습의 trend가 generative model(diffusion)을 활용해 decision-making을 하는 것이라고 하여 한번 읽어보았다.
강화학습에 대해 잘 알지는 못하지만, 환경도 구축해보며 이번 한 주 동안 열심히 공부해봤다.
[RL] Colab(+ vscode)으로 mujoko-py 및 gym 환경 구축하기
!pip install colab_ssh --upgrade from colab_ssh import launch_ssh_cloudflared, init_git_cloudflared launch_ssh_cloudflared(password="test") 최근 diffusion + RL 관련 paper들을 읽으며 코드를 돌려봐야 할 일이 생겼다. 강화학습 환경
hyunsooworld.tistory.com
1. Planning with Diffusion for Flexible Behavior Synthesis (ICML 2022)
2. IS CONDITIONAL GENERATIVE MODELING ALL YOUNEED FOR DECISION-MAKING? (ICLR 2023)
첫번째 논문은 Classifier Guidance 및 image inpainting을 활용했고, 읽으면서 classifier-free guidance를 왜 사용하지 않았지? 하는 의문이 들었는데, 바로 후속 연구인 두번째 논문에서는 classifier-free guidance를 사용했다.
논문에 대한 리뷰는 전통적인 RL task에 대한 이해가 많이 부족하기 때문에, 생략하도록 하겠다.
나중에 아마 RL을 공부할 날이 꼭 올 것 같은데 최소 berkely의 RL 강의들을 보고 난 후에, 다시 리뷰해보던가 해야겠다.
https://www.youtube.com/watch?v=SupFHGbytvA&list=PL_iWQOsE6TfVYGEGiAOMaOzzv41Jfm_Ps
댓글