본문 바로가기

machine learning

 (2)
딥러닝 공부순서 추천 1. 포트폴리오 먼저, 프로젝트를 정하고 구현해보는 것이 좋다. 프로젝트 아이디어를 얻는데에 좋은 방법은 아래와 같다. 1) ML Sources를 얻기 좋은 곳 - Stanford's CS224n & CS231n projects - ML Reddit's WAYR - Kaggle Kernels - Paper (ML : ICML, NIPS / CV : CVPR, ECCV, ICCV) 유투브, udemy, edwith, nomad, fast.ai, coursera 등.. 에서 인터넷 강의를 병행하며 기초를 탄탄히 하면서 관련 Paper들을 찾자. (논문 찾기 좋은 곳 : google scholar) 그 후 여러 논문, Reddit, Kaggle 글들을 읽어보면서 관심있는 주제, idea의 방향성을 먼저 잡는 ..
Optimizer 종류 및 정리 가장 기본이 되는 optimizer 알고리즘으로 경사를 따라 내려가면서 W를 update시킨다. GD를 사용하는 이유 왜 이렇게 기울기를 사용하여 step별로 update를 시키는것일까? 애초에 cost(W)식을 미분하여 0인 점을 찾으면 되는게 아닌가?? -> 내가 알고 있기로 두 가지 이유 때문에 closed form으로 해결하지 못한다고 알고 있다. 1. 대부분의 non-linear regression문제는 closed form solution이 존재하지 않다. 2. closed form solution이 존재해도 수많은 parameter가 있을때는 GD로 해결하는 것이 계산적으로도 더 효율적이다. full-batch가 아닌 mini batch로 학습을 진행하는 것 (* batch로 학습하는 이유 ..

티스토리툴바