[인공지능] 하이퍼 파라미터 튜닝은 어떻게 할 수 있을까?

-하이퍼 파라미터

하이퍼파라미터는 머신러닝 모델링할 때 사용자가 직접 세팅해주는 값을 뜻합니다. 하이퍼파라미터는 learning rate나 서포트 벡터 머신에서의 C, sigma 값, KNN에서의 K값 등등 굉장히 많습니다. 모델 파라미터와 달리 하이퍼파라미터는 모델 학습 과정에서 최적의 값을 찾아내지 않고 사용자가 직접 지정해줘야 합니다.

 

-하이퍼파라미터를 설정하는 방법

 

1.그리드 탐색

기본적인 최적화방법. 하이퍼파라미터의 값들을 미리 정해놓은 범위에서 모든 조합을 시도해보는 것이다. 이 방법은 하이퍼파라미터의 값들이 서로 독립적인 경우에 적용하기 좋다.

단점: 모든 가능성을 살펴보기 때문에 하이퍼파라미터나 데이터가 많은 경우 시간이 매우 오래걸린다. 

 

2.랜덤탐색

하이퍼파라미터의 값들을 랜덤하게 추출하여 시도해보는 것이다. 이 방법은 하이퍼파라미터의 값들이 서로 상호작용하는 경우에 적용하기 좋다. 그리드 탐색에 비하여 시간 대비 성능이 좋고, 적은 수의 하이퍼파라미터가 영향을 미치는 경우에 좋은 결과를 낸다. But, 그리드 탐색과 마찬가지로 넓은 범위를 탐색하기때문에 비효율적이다.

 

 

참고블로그:

https://velog.io/@emseoyk/하이퍼파라미터-튜닝

https://yeong-jin-data-blog.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%ED%95%98%EC%9D%B4%ED%8D%BC-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0-%ED%8A%9C%EB%8B%9D/