앙상블(Ensemble) – 랜덤 포레스트(Random Forest)

1. 랜덤 포레스트(Random Forest)란? – 2001년에 Leo Breiman에 의해 처음 소개된 기법으로 의사결정 트리의 단점을 개선하기 위한 알고리즘 중 가장 지배적인 알고리즘 – 부트스트랩 (bootstrap)표본을 이용할 뿐 아니라 변수에 임의성을 더한 방법을 말하며 앙상블 이론이 갖는 장점을 극대화하여 예측 및 분류 정확도를 기존의 방법보다 개선하며 안정성을 얻음. – 랜덤포레스트의 성능평가는 OOB(Out-Of-Bag) error라는 수치로 파악함. * […]

Continue reading →

앙상블(Ensemble) – 부스팅(Boosting)

1. 부스팅(Boosting) 이란? – Bagging과 유사하게 초기 샘플 데이터를 조작하여 다수의 분류기를 생성하는 기법 중 하나 – 일반적으로 부스팅은 약검출기(weak classifier)들을 여러 개 모아 강검출기(strong clssifier)를 생성하는 방법을 말하고 주로 의사결정나무 모형을 사용함. – 부스팅(Boosting)의  흐름도는 아래 그림과 같음. – 부스팅의 경우 전체 데이터에서 여러 샘플링 데이터를 추출하여 순차적으로 이전 학습 분류기의 결과를 토대로 다음 […]

Continue reading →

Convolutional Neural Network

1. Deep Neural Network Deep Learning이라는 것은 사실 Deep Neural Network를 의미 feed-forward network에서 hidden layer가 2개 이상이면 ‘deep’하다고 말함 (Deep Learning 이미 몇 십년 전에 기본적인 연구가 끝난 분야임) Multilayer perceptrons and backpropagation ( Rumelhart et al., 1986 ) Convolutional network ( LeCun, 1989 ) 그런데 Deep Learning 은 2000년도 중반이 지나고나서야 주목을 받기 […]

Continue reading →