머신러닝이란? (머신러닝 개념, 머신러닝 과정)

 

개인적으로 맘에들어 넣은 사진

 

머신러닝 응용 개발 : 과거 데이터로부터 패턴을 찾아내어 모델화한 후, 사용자 인터페이스 등을 추가한 application으로 만들어 실무에 사용하는 일련의 과정 (데이터 전처리 -> 모델링 -> 예측(적용))

 

(1) 데이터 전처리 단계 : 전처리는 데이터의 클린징, 변환, 필터링 등을 통해 원시 데이터를 구조화하여 훈련용으로 사용가능한 데이터셋(dataset)을 생성하는 작업

• 클린징(cleansing) : 원시 데이터의 결측값(빠진 값), 오류값 등을 제거 또는 수정

• 변환(transformation) : 범주형 데이터를 (ex.청소년이냐 성인이냐 노인이냐) 숫자로 바꾸거나, 데이터를 표준화하거나, 특이값을 수정/제거하거나 주소(지역명과 숫자)의 GPS값으로의 변환 등

• 필터링(filtering) : 모델의 성능을 저해하는 변수(ex. 다중공선성(multicollinerarity)(변수간의 상호관계성이 높은 것들)이 높은 변수를 제거.)를 제거. (ex. 위치 정보와 주변지역의 관광객수 정보로 호텔 객실 가격을 예측하는데 이 두개의 정보는 서로 중복되는 비슷한 변수여서 하나는 제거해야만 예측력이 올라감.)

 

 

(2) 모델링 단계 : 모델링은 알고리즘 선택, 훈련(fitting), 테스팅을 반복하면서 가장 성능이 좋은 모델을 생성하는 과정

 

 

(3) 예측 단계 : 예측은 실제 데이터를 모델에 적용하여 결과를 예측하는 과정.

• 데이터 투입 방식은 일괄처리(batch) 또는 단계별로 투입되는 스트리밍(streaming) 방식이 있다.