데이터 전처리 2

[2021 NIPA AI 교육 - 응용 / 머신러닝] 02 데이터 전 처리하기

이번 시간에는 머신러닝을 위한 데이터 전 처리를 이해해보도록 하겠다. 우선 머신러닝 과정을 이해할 필요가 있다. 이 머신러닝 과정은 크게 네 가지로 나눌 수 있다. 데이터를 수집하고 이 데이터들을 머신러닝 학습에 사용하기 전에 머신러닝에 사용할 수 있는 형태로 처리를 해줘야 하는데 이것을 데이터 분석 및 전 처리 과정이라고 한다. 마지막에는 평가를 하는데 잘 안되었다면 다시 학습하거나, 분석을 다시하거나, 새로운 데이터로 수집하거나 하는 전 단계 과정으로 돌아가게 된다. 그러면 대표적인 데이터 전 처리의 역할에 대해 보겠다. 크게 세 가지로 정리할 수 있는데, 첫 번째는 머신러닝의 입력 형태에 맞게 데이터를 변환한다는 것이다. 두 번째는 이상한 값들을 처리하는 데이터 정제의 역할이다. 세 번째는 아까봤던..

인공지능 공부 2021.08.20

머신러닝이란? (머신러닝 개념, 머신러닝 과정)

머신러닝 응용 개발 : 과거 데이터로부터 패턴을 찾아내어 모델화한 후, 사용자 인터페이스 등을 추가한 application으로 만들어 실무에 사용하는 일련의 과정 (데이터 전처리 -> 모델링 -> 예측(적용)) (1) 데이터 전처리 단계 : 전처리는 데이터의 클린징, 변환, 필터링 등을 통해 원시 데이터를 구조화하여 훈련용으로 사용가능한 데이터셋(dataset)을 생성하는 작업 클린징(cleansing) : 원시 데이터의 결측값(빠진 값), 오류값 등을 제거 또는 수정 변환(transformation) : 범주형 데이터를 (ex.청소년이냐 성인이냐 노인이냐) 숫자로 바꾸거나, 데이터를 표준화하거나, 특이값을 수정/제거하거나 주소(지역명과 숫자)의 GPS값으로의 변환 등 필터링(filtering) : 모델..

인공지능 공부 2021.01.10
반응형