KBW's cosmos

오늘은 회귀에 대해 배워보겠다. 먼저 회귀의 개념에 대해 먼저 알아보겠다. 우리 스스로를 아이스크림 가게를 운영하는 주인이라고 가정해보자. 판매용 아이스크림을 구입할 때 예상되는 실제 판매량 만큼만 주문할 수 있다면 더 좋을 것이다. 이 때 만약 평균 기온을 활용해 미래 판매량을 예측할 수 있을까? 그러면 문제를 정의하고 어떤 해결방안이 있는지 보도록 하겠다. 평균 기온과 판매량은 선형적인 관계를 가지고 있다고 가정하겠다. 한쪽이 늘면 한쪽도 늘고 한쪽이 줄면 한쪽이 줄어드는 것과 같이 같은 경향성을 보이는 것을 선형적인 관계라고 한다. (한쪽이 늘 때 한쪽은 감소하고 한쪽이 줄 때 한쪽은 증가할 때도 선형적인 관계라고 할 수 있다.) 보면 X는 feature 데이터고 Y는 label 데이터이다. 따라서..

이번 시간에는 머신러닝을 위한 데이터 전 처리를 이해해보도록 하겠다. 우선 머신러닝 과정을 이해할 필요가 있다. 이 머신러닝 과정은 크게 네 가지로 나눌 수 있다. 데이터를 수집하고 이 데이터들을 머신러닝 학습에 사용하기 전에 머신러닝에 사용할 수 있는 형태로 처리를 해줘야 하는데 이것을 데이터 분석 및 전 처리 과정이라고 한다. 마지막에는 평가를 하는데 잘 안되었다면 다시 학습하거나, 분석을 다시하거나, 새로운 데이터로 수집하거나 하는 전 단계 과정으로 돌아가게 된다. 그러면 대표적인 데이터 전 처리의 역할에 대해 보겠다. 크게 세 가지로 정리할 수 있는데, 첫 번째는 머신러닝의 입력 형태에 맞게 데이터를 변환한다는 것이다. 두 번째는 이상한 값들을 처리하는 데이터 정제의 역할이다. 세 번째는 아까봤던..

첫 번째로 자료의 형태에 대해 알아보겠다. 왜 자료의 형태를 알아야할까? 머신러닝은 데이터라는 디지털 자료를 바탕으로 수행하는 분석방식이다. 자료의 형태를 파악하는 것은 머신러닝을 사용하기 위한 필수 과정이다. 머신러닝을 사용할 때는 여러 가지 필요한 정보가 있을 수 있다. 이 중에서 첫 번째 물음은 자료의 형태를 파악해야만 알 수 있다. 이것을 알아야 어떤 머신러닝 모델을 사용할지, 데이터 전처리는 어떻게 할지와 같은 다음 파트로 넘어갈 수 있다. 자료 형태는 위와 같이 구분된다. 자료에는 수치형 자료가 있다. 이것은 수치로 측정이 가능한 자료로 키, 몸무게 등이 있다. 다음으로는 범주형 자료가 있다. 이것은 수치로 측정이 불가능한 자료로 성별, 지역등이 있다. 이런 자료 형태를 나눌 때 주의할 점이 ..

머신러닝은 빅 데이터를 분석할 수 있는 강력한 툴이다. 기존 통계학 및 시각화 방법의 한계를 해결해준다. 머신러닝 : 명시적으로 프로그래밍을 하지 않고도 컴퓨터가 학습할 수 있는 능력을 갖게 하는 것 이전에 작은 데이터를 다룰 때는 명시적 프로그램이과 머신 러닝의 효율차이가 많이 나지 않는다. 하지만 빅 데이터와 같이 큰 데이터가 들어오게 되면 그 모든 데이터를 사람이 보고 케이스를 나누기 쉽지 않다. 그래서 이 데이터들을 분석할 수 있는 방법으로 머신 러닝이 뜨게 된 것이다. 그럼 이 머신러닝에 어떤 기법들이 있는 지 구분해 보도록 하겠다. 이 과목에서는 세 가지 방식중에서 지도학습 위주로 학습할 것이고 이 지도학습 안에서도 중요한 회귀분석과 분류에 대해 학습하겠다. 예측해야 할 결과에 대한 정답 데이..

과기정통부와 nipa(정보통신산업진흥원) 주관의 AI 교육을 받게 되었다. 교육 커리큘럼은 위와 같이 AI 실무 기본과정과 AI 실무 응용과정으로 나뉘어져 있다. 코로나 시즌의 이점을 활용해 지난번 소프트웨어 마에스트로 코딩테스트 플랫폼으로 활용됐던 elice라는 플랫폼에서 교육이 비대면으로 진행된다. 이에 따라 수업 기간도 12월 17일 까지로 넉넉하지만 이번 방학내에 다 끝내버리려고 한다. 토익 영어 공부때문에 바쁜 날들이었지만 평소 관심있었던 인공지능 공부의 입문으로 활용하기에 정말 좋은 기회라 병행하며 진행해보려고 한다. 과정별로 정보통신산업진흥원 명의의 수료증을 발급해주고 과정을 모두 수료 시 한국표준협회의 '인공지능 전문가' 민간 자격 취득지원도 해준다고 한다. 열심히 해봐야겠다 ㅎㅎ

머신러닝 응용 개발 : 과거 데이터로부터 패턴을 찾아내어 모델화한 후, 사용자 인터페이스 등을 추가한 application으로 만들어 실무에 사용하는 일련의 과정 (데이터 전처리 -> 모델링 -> 예측(적용)) (1) 데이터 전처리 단계 : 전처리는 데이터의 클린징, 변환, 필터링 등을 통해 원시 데이터를 구조화하여 훈련용으로 사용가능한 데이터셋(dataset)을 생성하는 작업 클린징(cleansing) : 원시 데이터의 결측값(빠진 값), 오류값 등을 제거 또는 수정 변환(transformation) : 범주형 데이터를 (ex.청소년이냐 성인이냐 노인이냐) 숫자로 바꾸거나, 데이터를 표준화하거나, 특이값을 수정/제거하거나 주소(지역명과 숫자)의 GPS값으로의 변환 등 필터링(filtering) : 모델..