책소개
100개의 실전 예제를 풀며 익히는 머신러닝 & 데이터 활용법
이것이 현장에서 활용할 수 있는 데이터 활용술!
이 책은 큰 호평을 받았던 《파이썬 데이터 분석 실무 테크닉 100》을 잇는 것으로, 실제 실무 현장을 가정한 100개의 문제를 풀면서 현장의 관점과 응용력을 몸에 익히도록 구성한 활용서다. 데이터 활용 프로젝트를 시작하고, 회사 안에서 확실하게 정착시키기 위한 첫 걸음을 내딛으시기 바란다!
저자소개
저 : 시모야마 데루마사
일본전기주식회사(NEC)의 중앙연구소 하드웨어 연구 개발 부문에서 근무하였으며, 2017년에 아이큐베이터를 공동 창업하였다. 인공지능, 사물인터넷, 정보 디자인 부문에서 새로운 방향성과 가능성을 연구하며 비즈니스화를 진행하고 있으며, 머신러닝을 활용한 데이터 분석이나 대시보드 설계 등으로 업무 분야를 넓히면서 데이터 분석 컨설턴트로도 활동한다. 공저로 《파이썬 데이터 분석 실무 테크닉 100》(위키북스), 《Tableauデ?タ分析: ??から活用まで(Tableau 데이터 분석: 실전에서 활용까지)》(슈와시스템)가 있다.
저 : 미키 다카유키
소프트웨어 개발 회사에서 철도, 은행 등 대규모 기간 시스템 개발을 총괄하면서 시스템/IT의 요구사항 정의, 설계, 개발, 출시까지의 모든 과정을 경험했다. 2017년에 아이큐베이터를 공동 창업하였다. 독학으로 여러 언어를 습득해 C 언어보다 더 높은 수준의 언어를 주로 다룬다. 공저로 《파이썬 데이터 분석 실무 테크닉 100》(위키북스)이 있다.
저 : 이토 준지
휴대폰 회사의 백 오피스 부서에서 근무하면서 업무 효율화/정보 연동 도구를 직접 개발한 것을 계기로 시스템 개발의 즐거움을 깨달았다. 이후 시스템 엔지니어로 전직하여 철도 및 전력 계열의 기간 시스템 개발 등에 참여했다. 요구사항 정의에서 설계, 개발, 운용까지의 모든 과정에서 능력을 발휘했으며, 현장의 시선으로 제안하는 엔지니어이자 프로젝트 관리자로서 다양한 아이디어를 성공적으로 구현했다. 이후 AI 컨설팅, 데이터 분석을 수행하는 아이큐베이터에 합류하여 그간의 경험을 살려 현장의 시선을 중시한 AI 도입을 추진하고, AI 시스템 개발, 데이터 분석에 관한 여러 안건을 맡고 있다.
역 : 김모세
대학 졸업 후 소프트웨어 엔지니어, 소프트웨어 품질 엔지니어, 애자일 코치 등 다양한 부문에서 소프트웨어 개발에 참여했다. 재미있는 일, 나와 조직이 성장하고 성과를 내도록 돕는 일에 보람을 느끼며 나 자신에게 도전하고 더 나은 사람이 되기 위해 항상 노력하고 있다. 저서로 『코드 품질 시각화의 정석』(지앤선, 2015)이 있고, 옮긴 책으로는 『제대로 배우는 수학적 최적화』(한빛미디어, 2021), 『그림으로 배우는 TCP/IP』 등이 있다.
목차
PART 1 데이터 분석 시스템
CHAPTER 01 분석 준비를 위한 테크닉 10 3
테크닉 1 데이터를 모두 로딩하자 5
테크닉 2 데이터를 유니온(결합)하자 9
테크닉 3 폴더 안에 있는 파일을 확인하자 11
테크닉 4 여러 데이터를 유니온(결합)하자 13
테크닉 5 데이터 통계량을 확인하자 16
테크닉 6 불필요한 데이터를 제거하자 18
테크닉 7 마스터 데이터를 조인(결합)하자 20
테크닉 8 마스터가 존재하지 않는 코드에 이름을 설정하자 21
테크닉 9 분석 기초 테이블을 파일에 저장하자 24
테크닉 10 셀을 사용하기 쉽게 정리하자 25
CHAPTER 02 데이터를 시각화하고 분석하기 위한 테크닉 10 28
테크닉 11 데이터를 로딩하고 불필요한 항목을 제외하자 29
테크닉 12 데이터 전체 이미지를 파악하자 32
테크닉 13 월별 매출을 집계하자 34
테크닉 14 월별 추이를 시각화하자 37
테크닉 15 매출로부터 히스토그램을 만들자 39
테크닉 16 시/도/군/구별 매출을 집계해서 시각화하자 41
테크닉 17 클러스터링을 위해 데이터를 가공하자 43
테크닉 18 클러스터링을 이용해 매장을 그룹화하자 45
테크닉 19 그룹의 경향을 분석하자 47
테크닉 20 클러스터링 결과를 t-SNE로 시각화하자 48
CHAPTER 03 시각화 구조를 구축하기 위한 테크닉 10 51
테크닉 21 매장을 필터링해서 시각화하자 53
테크닉 22 여러 매장의 상세 정보를 시각화하자 58
테크닉 23 슬라이드바를 이용해 주문 건수를 조사하자 61
테크닉 24 토글 버튼을 이용해 지역 데이터를 추출하자 63
테크닉 25 날짜를 지정해 데이터를 추출하자 66
테크닉 26 스토리를 생각해서 데이터를 구축하자 69
테크닉 27 주문 취소 이유를 분석하자 75
테크닉 28 가설을 검증하자 76
테크닉 29 스토리를 기반으로 부속과 데이터를 조합해 대시보드를 만들자 80
테크닉 30 대시보드를 개선하자 87
CHAPTER 04 보고 구조를 만들기 위한 테크닉 10 91
테크닉 31 특정 매장의 매출을 엑셀로 출력하자 93
테크닉 32 엑셀 테이블을 정리해 출력하자 99
테크닉 33 매출 이외의 데이터도 출력하자 101
테크닉 34 문제가 있는 위치를 빨간색으로 출력하자 104
테크닉 35 엑셀의 셀 함수를 이용해 일 단위로 집계하자 105
테크닉 36 꺾은선 그래프로 출력하자 107
테크닉 37 보고서용 데이터를 준비하자 109
테크닉 38 데이터시트에 필요한 데이터를 출력하자 113
테크닉 39 요약 시트를 만들자 116
테크닉 40 매장별 보고서를 엑셀로 출력하자 121
CHAPTER 05 분석 시스템을 구축하기 위한 테크닉 10 123
테크닉 41 기본 폴더를 만들자 125
테크닉 42 입력 데이터 확인 구조를 만들자 127
테크닉 43 보고서(본부용) 작성 처리를 함수화하자 132
테크닉 44 보고서(매장용) 작성 처리를 함수화하자 136
테크닉 45 함수를 실행하고 동작을 확인하자 141
테크닉 46 데이터 업데이트에 대응해 폴더를 만들자 143
테크닉 47 시/도/군/구별로 폴더를 만들고 데이터를 출력하자 144
테크닉 48 지난달 데이터를 동적으로 로딩하자 146
테크닉 49 과거 데이터와 비교하자 151
테크닉 50 화면에서 실행할 수 있게 하자 153
PART 2 머신러닝 시스템
CHAPTER 06 머신러닝용 데이터를 가공하기 위한 테크닉 10 161
테크닉 51 데이터 가공을 위한 밑준비를 하자 162
테크닉 52 데이터를 로딩하고 데이터 가공 방향성을 검토하자 164
테크닉 53 1개월분 데이터로 기본적인 가공을 하자 166
테크닉 54 머신러닝용 변수를 만들자 168
테크닉 55 매장 단위로 집계해서 변수를 만들자 170
테크닉 56 데이터 가공과 매장별 집계를 함수로 실행하자 173
테크닉 57 모든 데이터를 로딩하고 데이터를 가공하자 176
테크닉 58 목적 변수를 만들자 178
테크닉 59 설명 변수와 목적 변수를 연결해 머신러닝용 데이터를 완성하자 181
테크닉 60 머신러닝용 데이터를 확인하고 출력하자 182
CHAPTER 07 머신러닝 모델을 구현하기 위한 테크닉 10 185
테크닉 61 폴더를 만들고 머신러닝용 데이터를 저장하자 186
테크닉 62 범주형 변수에 대응하자 187
테크닉 63 학습 데이터와 테스트 데이터를 나누자 189
테크닉 64 모델 하나를 구현하자 190
테크닉 65 모델을 평가하자 192
테크닉 66 모델의 중요도를 확인해 보자 196
테크닉 67 모델 구현부터 평가까지의 과정을 함수화하자 197
테크닉 68 모델 파일과 평가 결과를 출력하자 199
테크닉 69 알고리즘을 확장해 다각적으로 평가하자 200
테크닉 70 평일/휴일 모델을 한 번에 실행하자 203
CHAPTER 08 머신러닝 모델로 새로운 데이터를 예측하기 위한 테크닉 10 208
테크닉 71 폴더를 만들고 데이터 로딩을 준비하자 209
테크닉 72 예측할 신규 데이터를 로딩하자 210
테크닉 73 신규 데이터를 매장별로 집계하자 212
테크닉 74 신규 데이터의 범주형 변수에 대응하자 215
테크닉 75 모델 투입 직전의 형식으로 정리하자 216
테크닉 76 모델 파일을 로딩하자 217
테크닉 77 신규 데이터를 예측하자 218
테크닉 78 예측 결과를 히트맵으로 그리자 220
테크닉 79 실적 데이터를 만들자 222
테크닉 80 현장용 보고서를 만들어 출력하자 223
CHAPTER 09 소규모 머신러닝 시스템을 만들기 위한 테크닉 10 226
테크닉 81 폴더를 만들고 초기 변수를 정의하자 227
테크닉 82 신규 데이터를 로딩하고 매장별 데이터를 만들자 231
테크닉 83 월별 매장 데이터를 업데이트하자 235
테크닉 84 머신러닝용 데이터를 만들고 업데이트하자 236
테크닉 85 머신러닝 모델용 사전 데이터를 가공하자 239
테크닉 86 머신러닝 모델을 구현하고 평가하자 240
테크닉 87 신규 데이터 예측을 위한 밑준비를 하자 244
테크닉 88 신규 데이터를 예측하자 245
테크닉 89 현장용 보고서를 만들고 출력하자 246
테크닉 90 머신러닝 모델의 정밀도 추이를 시각화하자 249
CHAPTER 10 머신러닝 시스템 대시보드를 만들기 위한 테크닉 10 252
테크닉 91 단일 데이터를 로딩하자 253
테크닉 92 업데이트 데이터를 로딩해 매장별 데이터를 만들자 255
테크닉 93 머신러닝 모델의 중요 변수 데이터를 로딩하고 결합하자 256
테크닉 94 머신러닝 모델의 예측 결과를 로딩하고 결합하자 257
테크닉 95 머신러닝 모델용 사전 데이터를 가공하자 259
테크닉 96 매장 분석용 대시보드를 만들자 261
테크닉 97 머신러닝 모델의 정밀도 평가 대시보드를 만들자 264
테크닉 98 머신러닝 모델의 혼동 행렬 대시보드를 만들자 266
테크닉 99 머신러닝 모델의 변수 중요도 분석 대시보드를 만들자 269
테크닉 100 머신러닝 모델의 예측 결과를 시각화해서 검증하자 272
