[분석] 데이터 분석 방법

 

• Descriptive Analysis 탐색 기술분석

분석해서 해결할 가치가 있는 문제인가

비지니스 현장의 문제, 고객 불만사항 정도, 기업의 손해 정도 등

 

• Predictive Analysis 설명 인과분석

문제의 원인- 결과, 문제 전개 과정의 규명

 

• Prescriptive Analysis 최적 처방분석

문제를 원하는 결과로 변화시키는 조건-조치는 무엇인지, 문제 처리방안의 도출

 

1) 기술통계분석 : 데이터가 가진 일반적 특성분석을 수행. 어떤 내용이 들어있는지 간단한 항목으로 정리하는 것

- 빈도수, 비율, 평균, 표준편차, 최빈치, 왜도, 5분위수 등 산정

- 주어진 데이터셋에 어떠한 데이터가, 어떠한 패턴으로 있는지 다양한 각도에서 요약, 집계

- 데이터에 들어 있는 이상치, 결측치 등의 노이즈 제거하고, 분석목적에 맞는 시그널 데이터셋을 만들어 내는 전처리기법과 시각화 기법이 포함됨

 

2) 추론통계분석 : 표본분석으로 모집단의 특성 추론하여 해석. 

- 성별에 따른 선호상품의 차이, 연령대에 따른 신약효능 차이, 광고모델에 따른 구매자극 차이. 제한적 샘플링 테스트를 통해 파악

 

3) 머신러닝분석 :  대규모 데이터에 숨어있는 패턴 발견하고 규칙 도출. 

- 군집분석, 연관분석, 분류분석, 예측분석, 텍스트마이닝

 

4) 딥러닝분석: 기존 머신러닝 분석에 속한 군집,연관,분류,예측 분석을 인공신경망 알고리즘과 GPU 그래픽연산처리 장치를 통해 정확하고 빠르게 수행, 멀티미디어 데이터 ex)  이미지,영상,음성 결합 가능

 

 

데이터 분석을 잘 할 수 있는 형태로 적절한 전처리 가공을 통해 데이터 셋 구성 중요

- 이상치, 결측치 제어

- 적절한 기호로 변환 처리

 

문제 -> 자료리뷰 -> 데이터모델링[가설수립] -> 데이터수집.가공 -> 분석,평가,해석 -> 실행방법수립[액션 아이템]

1) 문제가 무엇인지? 날씨, 지역적, 여러가지 문제점이나 개선사항에 대해 파악

문제를 해결해야 하는지, 해결할 가치가 있는지

문제해결을 통해 무엇을 달성할 것인지

 

2) 문제와 관련된 직.간접 지식 수집

해결기법 참고 각종 문헌 조사, 인터뷰, 관찰 벤치마킹을 통해 조사

문제와 관련된 주요 요소(객체, 속성, 변수) 무엇인지

문제의 잠재적 요인은 무엇이고 가설적 해결방안은 무엇인지

 

3) 문제와 관련된 변수선정과 이들간 관계에 따른 가설은?

설정모형에 적합한 데이터 측정과 분석 기법은?

 

4) 관찰 및 설문, 실험, 트랜잭션, 로그 중 적합한 수집방법은?

정의된 모형 및 변수 특성에 부합 되는 데이터 수집 (코딩북 활용)

직접 수집 한 1차 차료, 타인이 가공해 놓은 2차 간접 자료 활용

정형·비정형, 내·외부 데이터 중에서 적합한 데이터는?

 

5) 기술통계분석을 기본으로 추론통계, 머신러닝, 딥러닝 기법 활용 모형성능평가

평가결과에 따라 어떤 알고리즘이 정확도 및 예측력이 높은지 비교 평가

 

6) 분석된 결과 및 이에 대한 해석을 토대로 문제에 대한 의사결정 수행

관련문제에 분석결과 활용해 프로세스 개선, 시스템 개발, 시스템 운영

 

 

 

 

 

 

 

과학기술정보통신부, NIA 한국정보화진흥원 참조