[ADsP/ADP] 3과목. 데이터 분석 기획

1장. 데이터 분석 기획의 이해

- 분석 기획은 단기적으로는 분석 과제를 도출하여 프로젝트화 한 후 관리를 수행하여 분석결과를 도출하는 것이고, 중장기적으로는 분석 마스터플랜을 수행하여 지속적인 분석 과제 수행을 지원할 수 있는 거버넌스 체계를 수립하는 것이다.

분석의방법(How) / 분석의 대상(What)	분석의 대상(What) O	분석의 대상(What) X
분석의방법(How) O	Optimization 최적화	Insight 통찰력
분석의방법(How) X	Solution 해결책	Discovery 발견

1. 분석 기획 시 고려사항

- 데이터 : 데이터 확보, 데이터 유형에 따른 선행 분석

- 분석을 통해 가치창출되는 적절한 활용방안과 유즈케이스 탐색

- 분석 수행시 발생 가능한 장애요소와 대책에 대한 사전 계획 수립

​

2. 기업의 합리적인 의사결정을 가로막는 장애 요소

- 고정관념(Stereotype)

- 편향된 생각(Bias)

- 프레이밍 효과(Framing Effect) : 문제의 표현 방식에 따라 (동일한)사건이나 상황에 대한 선택이 달라질 수 있는 현상

 

---

분석방법론

1. 방법론의 구성 : 절차, 방법, 도구와 기법, 템플릿과 산출물

 

2. 방법론 모델

1) 폭포수 모델 : 하향식 / 순차 / 피드백 = 문제나 개선사항이 발견되면 전 단계로 돌아간다.

2) 나선형 모델 : 반복 / 점증적 / 반복에 대한 관리 체계를 효과적으로 갖추지 못한 경우 복잡도가 상승하여 프로젝트 진행이 어려울 수 있다.

3) 프로토타입 모델 : 개선

4) 계층적 프로세스 모델 : 단계(최상위) → 태스크 → 스텝

 

3. 비즈니스 모델 캔버스 : 업무 / 제품 / 고객 / 규제와 감사 / 지원 인프라

 

4. KDD 분석 방법론 : 데이터 선택 → 전처리 → 변환 → 데이터 마이닝 → 결과 평가

 

5. CRISP-DM 방법론 : 업무 이해 → 데이터 이해 → 데이터 준비 → 모델링 → 평가 → 전개

1) 업무 이해 : 업무 목적 파악, 상황 파악, 데이터 마이닝 목표 설정, 프로젝트 계획 수립

2) 데이터 이해

  - 데이터를 수집하고 데이터 속성을 이해하기 위한 과정

  - 데이터 품질에 대한 문제점을 식별하고 숨겨져 있는 인사이트 발견

  - 데이터 수집/기술 분석/탐색/품질 확인

3) 데이터 준비

  - 수집된 데이터에서 분석기법에 적합한 데이터셋을 편성

  - 분석용 데이터 선택, 데이터 정제/통합/포매팅

4) 모델링

  - 모델링 기법과 알고리즘을 선택하고 파라미터를 최적화하는 단계

  - 모델링 기법 선택, 모델 테스트 계획 설계, 모델 작성, 모델 평가

5) 평가

  - 데이터 마이닝 결과를 수용할 것인지 판단

  - 분석 결과 평가, 모델링 과정 평가, 모델 적용성 평가

6) 전개

  - 완성된 모델을 실제 업무에 적용하기 위한 계획을 수립하고 모델의 유지보수 계획을 마련한다. 또한 마지막 단계에 해당하여 종료 관련 프로세스를 수행하여 프로젝트를 완료시킨다.

  - 전개 계획 수립, 모니터링과 유지보수 계획 수립, 프로젝트 종료보고서 작성, 프로젝트 리뷰

 

6. 빅데이터 분석 방법론 : 분석 기획 → 데이터 준비 → 데이터 분석 → (시스템 구현) → 평가 및 전개

1) 분석 기획

  - 비즈니스를 이해하고 도메인의 문제점을 파악하여 빅데이터 분석 프로젝트의 범위를 설정한다.

  - 프로젝트 정의 및 계획 수립

  - 프로젝트의 위험을 사전에 식별하고 대응방안을 수립

2) 데이터 준비

  - 필요 데이터 정의, 데이터 스토어 설계, 데이터 수집 및 정합성 점검

3) 데이터 분석

  - 분석용 데이터 준비, 탐색적 분석, 모델링, 모델 평가 및 검증, 모델 적용 및 운영 방안 수립

4) 시스템 구현

  - 시스템에 적용하거나 프로토타입을 구현하고자 하는 경우에 진행한다. 분석보고서를 작성하는 것으로 프로젝트가 종료되는 경우에는 생략할 수 있다.

  - 설계 및 구현, 시스템 테스트 및 운영

5) 평가 및 전개

  - 모델 발전계획 수립, 프로젝트 평가 및 보고

 

 

---

분석 과제 발굴

[ 하향식 접근 방식 : Top Down Approach ]

- 체계적 단계화 / Why 관점 / 문제 → 해법 / 지도학습

- Problem Discovery(문제 탐색) → Problem Definition(문제 정의) → Solution Search(해결방안 탐색) → Feasibility Study(타당성 검사)

 

1. Problem Discovery 문제 탐색

1) 비즈니스 모델 기반 문제 탐색

  - 업무, 제품, 고객, 규제와감사, 지원 인프라

  - 새로운 문제의 발굴 및 장기적인 접근을 위해서는 현재 수행하고 있는 비즈니스뿐만 아니라 환경과 경쟁 구도의 변화 및 역량의 재해석을 통한 "혁신"의 관점에서 분석 기회를 추가 도출해야 한다. 

  - 새로운 관점의 접근 필요

  - 거시적 관점 ~ 메가 트랜드 : 사회, 기술, 경제, 환경, 정치

  - 경쟁자 확대 ~ 경쟁사의 동향 : 대체제, 경쟁자, 신규 진입자

  - 시장 니즈 탐색 ~ 고객 니즈의 변화 : 고객, 채널, 영향자들

  - 역량의 재해석 ~ 내부 역량, 파트너 네트워크

2) 외부 참조 모델 기반 문제 탐색

  - 기존에 수행한 분석 과제를 살펴보는 것

  - 데이터 분석 활용 사례

  - 벤치마킹

3) 분석 유즈 케이스 정의

  - 풀어야 할 문제에 대한 상세한 설명 및 해당 문제를 해결했을 때 발생하는 효과를 명시함으로써 향후 데이터 분석 문제로의 전환 및 적합성 평가에 활용

 

2. Problem Definition 문제 정의

- 비즈니스 문제 → 데이터 분석 문제로의 변환

- 분석 수행자 & 최종 사용자의 관점

 

3. Solution Search 해결방안 탐색

- 수행 옵션 도출

분석기법 및 시스템(How) / 분석 역량(Who)	분석 역량 확보	분석 역량 미확보
기존시스템	기존 시스템 개선 활용	교육 및 채용을 통한 역량 확보
신규 도입	시스템 고도화	전문 업체 Sourcing

 

4. Feasibility Study 타당성 검토

- 타당성 평가 → 과제선정

- 경제적 타당성

- 데이터 및 기술적 타당성

 

 

[ 상향식 접근 방식 : Bottom Up Approach ]

1.

- What 관점 / 디자인 사고 / 감정이입

- 데이터를 기반으로 문제 정의 및 해결방안 탐색

- 데이터 → 분석 → 문제/통찰력/지식

- 비지도 학습 방법 : 데이터 자체의 결합, 연관성, 유사성을 중심으로 접근

 

 

2. 프로토타이핑 접근법

- 시행착오를 통한 문제 해결

- 사용자가 문제나 데이터를 정확하게 규정하기 어렵고 데이터 소스도 명확히 파악하기 어려운 상황에서 일단 분석을 시도해보고 그 결과를 확인해 가면서 반복적으로 개선해가는 방법

- 비록 완전하지는 못하다 해도 신속하게 해결책이나 모형을 제시함으로써 이를 바탕으로 문제를 좀 더 명확하게 인식하고 필요한 데이터를 식별하여 구체화

- 애자일(Agile) 프로젝트 관리방식

- 가설의 생성 > 디자인에 대한 실험 > 실제 환경에서의 테스트 > 테스트 결과에서의 통찰 > 도출 및 가설 확인

- 잘 설계된 프로토타이핑을 지속하면 실험이 가지고 있는 불명확성이 감소하고 의도했던 결과를 도출할 수 있는 성공 가능성은 높아진다.

- 빅데이터에서 프로토타이핑의 필요성 : 문제에 대한 인식 수준 / 필요 데이터의 존재 여부의 불확실성 / 데이터의 사용 목적의 가변성

 

 

3. 디자인 사고 프로세스 : 상향식 접근방식의 발산(Diverage)와 하향식 접근 방식의 수렴(Coverage) 단계를 반복적으로 수행

 

---

분석 프로젝트 관리 방안

1. 분석 과제의 주요 5가지 특성/주요 관리 영역

1) Data Size

2) Data Complexity : 원천 데이터(비정형 데이터)를 통합해서 분석 프로젝트를 진행할 때는 초기 데이터의 확보와 통합뿐만 아니라 해당 데이터에 잘 적용될 수 있는 분석 모델의 선정 등에 대한 사전 고려가 필요하다.

3) Speed : 시나리오 측면의 속도. 프로젝트 수행 시 분석모델의 성능 및 속도를 고려한 개발 및 테스트가 수행되어야한다.

4) Analytic Complexity : 해석이 가능하면서 정확도를 올릴 수 있는 최적모델을 찾는 방안을 사적에 모색해야 한다.

5) Accuracy & Precision

  - Precision : 모델을 지속적으로 반복했을 때의 편차의 수준으로써 일관적으로 동일한 결과를 제시한다.

  - 분석의 활용 ~ Accuracy / 안정성 ~ Precision

 

 

 

2. 분석 프로젝트의 관리방안(프로젝트관리 지침)

1) 통합 : 통합적 운영

2) 이해관계자 : 이해관계자를 식별하고 관리

  - Data, Business, 분석 등 다양한 영역의 사람들이 프로젝트에 참여하며, Project Sponsor 및 향후 분석 결과를 활용 할 User 등 다양한 사람들의 니즈를 고려해야 한다.

3) 범위 : 작업과 인도물을 식별하고 정의

4) 자원 : 적절한 프로젝트 자원을 식별하고 확보

5) 시간 : 프로젝트 활동의 일정을 수립하고 일정 통제의 진척상황을 관찰

6) 원가 : 예산 개발과 원가통제의 진척상황을 관찰

7) 리스크 : 위험과 기회를 식별하고 관리

8) 품질 : 품질보증, 품질통제/품질목표를 사전에 수립하여 확정

9) 조달 : 계획에 요구된 프로세스를 포함하며 제품 및 서비스 또는 인도물을 인수하고 공급자와의 관계를 관리하는데 요구되는 프로세스

10) 의사소통 : 분석 결과를 모든 프로젝트 이해관계자가 공유할 수 있도록

 

---

2장. 분석 마스터 플랜

- 분석기획 : 단기적 분석과제 도출 → 프로젝트화, 관리 → 분석결과를 도출

- 분석 마스터 플랜 : 중장기적/지속적 분석과제 수행, 거버넌스 체계

 

- ISP : 정보전략계획. 정보기술 또는 정보시스템을 전략적으로 활용하기 위하여 조직 내/외부 환경을 분석하여 기회나 문제점을 도출하고 사용자의 요구사항을 분석하여 시스템 구축 우선순위를 결정하는 등 중장기 마스터 플랜을 수립하는 절차

 

1. 분석 마스터 플랜 수립

1) 우선순위 설정 : 전략적 중요도, 비즈니스 성과, 실행 용이성

2) 적용 범위 & 방식 고려 : 업무 내재화 적용 수준, 분석 데이터 적용 수준, 기술 적용 수준

 

 

2. 과제 우선순위 평가기준

1) 전략적 중요도 : 전략적 필요성, 시급성

2) 실행 용이성 : 투자 용이성, 기술 용이성

3) 비즈니스 성과/ROI

 

 

  ① 난이도

     - 데이터 획득/저장/가공비용, 분석 적용 비용, 분석 수준

     - 3V(Volume, Variety, Velocity) : 투자비용(Investment)

  ②시급성

     - 전략적 중요도, 목표가치

     - Value : 비즈니스 효과(Return)

---

분석 거버넌스 체계 수립

1. 거버넌스 체계 : 데이터 분석의 지속적인 적용과 확산

- 분석 기획 및 관리를 수행하는 조직

- 과제 기획 및 운영 프로세스

- 분석 관련 시스템

- 데이터

- 분석 관련 교육 및 마인드 육성 체계(Human Resource)

 

2. 데이터 분석 수준 진단

- 분석 준비도 : 업무, 인력/조직, 기법, 데이터, 문화, 인프라

- 분석 성숙도 : 도입(구축), 활용(적용), 확산(분석 관리/공유), 최적화(진화/혁신/성과 향상)

 

 

3. 데이터 거버넌스

- 표준화된 관리체계를 수립하고 운영을 위한 프레임워크 및 저장소를 구축

- 관리 대상 : 마스터데이터, 메타데이터, 데이터 사전

- 원칙(지침, 가이드), 조직(역할과 책임), 프로세스(활동과 체계)

 

1) 데이터 표준화

2) 데이터 관리체계

3) 데이터 저장소 관리

4) 표준화 활동

 

4. 데이터 조직

1) 집중구조

  - 별도의 분석 전담조직

  - 전략적 중요도에 따라 우선순위를 정해서 진행 가능

  - 현업 업무부서의 분석업무와 이중화/이원화 가능성 높음

2) 기능구조

  - 별도 분석조직 X, 해당 부서에서 분석 수행

  - 전시적 핵심분석이 어렵다.

  - 과거 실적에 국한된 분석가능성 높음

3) 분산구조

  - 분석조직 인력들을 현업부서로 직접 배치하여 분석 수행

  - 전사차원의 우선순위 수행

  - 분석결과에 따른 신속한 Action 기능

  - Best Practice 공유가능