ADsP | 2. 데이터 분석의 이해

데이터 분석 기획의 이해

01. 분석 기획 방향성 도출

• 분석 대상과 방법 : 4가지 유형을 넘나들며 분석을 수행

방법 \ 대상	Known	UnKnown
Known	최적화 (Optimization)	통찰(Insight)
UnKnown	솔루션 (Solution)	발견 (Discovery)

 

• 분석 기획 방안

	과제 중심적 접근	장기적 마스터 플랜
목적	빠르게 해결	지속적 분석 원인 해결
1차 목표	Speed & Test	Accuracy & Deploy
과제 유형	Quick & Win	Long Term View
접근 방식	Problem Solving	Problem Definition

 

• 분석 기획시 고려사항

가용데이터	적절한 유스케이스 탐색	장애요소에 대한 사전계획 수립
분석의 기본이 되는 데이터 확보 / 파악	기존에 잘 구현되어있는 유사 시나리오 활용	조직의 역량으로 내재화

 

• 의사결정을 가로막는 요소
  • 고정관념, 편향된 생각
  • 프레이밍 효과 : 동일 상황임에도 개인의 판단, 결정이 달라짐

 

 

02. 분석 방법론

• 분석 방법론의 구성요소
  • 절차, 방법, 도구와 기법, 템플릿과 산출물

 

• 분석 방법론의 모델

계층적 프로세스 모델	단계(Baseline로 관리) → 태스크 → 스탭(단기간 수행 WorkPackage)
폭포수 모델	이전 단계 완료되어야 다음 단계 진행 (Top-Down)
나선형 모델	여러 개발과정 거쳐 점진적으로 완성. 위험요소 제거에 초점
프로토타입 모델	일부분(프로토 타임)을 우선 개발하고 보완
반복적 모델	- 증분형 모형 : 전체 시스템을 작은 단위로 나누어 개발 - 진화형 모형 : 핵심 부분을 개발한 후 요구사항을 반영하여 진화
애자일	짧은 개발 주기를 가지고 고객 피드백을 지속적으로 반영하여 반복적인 개발

 

• KDD 분석 방법론

데이터 선택	→ 전처리	→ 변환	→ 마이닝	→ 결과평가
원시데이터(Raw Data)나 DB에서 필요한 데이터 선택	이상값, 잡음 식별 및 데이터 가공	변수 선택 및 차원 축소	알고리즘을 선택하여 분석 수행	결과에 대한 해석, 결과가 충족되지 않으면 절차 반복 수행

 

• Crisp-DM 분석 방법론

업무 이해	→ 데이터 이해	→ 데이터 준비	→ 모델링	→ 평가	→ 전개
업무 목적 파악 상황파악 목표 설정 프로젝트 계획 수립	초기 데이터수집 기술분석 EDA 데이터 품질 확인	데이터 셋 선택 및 정체 통합	모델링 기법 선택 테스트 계획 설계 모델 작성 및 평가	분석 결과 평가 모델링 과정 평가 모델 적용성 평가	전개계획 모니터링 및 유지보수 계획 수립 프로젝트 종료 보고서 작성 프로젝트 리뷰

 

• SEMMA 분석 방법론

Sample	→ Explore	→ Modify	→ Model	→ Assess
분석 대상 데이터 추출	탐색하고 오류 확인	데이터의 변환	알고리즘 적용	모델의 평가 및 검증

 

• 빅데이터 분석 방법론

03. 분석과제 발굴

• 하향식 접근 방법
  • 문제가 주어지고 해답을 찾기 위해 진행

문제탐색	- 빠짐없이 문제를 도출하고 식별하며 솔루션 초점보다는 가치에 초점 - 비즈니스 모델 캔버스 단순화 측면 : 업무, 제품, 고객, 규제와 감사, 자원 인프라  - 관점 : 거시적 관점 (사회, 기술, 경제, 환경, 정치)              경제 확대 관점 (대체자, 경쟁자, 신규 진입자), 시장의 니즈 탐색 관점 (고객, 채널, 영향자)
문제 정의	- 비즈니스 문제를 데이터 문제로 변환하여 정의
해결방안	- 기존 시스템 활용, 시스템 고도화, 인적 자원 확보, 아웃소싱 등
타탕성 검토	- 경제적 타당성 : 비용대비 편익 분석 관점 접근 - 데이터 타당성 : 데이터 존재 여부, 분석 역량이 필요 - 기술적 타당성 : 역량 확보 방안 사전에 수립

 

• 상향식 접근 방법
  • 문제 정의 자체가 어려울 때, 사물을 그대로 인식하는 What 관점
  • 주로 비지도 학습 활용

 

• 혼합 접근 방법
  • 발산단계 : 상항식 접근 방법으로서, 가능한 방안들을 도출
  • 수렴단계 : 하향식 접근 방법으로서, 도출된 방안들을 분석

 

• 디자인 싱킹
  • 사용자에 공감으로 시작해서 아이디어 발산/수렴 과정을 통한 피드백으로 발전하는 과정
  • 공감하기 → 문제정의 → 아이디어 도출 → 프로토타입 → 테스트

 

• 지도학습, 비지도학습

지도학습	비지도학습
정답이 있는 데이터를 학습 (하향식 접근법)	정답이 없는 데이터를 학습 (상향식 접근법)
분류분석, 회귀분석, 의사결정트리, KNN, SVM	군집분석, 자원축소, 연관규칙분석

 

 

04.분석 프로젝트 관리 방안

• 분석 과제에서 고려해야할 5가지 요소
  • 데이터 크기, 속도, 데이터 복잡도, 분석 복잡도, 정확도/정밀도 (이건 Trade-Off 관계 + 오류분표의 평가지표와 다른 개념)

 

• 프로젝트 관리 지식 체계 10가지 영역
  • 통합, 범위, 시간(일정), 원가, 품질, 인적자원, 의사소통, 리스크(위험), 조달(아웃소싱), 이해관계자

 

분석 마스터 플랜 

01. 마스터 플랜 수립

• IT 프로젝트의 우선순위 선정 기준
  • 중장기 마스터 플랜 수립을 위해 ISP 활용
    1. 전략적 중요도 : 전략적 필요성, 시급성
    2. 실행 용이성 : 투자 용이성, 기술 용이성

 

• 데이터 분석 프로젝트의 우선순위 선정 기준

시급성 관점	난이도 관점
비즈니스 효과 (Return) - Value	투자 비용 요소 (Investment) - Volume, Variety, Velocity
시급성 중요시 : 3 → 4 → 2	난이도 중요시 : 3 → 1 → 2

 

 

02. 분석 거버넌스 체계 수립

• 분석 거버넌스 체계 구성요소
  • 조직, 프로세스, 시스템, 데이터, 분석 관련 교육 및 마인드

 

• 데이터분석 수준 진단
  • 분석 준비도

분석적 업무파악	인력 및 조직	분석기법
발생한 사실 분석 업무 예측 분석 업무 시뮬레이션 분석 업무 분석 업무 정기적 개선	분석 전분가 직무 존재 분석 전문가 교육 훈련 프로그램 관리자들의 기본적 분석 능력 전사 분석 업무 총괄 조직 존재 경영진 분석업무 이해능력	업무별 적합한 분석기법 사용 분석 업무 도입 방법론 분석 기법 라이브러리 분석기법 효과성 평가 분석 기법 정기적 개선
분석 데이터	분석 문화	IT 인프라
분석 업무를 위한 데이터 충분성 분석 업무를 위한 데이터 신뢰성 분석업무를 위한 데이터 적시성 비구조적 데이터 관리 외부 데이터 활용 체계 마스터 데이터 관리 (MDM)	사실에 근거한 의사결정 관리자의 데이터 중시 회의 등에서 데이터 활용 경영진의 직관보다 데이터 데이터 공유 및 협업 문화	운영시스템 데이터 통합 EAL, ETL 등 데이터 유통체계 분석 전용 서버 및 분석환경 빅데이터 분석환경 통계분석 환경 비주얼 분석 환경

 

• 분석 성숙도
  • CMMI 모델 기반 (1~5 단계)

단계	비즈니스부분	조직 및 역량부문	IT 부문
도입 : 환경,   시스템 구축	실적 분석 및 통계 정기 보고 수행 운영 데이터 기반	일부 부서에서 수행 담당자 역량에 의존	데이터 웨어 하우스 데이터 마트 ETL / EAI, OLAP
활용 : 업무에 적용	미래결과 예측 시뮬레이션 운영 데이터 기반	전문담당부서 수행 분석 기법 도입 관리자가 분석 수행	실시간 대시보드 통계분석 환경
확산 : 전사 차원 관리, 공유	전사성과 실시간 분석 프로세스 혁신 3.0 분석규칙관리 이벤트 관리	전사 모든 부서 수행 분석 CEO 운영 데이터 사이언티스트 확보	빅데이터 관리 환경 시뮬레이션 / 최적화 비주얼 분석 분석 전용 서버
최적화 : 혁신, 성과향상에 기여	외부 환경 분석 적용 최적화 업무 적용 실시간 분석 비즈니스 모델 진화	데이터 사이언스 그룹 경영진 분석 활용 전략 연계	분석 협엽 환경 분석 Sand Dox 프로세스 내재화 빅데이터 분

 

• 데이터 분석 성숙도 모델

 

• 분석 지원 인프라 방안 수립
  • 확장성을 고려한 플랫폼 구조 적용 (중앙집중적 관리)
  • 분석 플랫폼 구성 요소 (광의가 협의를 포함하는 개념)

광의의 분석 플랫폼	협의의 분석 플랫폼
분석 서비스 제공 엔진, 분석 어플리케이션, 분석 서비스 API, 하드웨어	데이터 처리 프레임 워크, 분석엔진, 분석 라이브러리

 

• 데이터 거버넌스
  • 전사 차원에서 데이터에 대해 표준화된 관리체계 수립
  • 구성요소 : 원칙, 조직, 프로세스
  • 중요 관리 대상

마스터 데이터	메타 데이터	데이터 사전
자료 처리에 기준이 되는 자료	다른 데이터를 설명해주는 데이터	DB에 저장된 정보를 요약

 

• 데이터 거버넌스 체계

데이터 표준화	데이터 관리체계	데이터 저장소 관리	표준화 활동
메타 데이터 및 사전 구축	효율성을 위함	저장소 구성	모니터링, 표준 개선 활동

 

• 빅데이터 거버넌스
  • 데이터 거버넌스 체계 + 빅데이터 효율적 관리, 데이터 최적화, 정보보호, 데이터 카테고리 별 관리책임자 지정 등 포