[4,5] 빅데이터의 이해 , 가치와 영향

2020. 2. 3. 17:53

데이터 크기 관점
- 일반적인 DB 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터
데이터 분석 관점
- 대규모 데이터를 저렴한 비용으로 가치를 추출, 초고속 수집, 발굴 ,분석을 지원하도록 고안된 차세대 기술 및 아키텍처
데이터 가치 관점
- 대용량 데이터를 활용해 작은 용량에서는 얻을 수 없었던 새로운 통찰이나 가치를 추출해내는 일
가트너 그룹 더 그래니가 언급한 빅데이터의 정의
- Volume - 생성되는 모든 데이터를 수집
- Variety - 정형화된 데이터를 넘어 텍스트,오디오,비디오 등 모든 유형의 데이터를 분석대상으로 함
- Velocity - 사용자가 원하는 시간내에 분석 결과를 제공하는 것 / 데이터의 업데이트 되는 속도가 매우 빨라지는 것

데이터 단위
- 1TB - 1024 GB
- 1PB(페타바이트) - 1024 TB
- 1EB(엑사바이트) - 1024 PB
- 1ZB(제타바이트) - 1024 EB

2. 빅데이터의 가치와 영향

빅데이터의 가치 산정이 어려운 이유
1. 데이터의 활용 방식 : 언제 어디서 누가 활용할지 알 수 없음
2. 새로운 가치 창출 : 기존에 없던 가치를 창출 --> 측정하기 어려움
3. 분석 기술의 발달 : 가치없는 데이터도 거대한 가치를 만들어 내는 재료가 될 가능성이 있음

빅데이터 활용 사례
1. 구글 검색엔진, 월마트의 구매패턴 분석, IBM 왓슨 의료 분야에 활용
2. 정부의 실시간 교통정보 활용 ( CCTV )
3. 정치인의 사회관계망분석을 통한 유세, 가수의 팬 음악청취 기록 분석 활용
4. 아마존의 킨들에 쌓이는 전자책 읽기 관련 데이터 분석해 저자들에게 제공
빅데이터 활용 테크닉
1. 연관 규칙 학습 : 변수 간에 주목할 만한 상관관계가 있는지를 찾아내는 방법
2. 유형분석 : 사용자가 어떤 특성을 가진 집단에 속하는가 와 같은 문제를 해결하고자 할때 사용
3. 유전 알고리즘 : 최적화의 메커니즘을 찾아가는 방법
4. 기계학습 : 훈련 데이터로부터 학습한 알려진 특성을 활용해 "예측" 하는 일에 초점
5. 회귀분석 : "구매자의 나이가 구매차량의 타입에 어떤영향을 미치는가?" 와 같은 문제를 답할 때 사용
6. 감정분석 : "새로운 환불 정책에 대한 고객의 평가는 어떤가?" 를 알고 싶을 때 활용
7. 소셜 네트워크 분석(= 사회관계망분석 SNA) : 영향력 있는 사람을 찾아낼 수 있으면, 고객들 간 소셜 관계 파악

4. 위기 요인과 통제 방안

사생활 침해 - 특정 데이터가 본래 목적 외에 가공 처리돼 다른 목적으로 활용될 가능성이 증가
1. 익명화
2. 동의에서 책임으로 변경 - 사용자에게 책임을 지움
책임 원칙의 훼손 - 잠재적 위험 사항에 대해서도 책임을 추궁하는 사회로 변질될 가능성 증가
1. 기존 책임 원칙을 강화
데이터의 오용 - 주어진 데이터에 잘못된 인사이트를 얻어 비즈니스에 직접 손실을 불러올 수 있음
1. 데이터 알고리즘에 대한 접근권 허용
2. 객관적 인증방안을 도입하는 필요성을 제기

5. 미래의 빅데이터

빅데이터 활용 3요소 - 데이터 / 기술 / 인력
1. 데이터 : 특정한 목적없이 생산된 데이터라도 창의적으로 재활용 -> 가치를 생성
2. 기술 : 데이터 양 증가 -> 알고리즘 정확도 증가
3. 인력 : 다각적 분석을 통해 인사이트 도출, 조직 전략 방향 제시에 활용