Programmiry

 1. 빅데이터의 이해

• 데이터 크기 관점

  • 일반적인 DB 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터

• 데이터 분석 관점

  • 대규모 데이터를 저렴한 비용으로 가치를 추출, 초고속 수집, 발굴 ,분석을 지원하도록 고안된 차세대 기술 및 아키텍처

• 데이터 가치 관점

  • 대용량 데이터를 활용해 작은 용량에서는 얻을 수 없었던 새로운 통찰이나 가치를 추출해내는 일

• 가트너 그룹 더 그래니가 언급한 빅데이터의 정의

  • Volume - 생성되는 모든 데이터를 수집

  • Variety - 정형화된 데이터를 넘어 텍스트,오디오,비디오 등 모든 유형의 데이터를 분석대상으로 함

  • Velocity - 사용자가 원하는 시간내에 분석 결과를 제공하는 것 / 데이터의 업데이트 되는 속도가 매우 빨라지는 것

• 데이터 단위

  • 1TB - 1024 GB

  • 1PB(페타바이트) - 1024 TB

  • 1EB(엑사바이트) - 1024 PB

  • 1ZB(제타바이트) - 1024 EB

2. 빅데이터 기능

• 차세대 산업혁명에서 해낼 것으로 기대됨 - 제조업뿐만아니라 서비스 분야 생산성 ↑

• 경제성장에 필요한 '정보'를 제공 - 산업 전반의 생산성을 한 단계 향상

• 데이터가 산업 전반에 영향을 미칠 것

• '공동 활용의 목적으로 구축된 유무형의 구조물' - 플랫폼

3. 빅데이터가 만들어낸 변화

• 사전처리 -> 사후처리 : 가능한 한 많은 데이터를 모으고 다양한 방식으로 조합해 숨은 정보를 찾아냄

• 표본조사 -> 전수조사 : 표본조사가 주지 못하는 패턴이나 정보를 제공

• 질 << 양 : 데이터 수가 증가함에 따라 사소한 몇개의 오류 데이터가 영항을 주지 않음

• 인과관계 -> 상관관계 : 인과관계 모델은 비용이 매우 비쌈, 비즈니스 상황에서는 상관관계만으로 충분함

2. 빅데이터의 가치와 영향

1. 빅데이터 가치

• 빅데이터의 가치 산정이 어려운 이유

  1. 데이터의 활용 방식 : 언제 어디서 누가 활용할지 알 수 없음

  2. 새로운 가치 창출 : 기존에 없던 가치를 창출 --> 측정하기 어려움

  3. 분석 기술의 발달 : 가치없는 데이터도 거대한 가치를 만들어 내는 재료가 될 가능성이 있음

2. 빅데이터의 영향

• 빅데이터 영향

  1. 기업 : 혁신, 경쟁력 제고, 생산성 향상

  2. 정부 : 환경탐색, 상황분석, 미래대응

  3. 개인 : 목적에 따라 활용

• 빅데이터가 가치를 만들어내는 방식

  1. 투명성 제고로 연구개발 및 관리 효율성 제고

  2. 시뮬레이션을 통한 수요포착 및 주요 변수 탐색으로 경쟁력 강화

  3. 고객 세분화 및 맞춤 서비스 제공

  4. 알고리즘 활용한 의사결정 보조 , 대체

  5. 비즈니스 모델,제품,서비스의 혁신

3. 비즈니스 모델

• 빅데이터 활용 사례
  1. 구글 검색엔진, 월마트의 구매패턴 분석, IBM 왓슨 의료 분야에 활용
  2. 정부의 실시간 교통정보 활용 ( CCTV )
  3. 정치인의 사회관계망분석을 통한 유세, 가수의 팬 음악청취 기록 분석 활용
  4. 아마존의 킨들에 쌓이는 전자책 읽기 관련 데이터 분석해 저자들에게 제공
• 빅데이터 활용 테크닉
  1. 연관 규칙 학습 : 변수 간에 주목할 만한 상관관계가 있는지를 찾아내는 방법
  2. 유형분석 : 사용자가 어떤 특성을 가진 집단에 속하는가 와 같은 문제를 해결하고자 할때 사용
  3. 유전 알고리즘 : 최적화의 메커니즘을 찾아가는 방법
  4. 기계학습 : 훈련 데이터로부터 학습한 알려진 특성을 활용해 "예측" 하는 일에 초점
  5. 회귀분석 : "구매자의 나이가 구매차량의 타입에 어떤영향을 미치는가?" 와 같은 문제를 답할 때 사용
  6. 감정분석 : "새로운 환불 정책에 대한 고객의 평가는 어떤가?" 를 알고 싶을 때 활용
  7. 소셜 네트워크 분석(= 사회관계망분석 SNA) : 영향력 있는 사람을 찾아낼 수 있으면, 고객들 간 소셜 관계 파악

4. 위기 요인과 통제 방안

• 사생활 침해 - 특정 데이터가 본래 목적 외에 가공 처리돼 다른 목적으로 활용될 가능성이 증가
  1. 익명화
  2. 동의에서 책임으로 변경 - 사용자에게 책임을 지움
• 책임 원칙의 훼손 - 잠재적 위험 사항에 대해서도 책임을 추궁하는 사회로 변질될 가능성 증가
  1. 기존 책임 원칙을 강화
• 데이터의 오용 - 주어진 데이터에 잘못된 인사이트를 얻어 비즈니스에 직접 손실을 불러올 수 있음
  
  1. 데이터 알고리즘에 대한 접근권 허용
  2. 객관적 인증방안을 도입하는 필요성을 제기

5. 미래의 빅데이터

• 빅데이터 활용 3요소 - 데이터 / 기술 / 인력
  1. 데이터 : 특정한 목적없이 생산된 데이터라도 창의적으로 재활용 -> 가치를 생성
  2. 기술 : 데이터 양 증가 -> 알고리즘 정확도 증가
  3. 인력 : 다각적 분석을 통해 인사이트 도출, 조직 전략 방향 제시에 활용

[2] 데이터베이스 정의와 특징

1. 데이터베이스 정의

• 데이터를 저장하고 공급하기 위하여 일정한 구조에 따라서 편성된 데이터의 집합, 관련된 레코드의 집합

• 소프트웨어로는 DBMS(데이터베이스 관리 시스템)

2. 데이터베이스 특징

• 통합된 데이터 - '데이터가 중복되어 있지 않다는 것' 을 의미

• 저장된 데이터 - '컴퓨터가 접근할 수 있는 저장매체에 저장되는 것' 을 의미

• 공용 데이터    - '서로 다른 목적'으로 데이터를 공동 이용

• 변화되는 데이터 - 추가,삭제,갱신으로 변화하면서도 '항상 현재의 정확한 데이터를 유지해야 한다는 것' 을 의미

3. 데이터베이스 특성

• 정보의 축적 및 전달 측면 - 필요한 정보를 검색하는 검색가능성, 원거리에서도 온라인으로 이용가능한 원격조작성

• 정보이용 측면 - 정보를 신속하게 획득

• 정보관리 측면 - 방대한 양의 정보를 체계적으로 축적, 새로운 내용 추가나 갱신에 용이

• 정보기술발전 측면 - 네트워크 발전 기술을 견인

• 경제 산업적 측면 - 국민의 편의를 증진하는 수단

[3] 데이터베이스 활용

1. 기업 내부 데이터베이스

      - 경영활동의 기반이 되는 전사 시스템으로 확대 (모든 회사의 자원을 통합하여 관리하는 시스템)

• OLTP (온라인 거래처리) - 주 컴퓨터와 톹신회선으로 접속되어 있는 복수의 사용자 단말에서 발생한 트랜잭션을 주 컴퓨터에서 처리하여 그 결과를 즉석에서 사용자에게 되돌려보내 주는 처리형태. (진행 중인 비즈니스 프로세스)

  • 기본적인 비즈니스 작업을 제어 및 실행하는 것

• OLAP (온라인 분석처리) - 다차원으로 이루어진 데이터로부터 통계적인 요약정보를 제공할 수 있는 기술

  • 의사결정 지원 , 계획 및 문제해결을 돕는 것

• CRM - 선별된 고객으로부터 수익을 창출, 장기적인 고객관계를 가능케함, 보다 높은 이익을 창출하는 솔루션

• SCM - 제조, 물류, 유통업체 등 유통공급망에 참여하는 모든 업체들이 협력을 바탕으로 정보기술을 활용

2. 분야별 기업 내부 데이터베이스

     -제조-

• DW - 정보검색을 목적으로 구축된 데이터베이스 ( 전사적인 규모의 시스템 )

  • 데이터 마트는 사업부 단위의 소규모 데이터 웨어하우스

  • 특성 : 데이터 주제 지향성, 데이터 통합, 데이터의 시계열성 , 데이터의 비휘발성

• ERP - 생산,구매,재고,주문,공급자와의 거래,고객서비스 제공 등 주요 프로세스 관리를 돕는 여러 모듈로 구성된 통합 APP SW 패키지

• BI - 기업의 DW에 저장된 데이터에 접근해 경영 의사결정에 필요한 정보를 획득 -> 활용

• CRM - 위 설명과 동일

     -금융-

• EAI - 기업 애플리케이션 통합을 의미 (ERP,CRM,SCM 등등...)

• EDW - 기존 DW를 전사적으로 확장한 모델인 동시에 BRP와 CRM,BSC 같은 다양한 분석 APP들을 위한 원천이 됨

• 블록 체인 - 네트워크에 참여하는 모든 사용자가 모든 거래내역 등의 데이터를 분산, 저장하는 기술  

     -유통-

• KMS - 지식관리시스템의 약자, 조직 내의 지식을 체계적으로 관리하는 시스템을 의미

• RFID - 무선주파수를 이용하여 대상을 식별할 수 있는 기술 (ex. 교통카드)

3. 사회 기반 구조로서의 데이터베이스

• EDI - 표준화된 상거래 서식 또는 공공 서식을 서로 합의된 표준에 따라 전자문서를 만들어 컴퓨터 및 통신을 매개로 상호교환 하는 것

• CALS - 광속상거래의 약칭, 관련 데이터를 통합 운영하는 업무 환경

 BI vs BA

• BI - 과거의 성과를 측정 -> 비즈니스를 계획

• BA - 데이터와 통계 -> 성과에 대한 이해 , 비즈니스 통찰력에 초점

4. 분야별 사회기반 구조로서의 데이터 베이스

     - 물류 -

• 종합물류정보망 - 실시간 차량추적. 운행 중인 차량의 위치, 상태를 실시간으로 파악 -> 의사결정을 지원
• 부가가치통신망 (VAN) - 정보를 축적, 가공, 변환 처리하여 음성 또는 데이터 정보를 제공해주는 광범위 하고도 복합적인 통신서비스의 집합
• 지리 : 국가지리정보체계( NGIS ) , RS , GPS
• 교통 : ITS
• 의료 : EDI
• 교육 : 교육행정정보시스템 ( NEIS )

1. 데이터의 정의
   • 데이터는 '객관적 사실' 이라는 존재적 특성을 가짐
     • 개별데이터 자체로는 의미가 중요하지 않은 객관적인 사실
   • 추론, 예측, 전망, 추정을 위한 근거로 기능하는 당위적 특성을 가짐
2. 데이터의 유형

• '정량적'은 자료를 수치화하는 것
  • 과거의 수치를 토대로 분석
• '정성적'은 자료의 성질,특징을 자세히 풀어쓰는 방식 (ex. 만족도, 선호도...그 외 숫자로 환산불가능 한 것
  • 응답자의 주관적인 견해와 판단을 근거로 분석

3. 지식경영 핵심 이슈

• 암묵지
  • 학습과 체험을 통하여 개인에게 습득 (ex. 관찰, 현장작업 등등.. 경험)
• 형식지
  • 암묵지를 문서 , 매뉴얼 처럼 외부로 표출 (ex. 책 , 설계도 등등.. 체계화된 자료)

• 경험을 공유하여 암묵지를 체득하는 공동화 
• 구체화된 암묵지를 명시지로 표출화
• 표출된 명시지를 쳬게화하는 연결화
• 표출화와 연결화로 공유된 형식지를 습득하는 내면화

4. 데이터와 정보의 관계

• DIKW 피라미드

• Data -> Information -> Knowledge -> Wisdom
  • Data : 다른 데이터와 상관관계가 없는 순수한 수치나 기호
  • Information : 상관관계를 이해, 패턴을 인식하고 의미를 부여
  • Knowledge : 상호 연결된 정보 패턴을 이해하여 이를 토대로 예측한 결과물
  • Wisdom : 근본 원리에 대한 깊은 이해를 바탕으로 도출되는 아이디어

Data를 가지고 패턴인식 후 그를 토대로 결과물을 만들어냄 -> 그 결과물을 가지고 아이디어를 도출