4. 빅데이터 플랫폼

(1) 빅데이터 플랫폼(Bigdata Platform) 개념

: 빅데이터에서 가치를 추출하기 위해 일련의 과정(수집 - 저장 - 처리 - 분석 - 시각화)를 규격화한 기술이다.

 

(2) 빅데이터 플랫폼 구성요소

• 데이터 수집 ⭐
  • 원천 데이터 정형/반정형/비정형 데이터 수집
  • ETL, 크롤러, EAI 등
• 데이터 저장 ⭐
  • 정형 데이터, 반정형 데이터, 비정형 데이터 저장
  • RDBMS, NoSQL 등
• 데이터 분석
  • 텍스트 분석, 머신러닝, 통계, 데이터 마이닝
  • SNS 분석, 예측 분석 등
• 데이터 활용
  • 데이터 가시화 및 BI, Open API 연계
  • 히스토그램, 인포그래픽 등

 

(3) 빅데이터 플랫폼 데이터 형식

• HTML
  • HyperText Markup Language
  • 웹 페이지를 만들 때 사용되는 문서 형식
  • 텍스트, 태그, 스크립트로 구성
• XML
  • eXtensible Markup Language
  • SGML 문서 형식을 가진, 다른 특수한 목적을 갖는 마크업 언어를 만드는 데 사용하는 다목적 마크업 언어
  • 데이터 표현을 위해 태그 사용
  • 엘리먼트, 속성, 처리 명령, 엔티티, 주석, CDATE 섹션으로 구성
• CSV
  • Comma Separated Values
  • 몇 가지 필드를 쉼표(,)로 구분한 텍스트 데이터 및 텍스트 파일
• JSON
  • JavaScript Object Notation
  • <키-값>으로 이루어진 데이터 오브젝트를 전달하기 위해 텍스트를 사용하는 개방형 표준 포맷

 

(4) 분산 컴퓨팅 환경 소프트웨어

• 맵리듀스(Map Reduce), 얀(YARN), 아파치 스파크(Apache Spark) , 하둡 분산 파일(HDFS), 아파치 하둡(Apache Hadoop)