11. 데이터 적재

(1) 빅데이터 적재 소프트웨어 아키텍처 정의

• 기반 소프트웨어 정의 ( = Open Source)
  • 하둡 도입 검토
  • 인 메모리(In-Memory) 데이터베이스 도입 검토
  • 데이터 분석 플랫폼 적용 검토
  • 데이터 시각화 적용 검토
• 빅데이터 적재 소프트웨어 아키텍처 정의
  • 수집 : Crawler, ETL, 연계/수집 플랫폼
  • 적재 및 저장 : RDB저장소, NoSQL저장소, Object저장소, ETL, 빅데이터 자원관리
  • 분석 : 빅데이터 분석 모델 / 분석 플랫폼
  • 활용 : 데이터 시각화, 데이터 활용 플랫폼, Open API 서비스

 

(2) 데이터 적재 도구

• 플루언티드(Fluentd)
  • 트레저 데이터에서 개발된 크로스 플랫폼 오픈 소스 데이터 수집 소프트웨어
  • 루비 프로그래밍 언어로 작성
• 플럼(Flume)
• 스크라이브(Scribe)
• 로그스태시(Logstash) : 모든 로그 정보를 수집하여 하나의 저장소(DB, Elasticsearch 등)에 출력해주는 시스템