빅데이터와 데이터 분석

빅데이터의 정의 

빅데이터(Big Data)

• 기존의 데이터베이스로는 수집, 저장, 분석등을 정상적으로 어려울 만큼의 방대한 데이터
• 빅데이터의 3가지 요소(3V): 크기(volumne), 다양성(variety), 속도(velocity)

빅데이터의 활용

• 의사결정에 도움을 줌
• 의사소통 과정에서 객관적인 자료로 활용 가능
• 눈에 보이지 않는 새로운 사실을 발견할 수 있음

빅데이터 활용 예시

문제 정의

• 심야 시간대에 특정 노선에서 승객 수가 낮거나 과잉 수요가 발생하는 문제를 해결하여, 노선 최적화 및 운행 효율성을 높이기 위한 방안 찾기.

정보 수집

• 승객 탑승 데이터 (심야 버스 이용 시간, 정류장별 승하차 기록)
• 교통량 데이터 (심야 시간 교통 흐름 및 차량 밀도)
• GPS 데이터 (버스 이동 경로 및 소요 시간)

분석 결과

• 수요가 높은 구간에 추가 배차, 수요가 낮은 구간은 배차 간격 조정
• 새로운 노선 신설 또는 기존 노선 통합으로 운행 효율성 증대 정류장 위치 개선 및 승객 안내 시스템 강화

데이터 분석

• 다양한 데이터를 가공하여 유의미한 데이터로 가치를 창출
• 전처리한 데이터를 득정 데이터와 결합하여 관련 비즈니스 분야의 모니터링, 포지셔닝, 분석, 문제해결을 가능하도록 하는 과정

데이터가 주어짐 → 데이터 관계를 파악하거나 관계를 활용 → 새로운 데이터를 만들어 내는 과정 

데이터 분석 과정

문제정의 → 데이터 수집 → 데이터 준비 → 데이터 탐색 → 정리 및 결과발표

• 문제 정의
  무엇을 분석?
  결과가 어디에 왜 필요?
  어떤 종류의 데이턱 필요?
• 데이터 수집
  공공 데이터를 수집하여 활용
  데이터 유형과 종류에 따라서 그에 적합한 수집기술 활용
• 데이터 준비
  전처리 과정
  데이터 여과, 데이터 정제, 데이터 통합, 데이터 축소, 데이터 변환
• 데이터 탐색
  변수 간의 관련성, 데이터 분표 여부
  그래프를 이용하여 시각적으로 표현
• 정리 및 결과 발표
  분석 결과를 정리하여서 발표