빅데이터의 분산처리 프레임 워크 | presto | hive

빅데이터의 분산처리 대규모 분산 처리의 프레임 워크 구조화 데이터와 비구조화 데이터 비정형화된 데이터는 SQL로 제대로 집계할 수 없다. NoSQL 데이터 베이스가 이러한 스키마리스 데이터에 대응하고 있다. 다양한 형태의 데이터를 우선 데이터 레이크에 저장한 후, 분석하기 용이하게 분산스토리지에 옮기는 파이프라인이 필요하다. 하둡의 열지향 스토리지 Apache ORC 구조화 데이터를 위한 열지향 스토리지로 처음에 스키마를 정한 후 데이터를 저장한다. Apache Parquet 스키마리스에 가까운 데이터 구조로 되어잇어 json같은 데이터도 그대로 저장할 수 있다. 이 때 비 구조화 데이터도 열지향 스토리지로 변환하는 과정을 거쳐야 하는데, 사용되는 것이 Hadoop과 Spark 다. Hadoop 분산 데..