大数据简述

跟着同事学习一下大数据。

本文简述大数据的基本面貌，梳理了静态与动态数据的分类及其来源，并介绍分布式存储、MapReduce 分析流程等大数据框架，涵盖 YARN 资源调度与 ZooKeeper 分布式协调服务等关键组件。

分而治之，方驭海量数据

无处不在的大数据

分类

1. 静态数据
2. 动态数据（年龄，喜好，推荐）

来源

1. 谷歌文件系统（GFS）
2. MapReduce
3. BigTable
4. hadoop
5. spark

大数据框架

分布式处理的软件框架的总称，

1. 存储
   1. 分布式存储
      1. NameNode:记录每个块的信息
      2. DataNode：存储源信息
   2. 降低硬件成本
   3. 软件提供可靠性
      1. 分开存储；可用性不能保证
2. 分析——MapReduce
   1. 分而治之
   2. Map
   3. Shuffle
   4. Reduce

里程碑-YARN

接受任务/资源调度

1. Resource Manager：接受任务
2. Node Manager：启动容器

ZooKeeper:分布式协调服务

1. 命令服务
2. 配置管理
3. 集群管理

脑裂现象：

1. 投票机制~ 过半当leader