Hadoop学习 一

Hey

开始Hadoop学习。

大数据概念

大数据:无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
需要解决的问题主要是海量数据的存储和计算问题。

  • 常规软件即为JavaEE、SSM框架、Mysql数据库等。Mysql存储数据量一般为500万~1000万,不满足大数据需求。
  • 数据存储单位:bit Byte KB MB GB TB PB EB ZB YB BB NB DB

    大数据的特点

    1. Volume
      企业数据量接近EB级别
    2. Velocity 数据产生速率快,处理数据的效率至关重要
    3. Variety 数据多种多样,非结构化数据越来越多。
    4. Value 价值密度的高低与数据总量大小成反比。

      应用场景

    5. 物流存储:大数据分析助力精细化运营。
    6. 零售:分析用户消费习惯。
    7. 旅游:分析旅游行业需求。
    8. 商品广告推荐:向用户推荐喜欢商品。
    9. 保险:数据挖掘及风险预测。
    10. 金融:多维度体现用户特征。
    11. 房产:精准投策和营销。
    12. 人工智能与大数据结合

      部门业务流程

      产品人员提需求 -> 数据部门搭建数据平台、分析数据指标-> 数据可视化

      部门组织结构

      结构图