大数据处理在实际生活中有哪些应用

现在越来越多的行业和技术领域需要用到大数据分析处理系统。说到大数据处理，首先我们来好好了解一下大数据处理流程。

1.数据采集,搭建数据仓库，数据采集就是把数据通过前端埋点，接口日志调用流数据，数据库抓取，客户自己上传数据，把这些信息基础数据把各种维度保存起来，感觉有些数据没用（刚开始做只想着功能，有些数据没采集， 后来被老大训了一顿）。

2.数据清洗/预处理：就是把收到数据简单处理，比如把ip转换成地址，过滤掉脏数据等。

3.有了数据之后就可以对数据进行加工处理，数据处理的方式很多，总体分为离线处理，实时处理，离线处理就是每天定时处理，常用的有阿里的maxComputer,hive,MapReduce,离线处理主要用storm,spark,hadoop,通过一些数据处理框架，可以吧数据计算成各种KPI,在这里需要注意一下，不要只想着功能，主要是把各种数据维度建起来，基本数据做全，还要可复用，后期就可以把各种kpi随意组合展示出来。

4.数据展现，数据做出来没用，要可视化，做到MVP，就是快速做出来一个效果，不合适及时调整，这点有点类似于Scrum敏捷开发，数据展示的可以用datav，神策等，前端好的可以忽略，自己来画页面。

大数据处理在各行业的渗透越来越深入，例如金融行业需要使用大数据系统结合 VaR(value at risk) 或者机器学习方案进行信贷风控，零售、餐饮行业需要大数据系统实现辅助销售决策，各种 IOT 场景需要大数据系统持续聚合和分析时序数据，各大科技公司需要建立大数据分析中台等等。

大数据是信息技术与专业技术、信息技术产业与各行业领域紧密融合的典型领域，有着旺盛的应用需求、广阔的应用前景。为把握这一新兴领域带来的新机遇，需要不断跟踪研究大数据，不断提升对大数据的认知和理解，坚持技术创新与应用创新的协同共进，加快经济社会各领域的大数据开发与利用，推动国家、行业、企业对于数据的应用需求和应用水平进入新的阶段。

大数据技术的内容有很多，包括：
基础阶段：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis。
hadoop mapreduce hdfs yarn：hadoop：Hadoop 概念、版本、历史，HDFS工作原理，YARN介绍及组件介绍。
大数据存储阶段：hbase、hive、sqoop。
大数据架构设计阶段：Flume分布式、Zookeeper、Kafka。
大数据实时计算阶段：Mahout、Spark、storm。
大数据数据采集阶段：Python、Scala。
大数据商业实战阶段：实操企业大数据处理业务场景，分析需求、解决方案实施，综合技术实战应用。

推荐一本书《大数据时代》看完什么都懂了