大数据时代，随着互联网、物联网、云计算、云技术、智能终端等信息技术的迅猛发展，在影响着人们生活的同时，也无时不改变着制造业企业的运作模式。几乎所有行业所拥有的数据都在增长，这也成为大家共同面临的挑战和机遇，制造业自然也不例外。

制造业整个价值链、制造业产品的整个生命周期，都涉及到非常多的数据，比如产品数据、运营数据、价值链数据、外部数据等等，种类繁多，这些数据将会为企业带来非常多的价值。

一、大数据平台在智能制造中的作用

1. 实现由业务流程驱动转变为数据驱动

企业的信息化建设实现了业务流程数字化，也成功使企业的组织管理形式从初级阶段的依靠KPI考核的职能型组织，转变为中级阶段的流程驱动的流程型组织，现在迫切需要转变为高级阶段的数据驱动型组织。

2. 从数据资产中重新挖掘价值

企业多年的信息化建设积累了大量的数据，数据被视为资产越来越受到重视，从海量数据中发现与挖掘价值已成为共识。

3. 实现知过往，知现在，知未来

通过海量历史数据的推移展示，实现【知过往】。

通过各个维度KPI的标准和达成情况，实现【知现在】。

通过数据分析，趋势预测，实现【知未来】。

二、 大数据平台概览

1. 大数据平台的组成

大数据平台主要由5部分组成：

第一部分，数据来源层，数据可以来自于数据库（结构化数据），文件日志（半结构化数据），视频、图片（非结构化数据）。

第二部分，数据传输层、存储层、计算层，拥有消息队列等数据传输手段，数据清洗、抽取和建模能力，海量数据存储能力，批处理、实时流处理能力，并行计算、内存计算能力。

第三部分，任务调度层，进行实时调度监控，调度预警，可进行调度策略配置，依赖关系分析，调度日志管理。

第四部分，业务模型层，进行业务建模、业务应用、数据可视化展示。

第五部分，数据运营管控、一体化监控。

2. 大数据平台的主要技术（这里主要介绍开源技术）

实时数据处理技术Kafka

批量抽取技术SQOOP

日志类型数据处理技术Logstash

流式数据处理技术Spark Streaming, Stream Sets

批处理、流处理引擎Mapreduce, Spark,

SQL引擎Hive/Impala/Presto

资源调度YARN

数据安全Sentry

分布式文件系统HDFS

分布式关系数据KUDU

搜索引擎Elastic Search

数据集市TiDB

三、 应该如何建设大数据平台

1. 大数据平台的建设应立足于业务主题

企业的业务主题包括采购、销售、制造、库存、物流、财务、人力资源等，大数据平台的建设应考虑到所有的主题。

2. 大数据平台建设应考虑通用性

鉴于大数据平台的建设周期和资源，需要考虑其通用性，不仅包括不同主题之间的复用性，而且包括平台建成后可以推广至不同企业的通用性。

3. 整体规划，分步实施

先建设原型，再丰满实例；先塑造最迫切的主题，再追加到所有的主题。

四、 企业应该如何利用好大数据平台

1. 明确要解决的业务主题

2. 明确每个业务主题的指标标准，以及指标偏离需要采取的改善措施

3. 确保指标计算所需的元数据的可获取性及准确性