第三章 工业互联网平台技术体系

3.1 工业互联网平台核心技术

工业互联网平台需要解决多类工业设备接入、多源工业数据集成、海量数据管理与处理、工业数据建模分析、工业应用创新与集成、工业知识积累迭代实现等一系列问题，涉及七大类关键核心技术的交织融合，具体包括数据集成和边缘处理技术、IaaS技术、平台使能技术、数据管理技术、应用开发和微服务技术、工业数据建模与分析技术、安全技术，如图3-1所示。

3.1.1 数据集成与边缘处理技术

工业领域信息化应用中所产生的数据是工业互联网的核心。工业软硬件系统本身具有较强的封闭性和复杂性，不同系统的数据格式、接口协议都不相同，甚至同一台设备同一型号的不同时间出厂的产品所包含的字段数量与名称也会有所差异，因而，无论是采集系统对数据进行解析，还是后台数据存储系统对数据进行结构化分解都会存在巨大的挑战。由于协议的封闭性，甚至无法完成从设备采集数据。即使在数据可以采集的情况下，在一个工业大数据项目实施过程中，通常也至少需要数月的时间对数据格式与字段进行梳理。挑战性更大的是多样性的非结构化数据，由于工业软件的封闭性，数据通常通过特定软件才能打开，从中提取更多有意义的结构化信息工作也很难完成。这类挑战需要通过工业标准化的推进与数据模型自动识别、匹配等大数据管理技术的进步来共同解决。因此，数据集成与边缘处理技术是工业互联网平台的基础，是实现制造全生命周期异构数据在云端汇聚的关键，主要涉及设备接入、协议转换和边缘数据处理等技术。

设备接入技术基于工业以太网、工业总线等工业通信协议，以及以太网、光纤等通用协议，3G/4G、NB-IoT等无线协议将工业现场设备接入平台边缘层，通过集成数据模型自动识别、匹配等大数据管理技术，支持结构化业务数据、时序设备监测数据、非结构化工程数据等多源异构数据的快速接入，形成高并发、高吞吐量的数据实时接收能力，从而实现对工业生产各环节数据的采集。数据源既包含来自传感器、SCADA（数据采集与监视控制系统）、MES（制造执行系统）、ERP（企业资源计划）等内部系统的数据，也包含来自企业外部的数据，设备接入技术主要包含对象感知、实时采集与批量采集、数据核查、数据路由等功能。

协议转换技术用于重点解决工业数据的集成、聚集与表示问题，主要关注数据源的“完整性”，克服“信息孤岛”。工业数据源通常是离散的和非同步的。协议转换技术一方面运用协议解析、中间件等技术兼容ModBus、OPC、CAN、Profibus等各类工业通信协议和软件通信接口，实现数据格式的转换和统一；另一方面利用HTTP、MQTT等方式从边缘侧把采集到的数据传输到云端，实现数据的远程接入。对于飞机、船舶等具有复杂结构的工业产品，基于BOM（物料清单）进行全生命周期数据集成是被工业信息化实践所证明的行之有效的方法。对于化工、原材料等流程工业产品，则一般基于业务过程进行数据集成。

边缘数据处理技术基于高性能计算芯片、实时操作系统、边缘分析算法等技术，利用以智能网关为代表的新型边缘计算设备，在靠近设备或数据源头的网络边缘侧进行数据预处理、存储以及智能分析应用，提取海量数据中的关键特征，将处理过的数据传输到云端，实现智能传感器和设备数据的汇聚处理，以及边缘分析结果向云端平台的间接集成。该技术能够极大地降低对网络带宽的要求，提升操作响应灵敏度、消除网络堵塞，并与云端分析形成协同。多类型的边缘连接手段为工业互联网平台实现泛在连接提供了坚实支撑，丰富了工业互联网平台可采集与分析的数据来源。

3.1.2 IaaS技术

IaaS技术主要是为实现工业互联网平台基础资源能力，通过公有云、私有云、混合云多种云架构，为工业互联网平台用户提供分布式存储和计算能力，实现各类资源的云端集成。IaaS技术主要基于“资源池”管理技术、分布式任务和数据管理、并行计算、负载调度等技术，实现网络、计算、存储等计算机资源的池化管理，根据需求进行弹性分配，并确保资源使用的安全与隔离，为用户提供完善的云基础设施服务。IaaS为工业企业IT建设提供了更加高效、低成本、可扩展的方式，通过IaaS可以在不对现有企业IT架构进行较大改变的情况下，实现系统到云端的平滑迁移。一些大企业可以自建私有云平台，或者采用混合云模式充分利用公共云的能力，而中小企业则更多利用公共云服务，提升其信息技术（IT）应用能力。

“资源池”管理技术主要用于实现对物理资源、虚拟资源的统一管理，并根据用户需求实现虚拟资源（虚拟机、虚拟存储空间等）的自动化生成、分配、回收和迁移，以支持用户对资源的弹性需求。IaaS的“资源池”管理技术与传统IT管理软件的主要区别在于它实现了虚拟资源的“热迁移”，即在物理主机发生故障或需要进行维护操作时，把运行在物理主机上的虚拟机迁移至其他物理主机，同时保证用户业务不被中断。“热迁移”的重要前提是物理服务器使用共享存储器，并且虚拟机的迁移与网络配置的迁移同时进行。目前威睿、思杰、微软的虚拟化解决方案均支持热迁移功能，但不同虚拟机格式之间的热迁移还难以实现，这也导致了在搭建云计算系统时对虚拟化软件提供商的选择受到限制。一些国际标准组织正在对此进行努力，如DMTF定义了开放虚拟机格式（Open Virtualization Format，OVF），但目前威睿等公司的产品对OVF的支持也只是实现了对虚拟机镜像的导出和导入，并且需要在虚拟机处于关机状态时进行，尚无法实现不同格式虚拟机之间的热迁移。

工业互联网对分布式任务和数据管理的需求主要来源于业界对“大数据”的处理需求。分布式任务管理技术要实现在底层大规模ICT资源上进行分布式的海量计算，并对大量结构化与非结构化的数据进行存储与管理。目前的分布式任务管理技术主要包括分布式计算、分布式文件系统和非结构化分布式数据库技术等。IaaS中的分布式计算技术是对网格、集群计算技术的继承与发展，谷歌的MapReduce是这一技术的典型代表，其基本思想是将一个大规模的处理任务分解为同质化的较小的处理任务，并分散在不同的计算节点中完成，之后对结果进行汇总，得到最终的处理结果。分布式文件系统以谷歌开发的GFS为典型代表，其基本思想是将数据分为同样大小（在GFS中为64M）的文件块，分散地存储在不同的服务器之中，由一个元数据服务器来进行统一管理，并为用户提供数据读写的块地址。与传统的磁盘阵列等存储方式相比，分布式文件系统的优点表现在以下3个方面：

（1）支持用户对数据的并发读写，提高了I/O的能力。

（2）可以利用高顽存性分布式存储技术，实现对数据的低成本容错保护。

（3）可以实现存储系统的弹性扩展。未来分布式文件系统技术的发展方向包括采用分布式元数据服务器，以及支持更小粒度的文件块等。

受到传统操作系统、数据库等基础产品长期落后的影响，在以虚拟化为代表的IaaS深层次核心技术方面，我国与国际先进水平还存在较大差距，整体创新能力较弱，影响整体性、成体系的企业级云计算解决方案研发和产品的持续性发展，使整个产业难以形成整体突破。2014年，VMware、HyperV等企业的私有云产品在我国市场的占有率达到70%，原因就是国内相关产品在虚拟化技术方面受到制约。关键技术的落后还影响我国企业对云计算技术的引领能力，使之无法主导产业发展。

3.1.3 平台使能技术

平台使能技术是工业互联平台实现核心功能的载体，向下可以承接海量的异构数据，向上可以支撑各种工业应用的开发，主要涉及资源管理与调度、多租户管理等技术。

资源管理与调度技术基于Kubernetes、Mesos等工具，可实现基础资源（存储、计算、网络）的管理与调度，建立资源隔离机制，解决复杂系统的运维保障问题。通过实时监控云端应用的业务量动态变化，结合相应的调度算法为应用程序分配相应的底层资源，从而使云端应用可以自动适应业务量的变化。工业互联网平台的资源调度分为静态资源调度和动态资源调度，静态资源调度指在虚拟机创建的时候进行资源分配，动态资源调度指在虚拟机运行时候根据需求进行资源的动态调整。随着云计算技术和虚拟化技术的快速发展，传统的静态资源管理方式会导致服务器资源不能根据实际需求实时调整，容易造成资源浪费等问题。动态资源调度能够实现云平台资源的整合，保证云平台的服务质量稳定，降低云平台集群能耗。因此，动态资源调度成为工业互联网的发展趋势。

由于共享开发和维护成本，使得多租户成为一种经济的解决方案。多租户应用就是多个租户共享硬件资源，硬件资源提供一个共享的应用和数据库实例。多租户管理技术通过虚拟化、数据库隔离、容器等技术，能够按照计算、存储、网络资源池进行管理，具备多租户场景下动态资源调度、隔离能力，实现不同租户应用和服务的隔离，保障不同租户之间应用程序不会相互干扰，并保证数据的保密性。多租户模式下每个租户认为自己独占资源，租户的数据既相互隔离又可共享。多租户管理技术方便部署、应用程序易于管理、低成本为数据集成、系统扩展提供更好的机会，从而满足工业云平台下服务运营商对统一管理、合理利用企业资源，为客户提供高效、迅速、稳定的服务，并且保证应用透明性和扩展性的需求。

3.1.4 数据管理技术

数据管理技术主要包括数据处理框架、数据预处理技术和数据存储与管理技术，可对采集到的数据进行数据解析、格式转换、元数据提取、初步清洗等预处理，再按照不同的数据类型与数据使用特点，选择分布式文件系统、NoSQL数据库、关系数据库、对象存储系统、时序数据库等不同的数据管理引擎，实现数据的分区选择、落地存储、编目与索引等操作。数据管理技术提供数据交换接口，可以从业务系统的关系型数据库、文件系统中采集所需的结构化与非结构化业务数据，也可将汇总、分析结果等数据反向传回业务系统。此外，数据管理技术还提供与外部系统的数据交换、互联网数据抓取、第三方数据服务访问的能力。

数据处理框架借助Hadoop、Spark、Storm等分布式处理架构，满足海量数据的批处理和流处理计算需求。在越来越多工业信息化系统以外的数据被引入大数据系统的情况下，特别是针对传感器产生的海量时间序列数据，一个装备制造企业同时接入的设备数量可达数十万台，数据的写入吞吐达到每秒百万数据点甚至每秒千万数据点，工业互联网平台需要具备与实时数据库一样的数据写入能力。在数据在使用上，不仅是对数据在时间维度进行简单回放，而且对于数据多条件复杂查询以及分析性查询也有着极高的要求。因此，针对数据写入面临的挑战，数据处理框架能够同时兼顾面向查询优化的数据组织和索引结构，并在数据写入过程中进行一定的辅助数据结构预计算，实现读写协同优化的高通量数据写入。利用数据处理框架能够完成对工业大数据的治理并支撑对数据的探索能力，以供应用开发与分析时方便地使用数据。

数据预处理技术运用数据冗余剔除、异常检测、归一化等方法对原始数据进行清洗，为后续存储、管理与分析提供高质量的数据来源。数据预处理技术能够利用工业数据规模弥补数据的低质量。由于工业数据中变量代表着明确的物理含义，低质量数据会改变不同变量之间的函数关系，给工业大数据分析带来灾难性的影响。但事实上制造业企业的信息系统数据质量仍然存在大量的问题，如ERP系统中物料存在的“一物多码”问题。物联网数据质量也堪忧，无效工况（如盾构机传回了工程车工况）、重名工况（同一状态工况使用不同名字）、时标错误（如当前时间为1999年），时标不齐（PLC与SCADA时标对不上）等数据质量问题在很多真实案例中的占比可以达到30%以上。这些质量问题大大限制了对数据的深入分析，因而需要在数据分析工作之前进行系统的数据治理。工业应用中因为技术可行性、实施成本等原因，很多关键的过程量没有被测量，或者没有被充分测量（时间/空间采样不够、存在缺失等），或者没有被精确测量（数值精度低），这就要求分析算法能够在“不完备”“不完美”“不精准”的数据条件下工作。在技术路线上，可大力发展基于工业大数据分析的“软”测量技术，即通过大数据分析，建立指标之间的关系模型，通过易测的过程量去推断难测的过程量，提升生产过程的整体可控性。

数据存储与管理技术通过分布式文件系统、NoSQL数据库、关系数据库、时序数据库等不同的数据管理引擎实现海量工业数据的分区选择、存储、编目与索引等。各种工业场景中存在大量多源异构数据，如结构化业务数据、时序的设备监测数据、非结构化工程数据等。每一类数据都需要高效的存储管理方法与异构的存储引擎，但现有的大数据技术难以满足全部要求。以非结构化工程数据为例，特别是对海量的设计文件、仿真文件、图片、文档等小文件，需要按产品生命周期、项目、BOM结构等多种维度进行灵活有效的组织、查询，同时需要对数据进行批量分析、建模，对于分布式文件系统和对象存储系统来说，均存在技术盲点。另外，从使用角度看，异构数据需要从数据模型和查询接口方面实现一体化的管理。例如，在物联网数据分析中，需要大量关联传感器部署信息等静态数据，而此类操作通常需要将时间序列数据与结构化数据进行跨库连接，因而需要针对多模态工业大数据的一体化查询协同进行优化。考虑到工业互联网平台要对数据进行长时间存储，高效的数据编码压缩方法以及低成本的分布式扩展能力也是企业面临的重要挑战。数据管理技术集成分布式存储、分布式文件系统、对象存储、检索查询、语义标注等多种数据技术，能够实现多源海量异构数据的标注、整理、组织、分类、编码、存储、检索，实现数据模型和查询接口的一体化管理，从而保证平台海量数据的独立性与完整性，形成数据共享与集成的服务接口。

3.1.5 应用开发和微服务技术

应用开发和微服务技术是工业互联网平台的核心，应用开发和微服务技术主要包括多语言与工具支持、微服务架构、图形化编程等技术，其主要目标是缩短软件开发时间，实现开发、部署和运维的更大灵活性，为用户提供面向工业特定场景的轻量化应用。由于这些结构性、系统性问题的存在，传统单一架构下的应用越来越难以适应工业互联网时代快速变化的市场需求。应用开发和微服务技术凭借复杂度可控、独立部署、技术选型灵活、容错、可扩展等优势，以一种全新的架构设计模式，推动了工业互联网应用从设计到运维整个流程方法论的变革。

多语言与工具支持技术是指工业互联网支持Java、Ruby和PHP等多种语言编译环境，并且提供Eclipse Integration、JBossDeveloperStudio、Git和Jenkins等各类开发工具，构建高效便捷的集成开发环境。例如，微软的云开发工具支持开发者能够用多种编程语言工作，包括.NET、node.js、Java、PHP、Python等，同时也加强了非微软平台的多种语言扩展。例如，包含了使用Python、MySQL和Django的教程，构建Python框架的网站。此外，还包括微软WindowsAzure和VisualStudio 2012之间的紧密集成。

微服务架构提供涵盖服务注册、发现、通信、调用的管理机制和运行环境，支撑基于微型服务单元集成的“松耦合”应用开发和部署。微服务架构主要包含服务通信技术和服务发现技术。微服务架构是一个分布式系统，服务被部署在不同节点中，服务的交互需要通过网络进行通信，服务通信模式包括同步模式和异步模式。可以通过基于HTTP协议的RESTfulAPI和Thrift实现同步模式，也可借用众多成熟的消息系统实现异步模式，如RabbitMQ、ActiveMQ、Kafka等。服务调用时需要服务发现机制识别各个服务动态生成和变动的网络位置，服务发现主要包括客户端发现和服务端发现两种方式。客户端发现由客户端向服务注册表查询服务位置，并使用负载均衡算法从返回的实例中择其一，再向其发起调用。在服务端发现机制中，客户端请求是发给负载均衡器的，由其查询和选择服务实例并转发请求。

图形化编程是指通过类似Labview的图形化编程工具，简化开发流程，支持用户采用拖曳方式进行应用创建、测试、扩展等。相比于传统的代码编程软件，图形化编程有很多实质性的突破，可以快速地进行各种编程，并且以最为直观的图形进行编程，让人们在编程的过程中就可以注意到编程内容的变化，而后进行相关的测试，查看具体功能是否达到了想要的标准。这样的编程方式不仅节省了工程师们的很多时间，而且还打破了传统的规则，降低编程的研究成本。

3.1.6 工业数据建模与分析技术

工业数据建模与分析是工业互联网平台具备工业实体虚拟映射和智能数据分析能力的关键，主要涉及数据分析建模和机理建模等技术。工业数据建模与分析技术面对具体行业和具体领域，以最易懂的方式，向用户展示查询结果。这样做有助于分析结果的解释，易于和产品用户协作。更重要的是，推动工业大数据分析结果以闭环反馈形式应用到工业中的增值环节，以创造价值。

数据分析算法主要运用数学统计、机器学习及最新的人工智能算法实现面向历史数据、实时数据、时序数据的聚类、关联和预测分析。它面向特定工业应用场景，对海量的工业数据进行深度分析和挖掘，并且提供可调用的特征工程、分析建模等工具包，能够快速建立可复用、可固化的智能应用模型。数据分析算法应满足两方面的要求。

（1）工业应用特定数据结构带来的新需求。通用的数据分析平台大多针对记录性数据或独立的非结构化数据（适合交易、业务运营管理、社交媒体等场景）。然而，工业应用常常依赖于大量的时序或时空数据（传感器数据）和复杂的产品结构（如层次性的离散BOM结构或线性连接结构），这就需要工业大数据分析软件在底层数据结构设计、基础分析算法和建模过程中，提供充分支持。例如，具有复杂BOM结构的离散装备的分析建模、多变量非线性时间序列特征提取与处理算法（信号分解、降噪、滤波、序列片段切割）等。

（2）工业应用模式对分析处理效率的要求。工业应用模式通常具有大规模分布（空间）、实时动态（时间）、异构性强（连接）等特点。这对分析数据的平台软件提出了新的挑战。在实时处理上，需要能够支持面向大规模数据状态下的低等待时间复杂事件检测。在离线分析上，前台分析建模与后台的工业大数据平台应能很好地整合，支持大数据的挖掘。

机理建模技术将CAD建模技术、计算机支持的协同工作（CSCW）技术、用户界面设计、基于知识的推理技术、设计过程管理和文档化技术、虚拟现实技术进行集成，利用机械、电子、物理、化学等领域的专业知识，结合工业生产实践经验，基于已知工业机理构建各类模型，实现分析和应用。工业过程通常是基于“强机理”的可控过程，存在大量理论模型，刻画了现实世界中的物理、化学、生化等动态过程。另外，也存在很多的闭环控制/调节逻辑，让过程朝着设计的目标逼近。传统的数据分析技术很少考虑机理模型（完全是数据驱动），也很少考虑闭环控制逻辑的存在。机理建模技术的挑战主要体现在以下3个方面。

（1）机理模型的融合机制，如何将机理模型引入数据模型（例如，利用机理模型为分析模型提供关键特征，利用分析模型做机理模型的后处理或多模型集合预测），或者将数据模型输入机理模型。

（2）计算模式的融合，机理模型通常是计算密集型（CPU多核或计算cluster并行化）或内存密集型（GPU并行化），而数据分析通常是I/O密集型（采用Map-reduce、ParameterServer等机制）。二者的计算瓶颈不同，需要分析算法甚至分析软件需要特别考虑的问题。

（3）与领域专家经验知识的融合，突破现有生产技术人员的知识盲点，实现过程痕迹的可视化。例如，对于物理过程环节，是要重视知识的“自动化”，而不是知识的“发现”。将领域知识进行系统化管理，通过大数据分析进行检索和更新优化；对于相对明确的专家知识，借助数据模型层完成对底层数据模型的工业语义封装，构建基于用户、生产线、工厂、设备、产品等对象的统一数据模型，对各类统计分析应用与用户实现更加便捷、易用的数据访问接口。大数据建模工具提供的典型时空模式描述与识别技术，进行形式化建模，在海量历史数据上进行验证和优化，不断萃取专家知识。

3.1.7 安全技术

安全是工业互联网平台可靠、平稳运行的保障基础。工业互联网的安全需求可从工业和互联网两个视角进行分析。从工业视角看，安全的重点是保障智能化生产的连续性、可靠性，关注智能装备、工业控制设备及其系统的安全；从互联网视角看，安全主要保障个性化定制、网络化协同，以及服务化延伸等工业互联网应用的安全运行，以提供持续的服务能力，防止重要数据的泄露，重点关注工业应用安全、网络安全、工业数据安全及智能产品的服务安全。工业互联网平台安全从数据流动路径来看，主要涉及数据接入安全、工业互联网平台安全和访问安全等技术。

数据接入安全技术主要通过工业防火墙技术、工业网闸技术、加密隧道传输技术，保障传输过程的安全。传统生产设备以机械装备为主，重点关注物理和功能安全。未来的生产装备和产品将越来越多地集成通用的嵌入式操作系统及应用软件，海量设备将直接暴露在网络攻击之下，木马病毒在设备之间的传播扩散速度将呈指数级增长。与此同时，工厂网络向“三化（IP化、扁平化、无线化）+灵活组网”方向发展，面临更多的安全挑战。现有针对TCP/IP协议的攻击方法和手段已很成熟，可被直接利用来攻击工厂网络。网络灵活组网需求使网络拓扑的变化更加复杂，传统静态防护策略和安全域划分方法面临动态化、灵活化挑战。无线技术的应用需要满足工厂实时性可靠性要求，难以实现复杂的安全机制，极易受到非法入侵、拒绝服务等网络攻击。数据接入安全技术用来保障边缘侧数据源的安全，在数据传输过程中采用加密隧道传输技术，防止信息泄露、被侦听或篡改。

平台安全技术包括平台入侵实时检测、网络安全防御系统、恶意代码防护、网站威胁防护、网页防篡改等技术，用于实现工业互联网平台的代码安全、应用安全、数据安全、网站安全。当前，工业数据由少量、单一、单向正在向大量、多维、双向转变，具体表现为工业互联网数据体量大、种类多、结构复杂，并在IT（信息技术）和OT（运营技术）层、工厂内外双向流动共享。工业领域业务应用复杂，数据种类和保护需求多样，数据流动方向和路径复杂，重要工业数据以及用户数据保护难度增大。网络化协同、服务化延伸、个性化定制等新模式、新业态的出现对传统公共互联网的安全能力提出了更高要求。平台安全技术针对工厂内部灵活组网的安全防护需求，通过建立动态网络安全防御机制，实现安全策略和安全域的动态调整。同时，通过增加轻量级的认证、加密等安全机制保障无线网络的传输安全。此外，工厂控制环境由封闭到开放，信息安全威胁可能直接导致功能安全失效，功能安全和信息安全关联交织。工业互联网通过建立信息安全和功能安全融合机制，综合考虑功能安全和信息安全的需求，形成综合安全保障能力。

访问安全技术能根据不同的用户及所属类别，限制用户的访问权限和所能使用的计算机资源和网络资源，建立统一的访问机制，防止非法访问；提供统一身份认证机制，实现对云平台重要资源的访问控制和管理，阻止未授权使用资源和未授权公开或修改数据。当前，工厂控制安全主要关注控制过程的功能安全，信息安全防护能力不足。现有控制协议、控制软件等在设计之初，主要基于IT和OT相对隔离，以及OT环境相对可信这两个前提。同时，由于工厂控制的实时性和可靠性要求高，诸如认证、授权和加密等需要附加开销的信息安全功能被舍弃。IT和OT的融合打破了传统安全可信的控制环境，网络攻击从IT层渗透到OT层，从工厂外部渗透到工厂内部，但目前有效的APT（高级持续性威胁）攻击检测和防护手段缺乏。工业互联网针对工业应用的灵活安全保障需求，提供灵活的安全服务能力，提供统一灵活的认证、授权、审计等安全服务能力，支持百万级VPN（虚拟专用网络）隔离及用户量增长业务应用呈现多样化。同时建立工业数据以及用户数据分类分级保护机制，对重要工业数据及用户数据进行分类分级，并采用不同的技术进行分级保护，通过数据标签、签名等技术实现对数据流动过程的监控审计，实现工厂数据全生命周期的保护。

在上述七大类技术中，通用平台使能技术、工业数据建模与分析技术、数据集成与边缘处理技术、应用开发和微服务技术正快速发展，对工业互联网平台的构建和发展产生深远影响。在平台层，PaaS技术、新型集成技术和容器技术正加速改变信息系统的构建和组织方式。在边缘层，边缘计算技术极大地拓展了平台收集和管理数据的范围和能力。在应用层，微服务等新型开发框架驱动工业软件开发方式不断变革，工业机理与数据科学深度融合正在引发工业应用的创新浪潮。