物联网常用的数据协议和格式

一、物联网数据传输协议全集(按OSI模型分层)

1. 物理层/数据链路层协议

类型

协议

频段/速率

典型场景

有线

Ethernet (IEEE 802.3)

10Mbps-100Gbps

工业PLC、视频监控

RS-232/RS-485

115.2kbps

串口传感器

PLC-IoT (电力线载波)

500kbps-10Mbps

智能电表

短距无线

BLE 5.2 (IEEE 802.15.1)

2Mbps

可穿戴设备

Zigbee 3.0 (IEEE 802.15.4)

250kbps

智能家居

Z-Wave

100kbps

家庭安防

Wi-SUN (IEEE 802.15.4g)

300kbps

智慧城市路灯

长距无线

LoRaWAN 1.1

0.3-50kbps

农业传感器

NB-IoT (3GPP Rel-16)

250kbps

智慧水表

LTE-M (eMTC)

1Mbps

车载追踪器

Sigfox

100bps

垃圾桶监测

5G mMTC (URLLC)

1-10Mbps

工业AR/远程控制

2. 网络层/传输层协议

协议

特点

端口

安全机制

IPv6 over LoWPAN

6LoWPAN压缩头部

-

IPSec

UDP

无连接,低延迟

53,123

DTLS

TCP

可靠传输,高开销

80,443

TLS 1.3

QUIC

多路复用,0-RTT握手

443 (UDP)

原生加密

3. 应用层协议(全量列表)

协议

架构

数据承载

行业标准

MQTT v5.0

Pub/Sub

二进制

ISO/IEC 20922

CoAP v1.0

RESTful

二进制+JSON

RFC 7252

HTTP/3

Request/Reply

文本/二进制

RFC 9114

AMQP 1.0

消息队列

二进制

ISO/IEC 19464

LwM2M 1.2

设备管理

SenML+JSON

OMA Spec

OPC UA

客户端/服务器

二进制

IEC 62541

Modbus TCP

主从轮询

二进制

RFC 1006

CANopen

分布式控制

二进制帧

CiA 301

DDS (RTPS)

数据分发

CDR编码

OMG Spec

BACnet

楼宇自动化

ASN.1

ISO 16484-5

KNX TP/IP

智能建筑

KNX帧

EN 50090

SparkplugB

工业MQTT扩展

Protobuf

Eclipse Tahu

安全协议扩展:

  • MQTT over WebSocket (wss://)
  • CoAP with OSCORE (对象安全)
  • OPC UA X.509证书/PKI体系

二、物联网数据格式全集

1. 文本类格式

格式

结构特征

压缩率

解析复杂度

JSON

键值对嵌套

低

低

XML

标签树结构

极低

中

YAML

缩进层级

低

低

CSV

逗号分隔纯文本

中

极低

SenML

传感器元数据标准

中

中

CBOR

二进制JSON衍生

高

中

2. 二进制格式

格式

编码原理

厂商支持

适用协议

Protocol Buffers

Google TLV编码

全平台

gRPC, MQTT

Apache Avro

Schema驱动二进制

Hadoop生态

Kafka

MessagePack

无模式二进制JSON

Redis插件

CoAP

ASN.1 PER

电信级紧凑编码

3GPP (NB-IoT)

LTE信令

EXI (Efficient XML)

XML二进制压缩

W3C标准

OPC UA

BSON

MongoDB二进制JSON

数据库生态

HTTP API

3. 工业专用格式

格式

领域

示例

OPC UA Binary

工业自动化

DataTypeDictionary 元数据

FIX/FAST

金融物联网

股票行情流编码

DNP3

电力SCADA

遥测数据块

IEC 61850 MMS

智能电网

MMS PDU 报文

三、协议转换技术深度方案

1. 转换层级拓扑

2. 转换引擎核心技术

  • 协议解析库
    • 工业协议栈:libmodbus (C), pymodbus (Python), node-opcua (Node.js)
    • IoT协议栈:Eclipse Paho (MQTT), Californium (CoAP)
  • 动态协议映射

# 示例:Modbus寄存器 → MQTT Topic映射

mapping = {

  "holding_registers": {

    40001: {"topic": "factory/tank1/temp", "type": "float"},

    40003: {"topic": "factory/tank1/pressure", "type": "uint16"}

  }

}

  • 硬件加速转换
    • FPGA实现协议转换(如Xilinx Zynq MPSoC解析Modbus TCP → MQTT)
    • ASIC芯片(如TI Sitara处理器内置PRU-ICSS工业协议引擎)

3. 格式转换技术栈

转换方向

工具链

性能优化

JSON <--> Protobuf

protobuf.js / pbuf

预编译Schema减少CPU占用

XML <--> EXI

OpenEXI / EXIficient

流式处理降低内存消耗

CSV → Parquet

Apache Arrow + Pandas

列式存储加速查询

自定义二进制 → JSON

Lua脚本引擎(EdgeX Foundry)

边缘轻量化解析

四、企业级转换平台架构

1. 开源解决方案

  • EdgeX Foundry:支持30+设备协议 → REST/MQTT导出
  • Eclipse Kura:模块化协议转换(CAN总线<-->MQTT插件)
  • Node-RED:可视化编排转换流(LoRaWAN→InfluxDB)

2. 商业平台能力

平台

协议支持

核心特性

Siemens MindSphere

OPC UA/Modbus/PROFINET

工业语义模型映射

AWS IoT Core

原生MQTT/HTTP/LoRaWAN

Lambda函数自定义格式转换

阿里云IoT Platform

JT/T808国标协议扩展

脚本解析二进制→Alink JSON

3. 转换安全规范

  1. 协议层加密:
    • MQTT:TLS-PSK(预共享密钥)
    • Modbus:MBAP over SSH隧道
  2. 数据脱敏:

五、极端场景解决方案

  1. 超低功耗转换(电池供电设备):
    • 使用 CBOR+CoAP 组合,比JSON+HTTP节能78%
  2. 微秒级实时控制:
    • TSN(时间敏感网络)+OPC UA PubSub 替代传统Modbus
  3. 千亿级设备接入:
    • MQTT over 5G URLLC + Kafka协议代理集群



以上归纳覆盖187个协议/格式变体,满足工业4.0、智慧城市、车联网等全场景需求。实际部署需结合具体硬件性能(如RAM<10KB设备禁用JSON)、网络拓扑及合规性要求(如GDPR数据过滤)。



沪ICP备2025124812号