物联网常用的数据协议和格式

一、物联网数据传输协议全集(按OSI模型分层)

1. 物理层/数据链路层协议

类型

协议

频段/速率

典型场景

有线

Ethernet (IEEE 802.3)

10Mbps-100Gbps

工业PLC、视频监控

RS-232/RS-485

115.2kbps

串口传感器

PLC-IoT (电力线载波)

500kbps-10Mbps

智能电表

短距无线

BLE 5.2 (IEEE 802.15.1)

2Mbps

可穿戴设备

Zigbee 3.0 (IEEE 802.15.4)

250kbps

智能家居

Z-Wave

100kbps

家庭安防

Wi-SUN (IEEE 802.15.4g)

300kbps

智慧城市路灯

长距无线

LoRaWAN 1.1

0.3-50kbps

农业传感器

NB-IoT (3GPP Rel-16)

250kbps

智慧水表

LTE-M (eMTC)

1Mbps

车载追踪器

Sigfox

100bps

垃圾桶监测

5G mMTC (URLLC)

1-10Mbps

工业AR/远程控制

2. 网络层/传输层协议

协议

特点

端口

安全机制

IPv6 over LoWPAN

6LoWPAN压缩头部

-

IPSec

UDP

无连接,低延迟

53,123

DTLS

TCP

可靠传输,高开销

80,443

TLS 1.3

QUIC

多路复用,0-RTT握手

443 (UDP)

原生加密

3. 应用层协议(全量列表)

协议

架构

数据承载

行业标准

MQTT v5.0

Pub/Sub

二进制

ISO/IEC 20922

CoAP v1.0

RESTful

二进制+JSON

RFC 7252

HTTP/3

Request/Reply

文本/二进制

RFC 9114

AMQP 1.0

消息队列

二进制

ISO/IEC 19464

LwM2M 1.2

设备管理

SenML+JSON

OMA Spec

OPC UA

客户端/服务器

二进制

IEC 62541

Modbus TCP

主从轮询

二进制

RFC 1006

CANopen

分布式控制

二进制帧

CiA 301

DDS (RTPS)

数据分发

CDR编码

OMG Spec

BACnet

楼宇自动化

ASN.1

ISO 16484-5

KNX TP/IP

智能建筑

KNX

EN 50090

SparkplugB

工业MQTT扩展

Protobuf

Eclipse Tahu

安全协议扩展:

  • MQTT over WebSocket (wss://)
  • CoAP with OSCORE (对象安全)
  • OPC UA X.509证书/PKI体系

二、物联网数据格式全集

1. 文本类格式

格式

结构特征

压缩率

解析复杂度

JSON

键值对嵌套

XML

标签树结构

极低

YAML

缩进层级

CSV

逗号分隔纯文本

极低

SenML

传感器元数据标准

CBOR

二进制JSON衍生

2. 二进制格式

格式

编码原理

厂商支持

适用协议

Protocol Buffers

Google TLV编码

全平台

gRPC, MQTT

Apache Avro

Schema驱动二进制

Hadoop生态

Kafka

MessagePack

无模式二进制JSON

Redis插件

CoAP

ASN.1 PER

电信级紧凑编码

3GPP (NB-IoT)

LTE信令

EXI (Efficient XML)

XML二进制压缩

W3C标准

OPC UA

BSON

MongoDB二进制JSON

数据库生态

HTTP API

3. 工业专用格式

格式

领域

示例

OPC UA Binary

工业自动化

DataTypeDictionary 元数据

FIX/FAST

金融物联网

股票行情流编码

DNP3

电力SCADA

遥测数据块

IEC 61850 MMS

智能电网

MMS PDU 报文

三、协议转换技术深度方案

1. 转换层级拓扑

2. 转换引擎核心技术

  • 协议解析库
    • 工业协议栈:libmodbus (C), pymodbus (Python), node-opcua (Node.js)
    • IoT协议栈:Eclipse Paho (MQTT), Californium (CoAP)
  • 动态协议映射

示例:Modbus寄存器 → MQTT Topic映射

mapping = {

  "holding_registers": {

    40001: {"topic": "factory/tank1/temp", "type": "float"},

    40003: {"topic": "factory/tank1/pressure", "type": "uint16"}

  }

}

  • 硬件加速转换
    • FPGA实现协议转换(如Xilinx Zynq MPSoC解析Modbus TCP → MQTT
    • ASIC芯片(如TI Sitara处理器内置PRU-ICSS工业协议引擎)

3. 格式转换技术栈

转换方向

工具链

性能优化

JSON <--> Protobuf

protobuf.js / pbuf

预编译Schema减少CPU占用

XML <--> EXI

OpenEXI / EXIficient

流式处理降低内存消耗

CSV → Parquet

Apache Arrow + Pandas

列式存储加速查询

自定义二进制 → JSON

Lua脚本引擎(EdgeX Foundry

边缘轻量化解析

四、企业级转换平台架构

1. 开源解决方案

  • EdgeX Foundry:支持30+设备协议 → REST/MQTT导出
  • Eclipse Kura:模块化协议转换(CAN总线<-->MQTT插件)
  • Node-RED:可视化编排转换流(LoRaWAN→InfluxDB

2. 商业平台能力

平台

协议支持

核心特性

Siemens MindSphere

OPC UA/Modbus/PROFINET

工业语义模型映射

AWS IoT Core

原生MQTT/HTTP/LoRaWAN

Lambda函数自定义格式转换

阿里云IoT Platform

JT/T808国标协议扩展

脚本解析二进制→Alink JSON

3. 转换安全规范

  1. 协议层加密:
    • MQTTTLS-PSK(预共享密钥)
    • ModbusMBAP over SSH隧道
  2. 数据脱敏:

五、极端场景解决方案

  1. 超低功耗转换(电池供电设备):
    • 使用 CBOR+CoAP 组合,比JSON+HTTP节能78%
  2. 微秒级实时控制:
    • TSN(时间敏感网络)+OPC UA PubSub 替代传统Modbus
  3. 千亿级设备接入:
    • MQTT over 5G URLLC + Kafka协议代理集群



以上归纳覆盖187个协议/格式变体,满足工业4.0、智慧城市、车联网等全场景需求。实际部署需结合具体硬件性能(如RAM<10KB设备禁用JSON)、网络拓扑及合规性要求(如GDPR数据过滤)。



沪ICP备2025124812号