基于多模态时频图融合的风电机组齿轮箱故障诊断方法

doi:10.16513/j.2096-2185.DE.2308303

基于多模态时频图融合的风电机组齿轮箱故障诊断方法

陈阳^,¹, 刘永前¹, 韩爽¹, 王罗²

1．新能源电力系统国家重点实验室(华北电力大学)，北京市　昌平区　102206

2．中国长江三峡集团有限公司，北京市　海淀区　100038

Fault Diagnosis Method of Wind Turbine Gearbox Based on Multi-Mode Time-Frequency Image Fusion

CHAN Yang^,¹, LIU Yongqian¹, HAN Shuang¹, WANG Luo²

1. State Key Laboratory of New Energy Power Systems, North China Electric Power University, Changping District, Beijing 102206, China

2. China Three Gorges Corporation, Haidian District, Beijing 100038, China

收稿日期: 2022-12-19

基金资助:

中国长江三峡集团科技项目. 212103368

Received: 2022-12-19

Fund supported:

Science and Technology Project of China Three Gorges Group. 212103368

作者简介 About authors

陈　阳(1998)，男，硕士研究生，研究方向为风电机组状态监测与故障诊断，chency666@126.com； , E-mail：chency666@126.com

刘永前(1965)，男，教授、博士生导师，研究方向为风力发电系统理论与技术；。

韩　爽(1974)，女，教授、博士生导师，主要研究方向为风电功率预测、风资源特性分析和风电场效能评价；。

王　罗(1992)，男，博士，工程师，研究方向为风力发电。

摘要

特征提取是故障诊断问题的关键，风电机组齿轮箱负载多变，振动数据量大、信息密度低，导致多模态融合诊断方法的特征学习性能和计算成本难以兼顾。为此，提出了基于多模态时频图融合的风电机组齿轮箱故障诊断方法。首先，使用小波包分解算法对齿轮箱振动数据集进行故障特征分析；然后，将所得分解子信号和原始信号分别转化为二维时频图像，形成体现小波域和时频域的互补故障特征；最后，利用卷积神经网络(convolutional neural networks, CNN)分别学习图像纹理的深层特征并进行特征融合，训练基于CNN-ViT(vision transformer)的多模态故障诊断模型。以凯斯西储大学齿轮箱轴承数据进行验证，所提模型在变负载和未知故障下，相比其他单模态和多模态方法具有较高的准确率，时频图融合方法能够以较低计算成本实现小波域和时频域双模态的故障特征学习。

关键词： 风电机组齿轮箱 ; 故障诊断 ; 小波包分析 ; 多模态融合 ; 图像分类

Abstract

Feature extraction is the key to the fault diagnosis problem, and the variable load of wind turbine gearboxes, large amount of vibration data and low information density make it difficult to balance the feature learning performance and computational cost of multimodal fusion diagnosis method. To this end, a wind turbine gearbox fault diagnosis method based on multimodal time-frequency map fusion is proposed. First, a wavelet packet decomposition algorithm is used to analyze the fault features of the gearbox vibration data set; then, the decomposed sub-signal and the original signal are transformed into two-dimensional time-frequency images to form complementary fault features reflecting the wavelet domain and the time-frequency domain; finally, a convolutional neural network (CNN) is used to learn the deep features of the image texture and fuse them separately to train a CNN-ViT (vision transformer) multimodal fault diagnosis model. The proposed model is validated with Case Western Reserve University gearbox bearing data, and has higher accuracy compared with other unimodal and multimodal methods under variable load and unknown faults, and the time-frequency map fusion method can realize the fault feature learning in both wavelet domain and time-frequency domain dual modality with lower computational cost.

Keywords： wind turbine gear box ; fault diagnosis ; wavelet packet analysis ; multimodal fusion ; image classification

PDF (1747KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

陈阳, 刘永前, 韩爽, 王罗. 基于多模态时频图融合的风电机组齿轮箱故障诊断方法. 分布式能源[J], 2023, 8(3): 17-23 doi:10.16513/j.2096-2185.DE.2308303

CHAN Yang, LIU Yongqian, HAN Shuang, WANG Luo. Fault Diagnosis Method of Wind Turbine Gearbox Based on Multi-Mode Time-Frequency Image Fusion. Distributed Energy[J], 2023, 8(3): 17-23 doi:10.16513/j.2096-2185.DE.2308303

0　引言

由近年来，风电机组齿轮箱呈现大型化发展趋势，齿轮箱传递功率增加、转速下降、扭矩增加对可靠性提出了更高要求^[1]。此外，恶劣自然环境中风速和风向复杂多变，造成齿轮箱转速持续不规律波动，对内部轴承、齿轮等部件产生无规律的载荷冲击，加速了齿轮箱核心部件的退化^[2]。文献[3]统计了风电机组各子系统故障次数和停机时间，其中风电机组齿轮箱的故障次数较少，停机时间最长，对齿轮箱进行数据驱动的故障诊断可以有效减少停机引发的电量损失并降低维护成本。

充分有效利用振动信号的故障特征信息仍是一个挑战^[4]，根据故障特征信息的来源、形式可以将诊断模型划分为单模态模型和多模态模型。单模态模型需要事先对振动信号进行滤波、变换、分析以提取故障特征信息，特征提取方法包括：基于统计指标的时域分析方法；基于谱分析的频域分析方法；基于变换和分解的时频域分析方法^[5]等。在特征提取的基础上，文献[6,7,8,9]应用深度学习算法建立故障特征信息与故障类别之间的映射关系，形成了单模态故障诊断方法的基本结构。单一来源的故障特征信息存在信息遗漏或信息冗余现象，单模态模型不能保证挖掘故障特征任务的有效性。

多模态模型由单模态模型发展而来，多模态融合技术(multimodal fusion technology，MFT)可以充分利用不同模态数据之间的互补性，通过融合故障特征得到更好的特征表示，以达到提高诊断效果的目的^[10]。文献[11]分别采用带自适应噪声的完全集成经验模态分解和快速傅里叶变换提取时域和频域故障特征，通过选取其最优特征子集实现了数据级的多模态故障特征融合；文献[12,13]结合了多模态融合技术与卷积神经网络(convolutional neural networks, CNN)，分别提取滚动轴承的故障数据的时域、频域2个模态特征并融合，建立了MF-CNN诊断模型；文献[14]直接以振动、电信号为输入，分别经过独立的堆叠自编码器(stacked auto-encoder, SAE)进行特征提取与信号重构，借助SAE的隐藏层输出实现特征融合。然而，现有多模态融合诊断模型普遍计算成本高、复杂度大，导致特征学习困难。因此，多模态诊断模型需要减少计算成本，同时还要兼顾不同模态之间的融合交互，提高诊断准确率。

为此，提出了基于多模态时频图融合的风电机组齿轮箱故障诊断方法。将原始振动信号和小波包分解子信号转换为时频图像，把复杂的故障特征信息转化为数据量较少的图像纹理特征，减少输入数据量；采用图像特征融合的方法建立诊断模型，将故障诊断问题转换为图像分类问题，实现不同模态信息的充分、高效利用。

1　小波包时频图特征

小波包分解(wavelet packet decomposition，WPD)^[15,16]由小波分析发展而来，克服了小波变换在信号分解的每层次上只对低频子带进行分解，无法提取具有相同分辨率的高频子带信息的问题。通过小波包分解能够同时得到低频分量和高频分量，各频带分量具有更高的平稳性与周期性，可以较好地反映振动信号的本质特征。

WPD利用低通滤波器h、高通滤波器g将整个信号的频带进行树状分解，从而得到几个不同的子频带。对于给定的基本尺度函数φ(t)和基本小波函数ψ(t)，需要满足双尺度方程：

(1) ${\begin{array}{l} φ (t) = \sum_{k \in Z} h_{k} ϕ (2 t - k) \\ ψ (t) = \sum_{k \in Z} g_{k} ψ (2 t - k) \end{array}$

设u₀＝φ(t)、u₁＝ψ(t)双尺度方程可改写为

(2) ${\begin{array}{l} u_{2 n} (t) = \sqrt{2} \sum_{k \in Z} h_{k} u_{n} (2 t - k) \\ u_{2 n + 1} (t) = \sum_{k \in Z} g_{k} u_{n} (2 t - k) \end{array}$

式中u_n(t)是φ(t)的正交小波包，小波包函数可以通过二进制缩放移位得到：

(3) $u_{j, k}^{n} (t) = 2^{- j / 2} u_{n} (2^{- j} t - k)$

式中：j是比例因子，k是移动因子，n是频率系数。原始信号y(t)的小波包分解可表示为

(4) $y (t) = \sum_{n = 0}^{2^{j} - 1} \sum_{j \in Z} \sum_{k \in Z} < f, u_{j, k}^{n} (t) > u_{j, k}^{n} (t) = \sum_{n = 0}^{2^{j} - 1} y_{j}^{i} (t)$

式中i＝1，2…，2^j。通过不同级别的小波包带通滤波器对原始振动信号进行滤波，得到各子带信号； $y_{j}^{i} (t)$ 表示频率范围在 $[\frac{i}{2^{j + 1}} f_{s}, \frac{i + 1}{2^{j + 1}} f_{s}]$ 之间的子带信号；f_s为采样频率。

小波包3层分解如图1所示。子带信号的能量特征可以有效反映齿轮箱在不同频带内的运行状态。设子带信号 $y_{j}^{i} (t)$ 的数据长度为l，其能量 $E (y_{j}^{i})$ 可表示为

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 小波包分解树形结构

Fig.1 Wavelet packet decomposition tree structure

(5) $E (y_{j}^{i}) = \frac{1}{l} \sum_{i = 1}^{N} {(y_{j}^{i} (t))}^{2}$

子带信号 $y_{j}^{i} (t)$ 的能量比上原始信号y(t)的(t)总能量得到 $y_{j}^{i} (t)$ 的能量百分比例。根据能理守恒，该层全部子频带能量比例的总和应等于1。通过小波包能量特征选择不同频带的信号作为多模态模型输入数据，实现负载大小、故障类型、损伤程度等信息的补充。

为了保留了大部分故障特征信息，同时大幅减少模型输入数据量，将小波包能量特征分析得到的互补信号作傅里叶变换，以横轴为时间，纵轴为频率，颜色表示幅值绘制时频图^[17,18,19]，图像纹理表示信号的频率、幅度随时间的变化情况，如图2(b)所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 子带信号及其时频图

Fig.2 Subband signal and its time-frequency graph

2　多模态融合CNN-ViT模型

CNN网络结构由于其平移不变性和局部相关性而擅长提取图像的局部特征，但其感受野有限，很难捕获全局信息^[20]。Transformer网络结构可以捕获长距离依赖关系，多头自注意力模块可以捕获长距离的特征依赖，但会忽略局部特征的细节。为此提出了多模态融合的CNN-ViT神经网络结构，最大程度保留不同模态数据的全局和局部特征。

2.1　CNN模块

对于每个模态的时频图特征，分别输入至CNN网络结构中，输入图像的大小由时频图滑窗和重叠数据共同决定，隐层由3层Conv2d层、3层Pooling层和Flatten层组成。

2.2　多模态融合

多模态融合方法根据融合方式可分为数据级融合、特征级融合与决策级融合3种^[21]。当模态信息针对同一内容而又不互相包含时，特征级融合能最大限度地保留原始信息，在理论上能达到最佳的诊断效果，因此选择特征级融合方式融合时频图像的纹理特征。各模态时频图像的纹理特征用X_i、Y_i表示，用Concatenate层进行特征级融合，即

(6) $Z_{concatenate} = \sum_{i = 1}^{c} X_{i} K_{i} + \sum_{i = 1}^{c} Y_{i} K_{i + c} + \dots$

式中：X_i及Y_i表示2个模态第i通道上的高阶特征，K_i、K_i＋c表示第i个通道特征图对应的卷积核，Z_concatenate为m×n的特征块。

2.3　ViT模块

ViT是Google在2020年提出的基于Transformer的图像分类模型^[22,23]，具有优越的图像分类性能。ViT由Embedding层、Transformer Encoder层和MLP层构成。ViT首先通过Embedding层将大小为m×n特征块Z_concatenate分割为H个大小为p×p的特征块z；接着对H个p²维的小特征块z作线性变换E，使得原本的特征块z被转化成了N个D维的特征向量。

(7) $H = \frac{m n}{p^{2}}$

Transformer Encoder层则同时接受N个D维的特征向量及各特征块z的位置信息E_pos，公式可表示为：

(8) $G_{L}^{0} = [z_{cls}; z^{1} E; z^{2} E; \dots .; z^{H} E] + E_{pos}$

(9) ${G^{'}}_{L} = MHA (LN (G_{L - 1})) + G_{L - 1}$

(10) $G_{L} = MLP (LN ({G^{'}}_{L})) + {G^{'}}_{L}$

式中： $G_{L}^{0}$ 、 ${G^{'}}_{L}$ 、 $G_{L} \sqrt{a^{2} + b^{2}}$ 表示第L个Transformer层的输入特征、中间层特征以及输出特征；z_cls为类标记向量；z¹E表示对第1个小特征块做线性变换，MHA表示多头注意力机制；MLP表示前馈神经网络；LN表示对隐藏层标准化操作。多头注意力机制是多个独立的自注意力运算的叠加，每个特征块通过线性变换得到Q∈Rd×d_k、K∈Rd×d_k和V∈Rd×d_v这3个嵌入式矩阵，经过式(11)得到单个注意力头的输出：

(11) $h_{i} = Attention (Q, K, V) = softmax (\frac{Q K^{T}}{\sqrt{d_{k}}}) V$

将多个头的输出进行拼接得到多头的输出：

(12) $MHA (Q, K, V) = Contact (h_{1}, h_{2}, \dots, h_{n})$

式中Contact(·)是拼接操作。所提多模态融合CNN-ViT网络模型结构如图3所示。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 多模态融合CNN-ViT模型

Fig.3 Multi-modal fusion CNN-ViT model

3　故障诊断流程

基于多模态时频图融合的风电机组齿轮箱故障诊断方法流程如下：

(1)采集振动信号。利用振动加速度传感器采集风电机组齿轮箱的故障信号。

(2)确定多模态输入数据。选择合适的参数对采集的信号进行小波包分解，利用小波包能量特征分析方法选择互补的多模态输入数据，多模态输入数据应内含齿轮箱负载大小、故障类型、损伤程度等方面的信息。

(3)时频图特征构造。分别构造多模态输入信号的时频图像，并划分训练样本集和测试样本集。

(4)构建多模态融合CNN-ViT诊断模型。用构建的时频图样本集进行训练，得到多模态融合CNN-ViT故障诊断模型。

(5)故障识别。将构建的测试样本集输入故障诊断模型中，实现风电机组齿轮箱未知故障的识别。

4　试验案例

4.1　数据来源

试验案例使用美国凯斯－西储大学电气工程实验室的齿轮箱轴承试验台数据集。试验台由电机、扭矩传感器/编码器、测功机和控制电子设备组成。测试轴承型号为SKF6205，以12 kHz采样频率采集了0HP—3HP这4种不同负载状态下的齿轮箱输入端轴承振动数据。数据包含滚动轴承正常状态、内圈故障、外圈故障和滚动体故障共4种不同类型，故障直径为7×0.025 4、14×0.025 4、21×0.025 4 mm。试验案例将数据集按照6∶1的比例设置训练和测试数据集，数据集共计2 880个样本。

4.2　小波包能量特征分析

对所取振动数据进行小波包分解和能量特征分析。相同故障深度(7×0.025 4 mm)、小波基函数(db4小波)、分解层数(3层)的条件下，各故障类型的第0子带能量占比均最高，重点分析1—7子带的能量特征，对比结果如图4所示。正常状态下1—7子带能量占比呈现递减趋势；轴承内圈故障下能量集中在1—5子带上；轴承滚动体故障下能量主要集中在3、4子带上；轴承外圈故障下各子带能量整体较高，能量主要分布在3、4子带上。因此，使用db4小波进行3层小波包分解后，可以根据各子带的能量特征有效区分不同故障类型。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 小波包分解各子带能量(不同故障类型)

Fig.4 Wavelet packet decomposes the energy of each subband (Different fault types)

相同故障类型(轴承外圈故障)、相同故障深度(21×0.025 4 mm)、不同负载条件下的小波包子带能量对比图如图5所示，可以看出变负载下的小波包能量特征没有明显规律，无法实现变负载的故障特征提取。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 小波包分解各子带能量(不同负载)

Fig.5 Wavelet packet decomposition of sub-band energy (different load)

在小波包子信号的基础上，需要融合原始信号补充整体的振幅和波形信息。根据转子动力学及润滑理论^[22,23]，轴承负载增加，油膜刚度增大，摩擦程度增加，最终导致振幅减小。其次，随着故障深度增加，产生的冲击强度显著增加。最终选择原始信号和3层小波包分解子信号的时频图像，作为小波域和时频域的互补故障特征，训练多模态融合的CNN-ViT诊断模型。

4.3　模型验证

引入混淆矩阵来评估多模态融合CNN-ViT故障诊断模型的准确率。首先，记录验证集下，诊断模型预测正确和预测错误的样本个数。将正常状态和故障状态分别命名为阳性类和阴性类。

在计算过程中使用了以下标签：N_TP(true positive)表示正确识别为正常状态的病例数；N_FP(false positive)是指被错误识别为正常状态的病例数；N_TN(true negative)是指正确识别为故障状态的案例数；N_FN(false negative)是指错误地识别为故障状态的情况的数量。利用标签设置精确率(precision)λ_p、召回率(recall) λ_r、准确率(accuracy) λ_a、F1分数(F1 Score) λ_F1这4个评价指标。各评价指标的计算公式如下：

(13) $λ_{p} = \frac{N_{TP}}{N_{TP} + N_{FP}}$

(14) $λ_{r} = \frac{N_{TP}}{N_{TP} + N_{FN}}$

(15) $λ_{a} = \frac{N_{TP} + N_{TN}}{N_{TP} + N_{FP} + N_{TN} + N_{FN}}$

(16) $λ_{F 1} = 2 \frac{λ_{p} λ_{r}}{λ_{p} + λ_{r}}$

为了进一步验证所提模型的有效性，分别建立多模态CNN-ViT、多模态CNN、CNN、WDCNN、SVM、XGBoost的故障诊断模型并对诊断结果进行对比，训练集和测试集样本比例为6∶1，取10次模型训练效果最优情况。各模型混淆矩阵如图6所示，故障诊断结果总准确率统计表如表1。

表1 各模型评价指标统计

Table 1 Statistics of evaluation indicators for each model

模型	λ_p/%	λ_r/%	λ_a/%	λ_F1
SVM	77.45	77.71	73.25	0.7757
XGBoost	84.63	83.75	81.50	0.8419
CNN	87.47	89.38	87.25	0.8841
WDCNN	94.18	94.17	93.00	0.9417
多模态CNN	96.95	97.29	96.75	0.9712
多模态CNN-ViT	99.79	99.79	99.75	0.9979

新窗口打开| 下载CSV

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 各模型混淆矩阵

Fig.6 The confusion matrix of each model

对比图6(a)、6(b)、6(c)、6(d)混淆矩阵可以看出单模态条件下，深度学习模型CNN和WDCNN的诊断效果整体上优于浅层机器学习模型SVM和XGBoost。根据图6(c)、6(d)，单模态CNN模型和WDCNN模型在3类故障的诊断上均存在误报现象，CNN模型内圈故障、滚动体故障和外圈故障的准确率分别为74.17%、90.83%、92.50%，而WDCNN有宽核提取特征，小核特征表示的优势，能够准确诊断内圈故障、滚动体故障，但是外圈故障诊断准确率较低为76.67%，单模态模型在变负载条件下的诊断仍有一定局限性。根据图6(c)、6(d)，多模态CNN模型对比单模态CNN模型，误判情况有所改善，3种故障诊断准确率分别为94.17%、96.67%、98.33%，同比均有提升。图6(f)多模态CNN-ViT模型的诊断准确率为99%，诊断结果均优于其他单、多模态模型。表1展示了上述模型的评价指标统计，多模态CNN-ViT模型各指标均优于其他模型。

相同模型结构下多模态CNN-ViT模型的平均计算速度为16 ms/样本，而多模态CNN模型为37 ms/样本，振动信号转图像的方法可以减少数据量使得计算速度加快。

5　结论

针对变负载条件下多模态融合故障诊断模型的特征学习困难问题提出一种图像融合的诊断方法。该方法利用多模态融合技术提高诊断准确率，时频图融合方法将故障诊断问题转换为图像分类问题，降低计算成本。通过齿轮箱试验台测得的正常、内圈故障、外圈故障和滚动体故障4种类型信号数据对该方法进行验证，得到以下结论：

(1)小波域和时频域多模态融合，实现了变负载下的故障特征提取。多模态融合方法能够提高模型诊断准确率，单模态CNN模型准确率为96.75%，而所提多模态CNN-ViT模型准确率为99%。

(2)时频图方法把复杂的故障特征信息转化为数据量较少的图像纹理特征，通过减少输入数据量降低了计算成本和计算复杂度。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

李辉，胡姚刚，李洋，等.

大功率并网风电机组状态监测与故障诊断研究综述

[J]. 电力自动化设备，2016, 36(1): 6-16.