《基于图像识别的螺栓松动监测方法研究.docx》由会员分享，可在线阅读，更多相关《基于图像识别的螺栓松动监测方法研究.docx（18页珍藏版）》请在三一办公上搜索。
1、基于图像识别的螺栓松动监测方法研究目录前言1 .基于FaSterRCNN的螺栓目标识别1.1 1FasterRCNN简介1.2 数据集制作1.3 结果与修正2 .基于图像识别的角度计算方法2.1 透视误差修正2.2 基于CANNY边缘检测与霍夫变换的角度计算方法2.3 角度修正3 .结果与总结3.1 误差分析3.2 总结与展望前言：螺栓连接结构在实际工程中具有极为广泛的应用，从常见的土木工程类应用,如钢架、桥梁、铁轨到航空航天领域导弹、卫星的板间连接，螺栓连接件已经广泛存在与生活的各个角落。对于具有较高结构安全性能指标要求的重要部件来说,螺栓部件的自身安全显得极为重要。事实上，由于螺栓连接处复
2、杂的摩擦动力学现象，在结构面对各类冲击、振动与动态载荷时，可能在结构未产生任何实质损伤时造成螺栓松动、预紧力消失的情况。并且，由于材料结构的疲劳效应，长期的载荷作用下材料形变引起沉降、蠕变和弛豫现象，同样会导致螺栓松动、预紧力消失。为结构带来安全隐患。目前，针对螺栓松动的检测方法主要分为直接法与间接法。直接法即为直接测量螺栓预紧力的相关参数，例如通过扭矩仪测量扭矩，在螺栓上集成应变片测量螺栓栓头对连接板的压力，但此类测量方法效率低、成本大，实际中往往仅应用与重要板件的连接部位监测。间接法即通过各类传感器数据间接反应螺栓连接的状况，主要分为机电阻抗法、超声导波法与振动法三大类。其中，机电阻抗法是
3、依据阻抗参数对结构变化的高敏感性，当螺栓结构松动时，阻抗测量值能够有较明显变动。超声导波法是测量散射波波速与频率，通过分析波速与频率的变化判断螺栓结构是否松动。振动法则是测量结构的振动响应，由响应谱分析螺栓结构是否松动。这些方法均需要安装相应的传感器元件，其优势是针对单一螺栓的检测结构灵敏度较高。但数据采集较困难，且对多螺栓结构无能为力。而基于视觉的螺栓松动监测方法更加适用与大型集成的螺栓连接板件，其数据获取简单便捷，且不需要在结构中安装类似其他传感器的数据采集模块，不会对结构的自身特性产生任何影响。视觉的螺栓松动监测方法从原始采集的数据图像到得出螺栓的松动角度主要需要两大类工作：1 .螺栓区
4、域的目标识别。即确定与区分各个螺栓的所处区域。使得目标识别的结果中有且仅包含一个螺栓，便于后续的角度检测。当前，针对螺栓区域的目标识别主要有两类方法，其一是通过螺栓表面的一些特定特征进行目标识别，例如螺母端螺栓图片中往往有明显的中心圆特征，这些明显的几何特征可以通过opencv的图像处理方法确定特征位置，如图，只要确定了中心圆位置，再通过预知半径即可得到螺栓目标位置。其二是通过深度学习方法进行目标识别，由于不同螺栓规格的差异，其表面特征难以统一，故采用针对固定特征的识别方法并不适用，而深度学习方法可以针对不同螺栓训练以提取螺栓的共有特征，方法适用性更高。并且,深度学习方法已经在此类图像处理领域
5、展现出了强大特征提取与目标识别能力。2 .对区域内的单个螺栓进行角度计算。得到该螺栓的实时角度。对前步提取到的螺栓区域进行特定的图像处理操作，获取螺栓边缘信息,再通过边缘信息求得螺栓的旋转角度。1 .基于FaSterRCNN的螺栓目标识别目标识别是指将某个或多个特殊目标从整体背景中区分出来的操作。其核心问题是获取特殊目标区分于背景的“特征”，再通过分类器识别。当前，目标识别算法主要分为两类，一类是OneTtage检测如SSD,YOLO等，一类是Two-Stage检测如RCNN,FasterRCNN等。其主要区别在于，Two-Stage检测方法分“两步”，有一个独立的候选框生成算法，用于框选可能
6、的目标区域，其框选区域精确度更高，但相应的，算法耗时更长。本文对螺栓目标的角度监测是长周期监测，并不像目标追踪等需要极快的处理速度。相反，若框选区域不够精确，则会导致后续图像处理中部分边缘信息无法提取，进而影响整体检测精度。1.1 FasterRCNN简介FasterRCNN是ROSSB.Girshick在2016年提出的针对标准R-CNN网络与FaStRCNN网络的改进。其将整个目标识别过程的特征提取、目标框选取、目标框修正与结果分类整合在了一个网络结构中，使其在训练速度、识别精度上均得到了较大的提升。classifier图示即为标准的FaSterRCNN结构，其主要分为三个部分：ConvI
7、ayerS即特征提取层。该层采用CNN卷积神经网络对原始图像进行特征提取，输出特征图。RegionProposalNetworks即候选框区域生成网络。进行目标识别的重要步骤之一就是如何框选出目标的位置与大小，由于目标在原始图像中的尺寸大小不一，且不同目标的形状也不一致，故如何生成对目标的框选是目标识别中的重要问题。ROIpooling与classifier完成最后的分类与修正操作。FasterRCNN的具体流程如下：输入图像进行大小重整后进入主干特征提取网络，需要注意FasterRCNN的图像大小重整并不会对图像原始比例进行修改以造成图像失真，而是按比例放缩后对空白区域补0。本文所采用的主干
8、特征提取网络为AIeXNet网络架构，由于本文的分类特征并不复杂，相较ReSNet其训练速度更快，足以满足本文的识别需求。经过CNN网络后，即生成了原始图像的特征图。而后续的RPN网络即在特征图上生成候选框，估计目标在特征图中的位置。RPN网络采取了设定预设框，再通过对预设框进行修正的方法生成目标识别的建议框。其中，在指定预设框时，RPN网络的目的是尽可能兼顾不同目标的大、中、小尺度，同时尽可能包含不同的长宽比以适应针对不同目标的识别框选。本文选用的是如下9类预设框，即三种不同大小、三种不同长宽比的矩形框。（预选框anchor应尽量包含各个尺度特征）此时，预设框在特征图上逐点遍历，判断目标是否
9、存在与预选框之中。同时，由于提前指定的预选框并不能完美匹配所有目标尺寸，故RPN网络还会进行预选框修正操作。下面简单介绍其修正原理：需要提前声明，图像处理中，矩形框通常用四维向量表示：（x,y,w,）前两项表示窗口中心点坐标，后两项表示窗口的宽和高。对下图而言，假设框A为未经过修正的预选框，框G为真实目标框，修正算法即想找到一种映射变换，使得框A尽可能的向框G靠拢。即原始框4=(/,4y,4v,4);真实框G=Gx,GyGwtGh);找到一种变换F,使得FAtAytAw,Ah)=G,tG,yfG,wtG,h)(Gx,GytGwtGh)先通过平移调整中心点坐标:G,x=Awdx（八）+AxGy=
10、AldyA+Ay再通过缩放调整宽高：G%=Awexp(du,)Gfh=Ahexp(（八）)即RPN网络的修正过程所需要的学习参数即为上式的四个偏差未知量。当输入的预选框A与真实框G的偏差较小时，可认为该变换过程为线性变换，通过线性回归方式预测四个变换参数。即：%=疗0(4)通过预选框修正后即可得到与真实框更接近的预测框区域。接下来即为分类，通过前文提取到的预选框区域特征，分类该预选框属于哪种目标，针对本文即是分类其属于背景还是螺栓区域。同时再次应用选框修正算法，对最终的预测分类结果再次进行选框修正，获取更高精度的最终预测框。1.2数据集制作试验件：本文选用的实验件为10cm*10cm打孔板件，
11、螺栓为M6螺栓若干。需要留意的是，考虑到实际工程需要，螺栓连接部分往往跟随板件进行防锈处理，本文采取了常见的灰色防锈漆处理，即减小了背板与螺栓件的区分度，一定程度增大了图像识别的难度。数据集为不同距离下的螺栓拍摄图片。55张共记230个螺栓区域。/吃-TM耳于f 生 = !1.3结果与修正学习率:le-2le-5le-3初步应用FaSterRCNN网络训练验证，调整训练参数如学习率、迭代次数设置，同时，考虑到部分螺栓的先验信息，添加以下结果约束:1 .仅输出预测概率大于90%的框选区域；2 .仅输出框大小为80*80120*120大小的区域；3 .重复区域仅输出高预测值框；训练集修正：1 .取
12、消空螺栓干扰2 .取消背景干扰（透视变换消除背景边），提高精确度3 .灰度化输入图像，减小通道数，提升训练速度。最终结果表格：训练样本数检测出的总数正确数错误数漏检个数完美结果数1032275352331301094730300017703030002010030300022125303000201503030001518030300017其中，错误样本即框选样本中不包含任意一条可用的螺栓边界，漏检样本即为测试集中存在未能识别的螺栓样本，正确样本为检测结果包含螺栓边界（可能存在部分角点的漏选，但不影响后续的角度识别），完美样本为检测框完美的框选了螺栓整体，见下图：正确结果完美结果2.基于图像识
13、别的角度计算方法在进行前文处理后，即得到了螺栓目标区域的坐标(X,y,w);本节即探讨如何通过图像识别方法对包含单螺栓的区域进行角度估计。由于角度是一个相对值，即在我们针对螺栓进行角度预估时，需要有一个参考线，即螺栓相对于该参考线的旋转角度是多少。故本节首先将通过透视变换拉伸原始图像区域，消除透视误差的同时引入该参考面即为背板底边。2.1 透视误差修正透视现象广泛存在于视觉方向，由于在采样螺栓图片时，不能保证摄像头完全正对于螺栓区域正上方，此时，相对靠近摄像头的区域将会被拉伸，远离摄像头的区域将会被压缩。而原始的螺栓平面，当我们将其看为正六边形时，由于透视变换的影响，其拉伸于压缩现象会使得六边
14、形边长变化、各边夹角变化，为后续的角度检测带来误差。故我们希望找到一种矩阵变换，建立原始图像与正视图像的变换矩阵，实现从原始图像到正视图像的转化过程，消除透视现象的误差。(如下图)获取该矩阵需要原始图像四点，与变换后正视图像对应四点的坐标，其两坐标系的转换关系可由下式求解：wl1wl2m3xm21w22w23yw3lw32w33IX=mW*x+m2*y+m3Y=w21*X+w22*y+w23Z=w3l*xw32*oy+w33、_X_-Il*x+ml2*y+ml3Zw31*Xw32+y+w33,Kw21*x+w22*y+w23y=一=Zw31*x+w32*j+w33其中，x,y为原坐标点，x,y
15、为变换后坐标点，M为透视变换矩阵。为方便计算，本文选取的原始点为背板的四个顶点，变换后的点即对应了正视图正方形的四个顶点。其中，背板的四个顶点获取将通过霍夫变换寻找长直线交点获得，将在下节论述。2.2 基于CANNY边缘检测与霍夫变换的角度计算方法在通过透视变换处理后，螺栓的识别区域即为标准的正六边形，如下图：（注意，透视变换并不能消除第三个维度的影响，即当侧视角度较大时，经透视变换后依然会有明显的螺栓侧向边缘，但可保证表面为正六边形）Canny边缘检测算子。在通过上文的处理后，已经正确得到了单个螺栓区域的图像，此步的工作即从螺栓图像中获取螺栓的边界信息。图像处理中，较为常用的边缘检测方法为C
16、anny边缘检测算子,其流程如下：（图像已经过灰度化）局斯感肢M 一阶差分求灰度赢北极人值抑司山界连通首先通过高斯滤波消除图像噪声，再通过一阶差分求取灰度梯度。此时在梯度方向上，梯度值越大，则表示该点有较高概率为边界点。在求得梯度值后，采取非极大值抑制的方法筛选边界点，即梯度方向上的极大值点视为可能的边界点，其余点置O减小干扰。同时，Canny算子采用了双阈值判断法，大于大梯度值的边界点视为强边界，小于小梯度值的边界点忽略，在大值小值之间的点视为弱边界，增大了算法的适应能力。通过调整CANNY算子参数，得到如下的边缘检测结果：霍夫直线检测成功提取到螺栓的边界信息后，下一步即检测螺栓边界直线的角
17、度。灰度图像的信息在计算机中通过矩阵存储，每个点的数值表示了图像对应像素点的灰度值。在经过CANNY边缘检测处理后，矩阵中仅包含O值：对应黑色，255值：对应白色。255值为边界点。通常而言，我们将矩阵点标记为直角坐标系，其中一点用（x,y）坐标表示，在直角坐标系中，同一条直线上的所有点满足y=ax+b表达式。基于该原理，提出霍夫a-b坐标系，即以a,b为横纵坐标，X,y为直线参数，霍夫坐标系直线表达式为b=-x+y;此时，针对原x-y直角坐标系中任意给定一点（x,y）,由于其具有确定的X,y值，其在霍夫坐标系中即对应了一条确定的直线。故,x-y坐标系中的任意一点都可以映射为a-b坐标系中的一
18、条直线,此时，对于x-y坐标系中在同一直线上的所有点，由于其均满足y=x+b,故其在a-b坐标系中的映射均过同一点（a,b）o通过此方法，在霍夫坐标系中每两条直线的角点即表面了Xy坐标系中对应两点在同一直线上，而当有多条密集的直线交于同一点（a,b）时，即证明了Xy坐标系中存在直线y=ax+b其算法的具体实现可通过霍夫累加器：遍历原图所有点，每计算一个边界点，在霍夫空间对应直线位置所有点+1,遍历完成后，霍夫空间矩阵的每点数值即表面了对应直线的像素点个数。同时可通过角度阈值、交点数、直线长度、间隔阈值参数控制霍夫变换输出的直线长度、像素点间隔数等。直线检测结果：（红线表示检测到的直线）2.3角
19、度修正成功提取直线信息后，由于螺栓六条边的角度各相差120,不便于统一处理减小误差，故需要一定的角度修正方法将所有角度转换至060标准。由于arctan。的值域为-9090,故90o180的直线取反正切后的输出角度为-90。0,180o270的直线取反正切后的输出角度为090,270o360的直线取反正切后的输出角度为-900,y = arctan(x)x通过角度转换关系整理得：6。册一 60+ 60、0 +120(060600)(M60。)(-60VeOVo)(。0-60。)此时，上图直线角度检测的结果输出为:Linel34.10127419Line232.90524292Line332.8
20、6954830Line430.32151007Line530Line630求取均值得角度的计算值为31.71。3.结果与总结经过前文的透视变换、螺栓目标检测、边缘角度计算等操作，即可完成对某一板件上所有螺栓的角度监测工作。为保证角度计算的准确性与方法的实用性，本节将对整体工作的误差进行讨论，并分析拍摄角对结果误差的影响。误差分析：在整个流程中，能够对最终结果产生误差的过程有：1. 透视变换寻找角点的位置。执行透视变换的初衷是为了消除由透视现象引起的图像畸变。但是，透视变换中所使用的角点由原始图像经霍夫变换所得的长直线再次求取交点获得，受限于拍摄设备、拍摄角度、环境光照、背板与环境的色差等因素，
21、算法对于角点的识别可能存在一定的偏差，使得透视变换并未完全消除透视误差，使得最终结果出现偏差。2. FaSter-RCnrI的目标检测。Faster-Rcnn算法对本文论述情况下的螺栓目标识别已经能够达到100%,但即便增大训练量，仍有40%的样本无法完美识别。即此步的输出结果可能缺失螺栓的角点或个别边，为后续的角度计算引入误差。3. Canny边缘检测算子的双阈值设置与霍夫直线检测的四参数设置。事实上，角度计算模块存在较多的预设参数，这些参数的设置往往使用的是图像处理时的经验值，本文的参数设置根据多次的实验过程进行了微调,使其对绝大多数样本的计算保持较高的直线检测率，但是对不同样本的角度计算
22、仍存在小幅波动。限于拍摄的样本存在一定的随机性，算法角度的参数设置所引起的误差难以避免，只能尽可能的使其适应于具体应用时的环境。故本节将主要讨论由设备拍摄角度的不同引起的误差：（本文的实验样本在拍摄时选择了闪光灯补光，故暂不考虑光照因素的影响）首先，讨论在摄像头正视样本时，即无拍摄角影响时的误差情况。下图表示了所拍摄的36个螺栓目标的角度计算情况:0.50 0510152025试脸次数摄像头正视样本时的误差大小5 4 5 3 5 2 54 3 2t代最大误差不超过1.1,平均误差0.4,标准差0.3048。可以看到，除去拍摄角度外的影响因素所造成的偏差不大。从螺栓产生视觉上的松动现象考虑，1的
23、角度误差已经达到了较高的精度要求。事实上，本文的实际角度是通过角度测量尺得到，其自身也存在一定的测量误差。故可以认为其余因素对结果误差的影响较小。而当拍摄角度发生变化时，由于螺栓本身存在一定的高度，侧视则会拍摄到其面向摄像头的高度面，与背向摄像头的阴影面，如下图所示：（红圈表示高度面，篮圈表示阴影面）（V高度面尽管通过透视变换修正了图像畸变，但是这些由三维视角投影而来的侧边信息并没有被完全消除。在后续的边缘检测中，作为潜在的边缘信息，同样会被提取出来影响后续的直线检测结果。当拍摄角从0向40。变化时，误差变化如下图:21.81.61.41.210.80.60.40.20-50510152025
24、30354045拍摄角度/0拍摄角度变化时的误差棒统计结果不难看出，随着拍摄角度的增加，在误差均值增大的同时，误差的方差也在逐步增大。在拍摄角达到40时，最大的角度误差已有2.6。不同拍摄角度下的误差经验累积函数CDF观察其经验累积函数图像：由此可见，拍摄角对于最终角度的计算结果具有不小的影响。从原理上将，当拍摄角增大时，不但回引入多余的干扰边缘，同时也会放大算法各部分的系统误差，增大直线检测的难度，使得结果的可信度降低。在实际应用中，可以对同一监测目标多次拍摄采样，通过多次采样求取均值的方式降低偶然误差。同时，在经过透视变换时所用的矩阵可以用来计算拍摄角。提高低拍摄角时的均值权重，降低高拍摄角时的均值权重。由实验结果可知，在拍摄角在0、20。以内时，透视变换很好的消除了图像畸变带来的误差，使得整体的结果误差变化较小。而当拍摄角接近30时，误差的均值、方差均有较大增长，可能对是否松动产生误判。故可舍弃拍摄角大于25。时的样本，以提高整体结果的精确度。
