李翔 李传芝
(浙江省机电技师学院 浙江省义乌市 322000)
摘要:针对表面贴装技术(SMT)产线贴片电阻焊点缺陷检测面临的小样本标注稀缺、图像尺寸不统一导致特征失真以及基线迁移学习模型拟合能力不足等问题,本文提出一种基于分层微调与矩形输入优化的 ResNet 焊点缺陷二分类检测方法。该方法以 ResNet18 为骨干网络,采用矩形输入,设计 “底层冻结—中高层解冻” 的分层微调策略,结合阶梯式学习率与 Dropout 正则化;引入分层数据集划分与类别权重平衡机制。结果表明:与基线迁移学习方案相比,训练轮数从 30 轮缩减至 10 轮,同时最佳验证准确率从 78.33% 提升至 93.33%,满足了工业小样本场景下快速部署与高精度检测的工程需求。
关键词:焊点缺陷检测;ResNet;迁移学习;小样本学习
0 前言
随着电子制造业向高精度、高自动化方向快速发展,表面贴装技术(SMT)已成为集成电路板(PCB)组装的核心工艺,贴片电阻的焊接质量直接决定了电子产品的可靠性与使用寿命。产线中常见的焊点缺陷包含多锡、少锡、掉线及短路等,传统人工目检方式存在效率低、主观性强等缺陷,难以适配高速量产场景的检测需求[1]。
基于机器视觉的传统检测方法多采用人工设计特征(如 HOG[2]、BP[3]、灰度共生矩阵[4])结合 SVM、随机森林等分类器实现缺陷识别,其检测精度高度依赖特征工程经验,对复杂多样的焊点缺陷形态鲁棒性不足,且面对产线产品迭代时特征重构成本高。结合深度学习的卷积神经网络(CNN),可自动提取图像深层特征,识别微小缺陷,显著降低漏检与误检率,在工业缺陷检测领域得到广泛应用[5] 。针对小样本、复杂背景及高精度要求,国内外学者提出了多种改进方法。例如,郁岩等[6]、Selamet 等[7]基于Faster R- CNN(region CNN)的改进模型实现了高精度检测。何智成等[8]基于 YOLOv2 ,提出了焊点检测模型 FGM_YOLO,宋敏毓等[9]用 ShuffleNetv2 和卷积注意力机制修改 YOLOv5 网络,在保证识别精度的过程中,极大程度上减少了参数量。尽管现有研究取得了积极进展,但工业场景普遍存在标注样本稀缺、图像采集尺寸不统一、缺陷形态细微等挑战,直接从头训练深度网络极易出现过拟合,且收敛速度慢,难以满足产线快速落地的需求。
迁移学习通过引入大规模数据集上的预训练模型权重,将通用视觉特征迁移到工业任务中,是解决小样本问题的主流方案[10-11]。然而,常规迁移学习基线方案通常存在两方面局限:一是将工业图像强制缩放至统一正方形输入,易造成非等比拉伸,破坏缺陷区域的原始形态比例,导致关键特征失真;二是全冻结主干网络仅训练分类头,特征适配能力不足,模型易长期处于欠拟合状态,即使增加训练轮次,精度仍难以达到理想水平。针对上述问题,本文面向小样本、纯整图二分类场景,提出一种基于改进 ResNet 的焊点缺陷检测方法。主要贡献如下:
(1)提出一种匹配焊点图像固有宽高比的矩形输入预处理方案,并结合分层微调与阶梯式学习率策略,选择性解冻中高层残差块,在保留底层通用特征的同时增强网络对焊点缺陷特征的适配能力;
(2)从数据划分、损失函数、正则化和学习率调度等方面联合优化训练机制,使模型在 10 个训练轮次内快速收敛;通过对比实验与消融实验,量化验证各优化模块的有效性,为工业小样本视觉检测任务提供可复用的优化思路。
1 改进 ResNet 迁移学习模型
1.1 试验方法
焊点检测是PCB生产中的关键环节,主要目的是从全部焊点图片中识别出焊点异常的图片。正常焊点图片如图1所示。
图1 正常焊点图
异常焊点可以大概分为三种情况:缺元器件;焊接位置错误;焊锡太多或太少导致颜色不对,如图2所示。某公司已拥有一套自动检测焊点的软件,但是在实际的焊点检测过程中经常发生误检的情况。此时就需要人工进行二次检测,对第一次的焊点检测中不合格的焊点进行筛选,并从中挑选出合格的焊点,这样会增加一定的人力成本以及焊点检测时间。
图2 异常焊点图
图3 技术框架图
基于迁移学习的工业缺陷检测,本文结合焊点检测的具体场景,将分层微调与矩形输入适配相结合,形成面向多尺寸小样本焊点图像的高效检测方案。针对小样本下模型收敛慢、易过拟合的问题,本文主要从优化器、学习率调度、正则化三个方向展开,与分层微调策略结合,构建适配小样本场景的完整训练优化框架,如图 3所示:适配性数据预处理模块、分层数据集构建模块、分层微调 ResNet 分类模型模块、训练优化与推理输出模块。输入为产线采集的多尺寸焊点图像,经过矩形缩放与工业场景数据增强后,通过分层随机抽样划分为训练集与验证集;采用分层微调策略的 ResNet18 网络,结合阶梯式学习率、AdamW优化器、类别权重损失与余弦退火调度完成模型训练;最终加载最优权重对无标签测试集进行批量推理,输出符合格式要求的检测结果文件。
1.2 适配性矩形输入预处理
基线方案采用 224×224 正方形输入,强制将宽高比约 1.75:1 的焊点图像拉伸为正方形,导致焊点与缺陷的形态比例失真,纹理、几何等关键判别特征发生畸变,同时引入无效特征干扰,是基线方案精度偏低的核心原因之一。本文针对数据集图像尺寸分布特性,统计得到图像宽高比稳定在 1.75:1 左右,因此将统一输入尺寸设定为 224×128(宽 × 高),与原始图像比例完全匹配。该方案既保证了输入尺寸的统一性,又完全保留了焊点的原始形态比例,消除了拉伸变形导致的缺陷特征破坏,同时避免了黑边填充引入的无效像素干扰,有效提升了特征学习的有效性。
为提升模型泛化能力,同时避免破坏缺陷本身的形态特征,本文针对工业产线拍摄场景设计轻量增强策略,替代基线方案的大角度旋转与强色彩扰动:
随机水平翻转:焊点具有水平对称性,翻转不改变缺陷本质,可扩充样本多样性;
微小仿射变换:包含 ±3°旋转、±5% 平移、±5% 尺度缩放,模拟产线拍摄时的位置与角度微小波动;
弱色彩扰动:对亮度、对比度进行小范围调整,模拟光照强度波动。
验证集与测试集仅执行尺寸缩放与归一化处理,保证评估的客观性。所有图像均采用 ImageNet 数据集的均值与标准差进行归一化,与预训练模型的训练分布保持一致。
1.3 分层微调网络架构
基线方案采用全冻结主干网络和仅训练顶层分类头的策略,预训练网络的通用视觉特征无法适配焊点缺陷的专属特征,模型拟合能力严重不足,即使训练 30 轮也处于欠拟合状态。
图4 基线方案与本文方法优化原理对比
本文设计分层微调网络架构,优化原理如图 4 所示,核心思路为 “保留底层通用特征,适配高层任务特征”:
底层冻结:冻结 ResNet18 的 layer1、layer2 残差块,其已在 ImageNet 上学到通用的边缘、纹理及基础形状特征,对工业焊点图像同样适用,冻结可避免小样本下底层特征被破坏,同时减少训练参数量,加快收敛速度。
中高层解冻:解冻 layer3和layer4 残差块,使其针对焊点缺陷的特定纹理及几何特征进行适配调整,显著提升模型的特征拟合能力,解决基线方案的欠拟合问题。
正则化分类头:替换顶部分类头,在全连接层前加入 Dropout 层(失活概率 0.3),通过随机抑制部分神经元,缓解小样本下解冻更多层带来的过拟合风险。
1.4 训练优化策略
针对不同层级网络的优化目标,设计阶梯式学习率机制:越靠近底层的网络层学习率越小,越靠近顶层的学习率越大。其中 layer3 学习率为基础学习率的 0.05 倍,layer4 为 0.1 倍,分类头为基础学习率。该策略既保证底层通用特征不被大幅修改,又能让中高层与分类头快速学习任务相关特征,实现稳定高效的微调,大幅减少收敛所需轮数。
采用 AdamW 优化器进行参数更新,相比基线方案的普通 Adam 优化器,其权重衰减机制能够更有效地实现 L2 正则化,抑制模型过拟合。
学习率调度采用 “预热 + 余弦退火” 策略,替代基线方案的阶梯式衰减:第 1 轮为学习率预热期,学习率从 0 线性上升至设定值,避免训练初期权重剧烈震荡;剩余 9 轮采用余弦退火策略,学习率平滑下降,帮助模型快速收敛至更优的局部最优解。整个训练过程仅需 10 轮即可收敛,训练效率显著提升。
采用分层随机抽样方式按 8:2 比例划分训练集与验证集,替代基线方案的纯随机划分,确保训练集与验证集中两类样本的比例与原始数据集完全一致,避免因随机划分导致的类别分布偏移,保证验证集评估结果的可靠性。
同时针对样本数量可能存在的不平衡问题,根据训练集各类样本数量计算类别权重,在交叉熵损失函数中赋予少样本类别更高的惩罚系数,平衡模型对不同类别的学习程度,避免类别不平衡带来的精度损失。
图 5 数据集示例
2 实验与结果分析
2.1 实验设置
实验采用图片是某芯片产线上焊接电阻后由视觉检测系统所拍摄的焊点图片。数据集按照电阻的类型分为三类(101K,102K,331K)。每类又分为正常焊点(normal)和异常焊点(abnormal)。将normal图片的分类标签记为1,将 abnormal图片的分类标签记为0,见图5。产线暂不要求对电阻的类型进行分类,只要求对正常焊点和异常焊点进行分类。数据集共包含 300 张产线采集的焊点图像,分为正常焊点(标签 1)与异常焊点(标签 0)两类。数据集中的图片尺寸并不完全相同,主要分布在[175,100]和[112,64]这两个尺寸附近,宽高比均接近 1.75:1。按 8:2 比例分层划分为训练集(240 张)与验证集(60 张)。
实验硬件环境为 Intel Core i7-10700 处理器,16 GB 内存,NVIDIA GTX 1660Ti 6 GB 显卡;软件环境为 Python 3.8,PyTorch 1.9.0,torchvision 0.10.0,scikit-learn 1.0.2。
批次大小设置为 16,基础学习率为 2×10-4,权重衰减系数为 1×10-4;基线方案训练 30 轮,本文方法训练 10 轮;输入尺寸基线为 224×224,本文方法为 224×128。所有实验均固定随机种子,保证结果可复现。
2.2 评价指标
为全面评估模型的分类性能与工程实用价值,本文基于二分类混淆矩阵构建多维度评价指标体系。定义正常焊点(标签 1)为正类,异常焊点(标签 0)为负类,混淆矩阵包含 4 种基础分类
结果:
真正例(True Positive, TP):正常焊点被正确判定为正常的样本数;
真负例(True Negative, TN):异常焊点被正确判定为异常的样本数;
假正例(False Positive, FP):异常焊点被误判为正常的样本数,即缺陷漏检,属于工业检测中的高危错误,会直接导致不合格品流出;
假负例(False Negative, FN):正常焊点被误判为异常的样本数,即良品误杀,会增加产线复检成本与物料损耗
基于混淆矩阵,选取以下 5 项通用核心评价指标:准确率(Accuracy)、精确率(Precision)、召回率(Recall)、特异度(Specificity)、F1 值(F1-Score)。
2.3 对比实验结果
本文选取基线方案(全冻结主干、正方形输入、30 轮训练)作为对比对象,两种方案的验证准确率收敛曲线如图 6 所示,核心性能指标对比如表 1 所示。
图 6 基线方案与本文方法验证准确率收敛曲线
结合图 6 与表 1 可得出以下结论:
整体精度显著提升:本文方法最佳验证准确率达到 93.33%,相比基线方案提升 15 个百分点;F1 值从 78.43% 提升至 93.44%,综合分类性能提升显著。同时模型特异度从 76.67% 提升至 93.33%,异常焊点漏检率从 23.33% 下降至 6.67%,大幅降低了不合格品流出的风险,更贴合工业质检 “缺陷优先拦截” 的核心需求;精确率从 76.92% 提升至 93.55%,良品误判率同步降低,可有效减少产线复检成本与物料损耗。
收敛效率大幅提升:基线方案前 10 轮准确率仅从 58.33% 提升至 65.00%,累计提升不足 7 个百分点,且训练中期存在多次震荡回落,直至第 30 轮才收敛至最优值;本文方法第 1 轮准确率即达到 75.00%,超过基线前 20 轮的最佳精度,第 5 轮便达到 91.67%,仅用 5 轮就大幅超越基线 30 轮的最佳水平,最终 10 轮完成收敛。按达到同等精度的训练轮次计算,本文方法收敛速度提升 6 倍以上,总训练时长仅为基线方案的 42%,训练效率显著提升,适配工业场景快速迭代的需求。
训练稳定性更优:基线方案在训练过程中存在明显的精度波动,如第 17 轮从 68.33% 回落至 65.00%,反映出全冻结主干方案下模型拟合能力弱、优化过程震荡的问题;本文方法仅在第 6 轮出现小幅回落,整体上升趋势平稳,得益于分层学习率与预热 + 余弦退火调度策略,优化过程更稳定,不易出现梯度震荡。
2.4 消融实验
为验证各优化模块的独立作用,在 10 轮训练的设置下开展消融实验,依次叠加矩形输入、分层微调、训练优化(类别权重 + 学习率调度 + Dropout)三个模块,以准确率与 F1 值为核心指标进行评估,结果如表 2 所示。
由消融实验结果可知:
(1)仅替换为矩形等比例输入,10 轮准确率即从 65.00% 提升至 76.67%,提升幅度达 11.67 个百分点。这验证了基线方案中正方形强制拉伸导致的缺陷特征失真,是制约模型精度的核心瓶颈之一;消除形态畸变后,模型能够学习到更真实的焊点缺陷特征,精度获得一阶跃升。
(2)在矩形输入的基础上加入分层微调策略,准确率进一步提升至 86.67%,较实验 2 提升 10 个百分点。这说明解冻中高层残差块能够有效增强模型对焊点专属缺陷特征的适配能力,解决了全冻结主干带来的欠拟合问题,让模型从 “通用特征提取器” 向 “焊点缺陷专用分类器” 转变,是精度突破的关键环节。
(3)加入类别权重平衡、Dropout 正则化、预热余弦退火调度等训练优化策略后,准确率达到 93.33%,较实验 3 再提升 6.66 个百分点。该模块从数据分布、网络结构和优化路径三个维度抑制小样本过拟合,进一步释放了分层微调的性能潜力,让模型在快速收敛的同时保持良好的泛化能力。
各模块依次叠加均带来了稳定的精度提升,验证了本文优化方案的有效性与合理性。
3 结论
本文方法针对小样本、多尺寸焊点图像的二分类检测场景,通过输入适配、分层微调与训练机制优化,实现了 “更少轮数、更高精度” 的优化目标,且在缺陷检出率、良品误判率等工程核心指标上均有显著提升,具备较强的工程实用价值。方法的核心优势在于:无需增加数据样本量,仅通过模型与训练策略的优化即可大幅提升检测精度,且训练成本低、部署门槛低,非常适合工业产线快速验证与落地。但方法仍存在一定局限性:一是当前数据集规模较小,仅包含二分类标签,对于多类型细粒度缺陷的识别能力有待验证;二是当前采用整图分类方案,仅适用于单焊点单图像的场景,对于多元件同框的检测场景需结合目标检测框架进一步拓展;后续研究可通过引入 TTA 测试增强、半监督学习等方式进一步挖掘小样本下的模型潜力。
参考文献
[1] 翁佩纯,李蓉,张远海. 基于ResNet的焊接缺陷分类识别[J]. 智能计算机与应用,2023,13(5):103-106.
[2] 胡丹,吕波,王静静,等. 焊缝表面缺陷激光视觉传感 HOG -SVM的检测方法[J]. 焊接学报,2023,44(1):57-62+70+131-132.
[3] 苟星禄,吴頔,董金枋,等. 基于机器学习的铝合金脉冲激光焊接工艺及质量预测研究[J]. 电焊机,2023,53(9):84-90.
[4] 孙亚楠,王毅,刘孟林,等. 基于灰度共生矩阵的智能管道焊缝检测机器人[J]. 科学技术与工程,2026,26(15):6412-6424.
[5] 刘玉龙,吕权权,吴浩,等. 基于深度学习的电子元件焊点缺陷检测方法[J]. 电子与封装, 2023, 23(6):38-43.
[6] 郁岩,齐继阳. 改进Faster R- CNN的微型扁平电机FPC表面焊点缺陷检测[J]. 电子测量技术, 2022,45 (7): 146-151.
[7] SELAMET F,CAKAR S,KOTAN M. Automatic detection and classification of defective areas on metal parts by using adaptive fusion of faster R-CNN and shape from shading [J]. IEEE Access,2022,10: 126030-126038.
[8] 何智成,王振兴. 基于改进 YOLOv2 的白车身焊点检测方法[J]. 计算机工程,2020,46(11):246-254.
[9] 宋敏毓,陈力荣,梁建安,等. 轻量化改进网络的实时光纤端面缺陷检测模型[J]. 激光与光电子学进展,2022, 59(24): 2415006.
[10] 丁鹏. 基于小样本图像的叶片表面缺陷检测研究[D]. 南京航空航天大学, 2022.
[11] 杨钧植. 基于小样本学习的电子连接器外观微缺陷检测系统及实现[D]. 华南理工大学,2023.
2026-11-10
2026-11-10
2026-11-12
2026-11-16
2026-11-16
2026-11-12