第十二届云南省大学生课外学术科技节参赛作品

序号：

编码：

云南省第十二届大学生课外学术科技节作品名称：

基于机器视觉以及深度学习的苹果系统分级方法研究类别： 组别：自然科学类学术论文

□哲学社会科学类社会调查报告和学术论文□专科学生□科技发明制作 A 类 本科学生□科技发明制作 B 类 □硕士研究生

第十二届云南省大学生课外学术科技节参赛作品

基于机器视觉以及深度学习的苹果系统分级方法研究摘 要：本文通过对苹果为研究对象，利用摄像头对苹果进行图像采集，在完成图像预处理后，上传云端，在云端进行数据记录后利用将苹果的果径、果形，果色等特征数据传输入 CNN 深度学习算法中完成机器视觉的深度学习，使苹果系统分级不断完善，提高分级准确率；对苹果的大小、形状，色泽，进行系统识别训练和分级。此研究对市场企业需求有一定现实意义，对机器视觉的深度学习算法的研究也有一定的参考价值。

关键词：苹果的系统分级 机器视觉 深度学习算法 市场需求一、 课题研究的背景与意义

1.1 国内苹果农业现状

随着中国的历史发展逐步走向了新时期，中国当前的经济与社会主要矛盾也已近转变为人民群众对日益增长的美好生活需求，与不均衡不完善的经济社会发展之间的矛盾冲突。人们对生活质量和高质量的商品提出了更多的要求，为了使苹果满足人们不断提高的物质质量需求，使用智能化的机械对苹果分级是势在必行的。

中国自古是农业大国，农业在我国的国民经济占有及其重要的意义，而苹果作为我国农业中的重要经济作物，其常年来占据我国水果产量的榜首。据国家统计局统计，2022 年我国苹果产量为 4597.34 万吨，是全国水果产量第一。就全世界市场来看，目前我国苹果产量已占据了全世界苹果产量的50％以上，而中国则是全球最大的苹果生产国，也是全球唯一一个将苹果年产量保持在一千万t 以上的国家。从以上数据中可以看出苹果在我国乃至世界市场上拥有巨大需求和市场价值。

而作为“百果之省”的云南，云南的苹果具有香、甜、脆等优点，已在全国占有一席之地，与烟台苹果、陕西苹果形成三足鼎立之势。得天独厚的生态条件和区位优势，让云南跻身中国重要的南方优质苹果生产基地。早熟是云南省苹果产业的优势。已成为我国当仁不让的生产中早熟优质苹果的最佳生态地区，其果品以外观色泽艳丽、成熟早、甜脆爽口、内在品质好而著称。云南省有三大苹果产区：昭鲁优质晚熟苹果区、丽江冷凉山区优质苹果和曲靖早熟优质苹果。种植面积和产量分别占全省总种植面积和总产量的70%和90%。全省果树种植面积约 609.75 万亩，其中苹果种植面积约60.9 万亩，占全省果树总面积 9.98%，苹果栽培面积居全省第三位。苹果产量达到33.6 万吨，年产值突破 20 亿元。苹果产业已经成为云南省滇东北、滇西北冷凉山区的重要经济产业。目前中国对大部分的水果分级方式还是采用人工手动分级，其有主观上的可以实现全方面，综合指标高的分级特点的优点，但也存在着以下缺点：1、效率低下，所耗费人力物力巨大 2、主观意识太强无法将分级标准进行系统化的统一3、无法保证苹果的不受磕碰和接触产生的卫生安全问题。现有的水果分级方式多数针对是不易产生磕碰的如橙子、柑橘、圣女果，番茄等表皮和内部较为柔软的荟香科和茄科一类的水果。苹果作为蔷薇科的代表植物本生具有较为坚硬的特质，虽然其储存期比较长，但如果有了一些磕碰的印记，其就会迅速沿着磕碰的组织开始1

第十二届云南省大学生课外学术科技节参赛作品

腐烂，腐烂部分的亚硝酸盐的浓度会迅速升高，不仅影响购买者的观感，而且对人体有害。

市场上目前并无成熟的苹果分级装置，已有的水果分级装置对苹果也并不适用，因此本文展开的苹果系统分级的研究有利于中国与云南本地苹果提高在国际和国内的市场竞争力，完成苹果分级的机械化、高效化、智能化，系统化。为分级后的营销与购买者的购买产生更多的便利。

1.2 机器视觉的研究现状

机器视觉建立于计算机技术的发展之上的，其是采用计算机来实现对三维实物的认知。先通过摄像头得到三维实物的影像数据，接着再利用计算机视觉系统把影像数据转换为二维或三维矩阵，然后再进行矩阵运算完成自动处理功能。其表现出检测效率高、客观因素强、检测准确率高的显著特点。目前，机器视觉研究产生的成果已广泛应用于工业制造、农业的种植与采摘、医学机械的自动化诊治等领域，并取得了巨大的经济效益。随着机器视觉技术的进步，越来越多的研究学者将其应用到农产品的生产和种植中，并取得了大量研究成果。国外在上世纪 80 年代开始机器视觉就开始在蓬勃发展，在上世纪90 年代提出了新理论，新想法并开始有了诸多的实践。像美国的康耐视（Congnex）公司、美国的菲力（Flir）公司日本的基恩士（Keyence）公司在几十年的发展中在机器视觉领域已经有了众多的专利应用工具并且对公司带来了巨大的经济效益。而国内在本世纪初引入机器视觉的概念以来，虽然对机器视觉已经有了大量的研究成果与专利发明，但其一直处于不温不火的宣传和学术状态，导致西方的技术实践水平还是普遍高于中国。并且国内机器视觉技术存在产品质量较差、技术含量偏低，市场竞争力不强等诸多问题。在不断完善和赶超西方的路上，国内的机器视觉在医疗业、服务业、农业等方面开始有了大量的实际应用。但其在农作物分级领域尤其是在苹果的分级领域的研究在国内的起步时间较晚，实物成果较少，商业化程度不高，且可学习程度较差，因此基于机器视觉的苹果系统分级有着相当大的研究空间和研究价值。

1.3 深度学习算法的研究现状

深度学习的概念由 Hinton 等人于 2006 年提出，其前身为神经网络，在2016年 DeepMind 公司所开发的 AphaGo 击败围棋世界冠军李世石之后，深度学习这一概 念才渐渐的被人所认可。随着深度学习的发展，人们通过使用深度学习方法，能够更有效地处理机器翻译、语音识别、图像分类以及自然语言处理等机器学习类问题。

深度学习具有强大的学习能力，它已经成功地应用于多种模式分类问题，并且相比于经典的机器学习方法，深度学习在识别精度以及识别效率上有很明显的提升。虽然这一领域尚处于起步阶段，但深度学习的发展对人工智能和机器学习领域无疑会产生广泛和深远的影响。

在深度学习兴起之前，多数模式分类、回归等机器学习方法为浅层结构算法，这些算法的局限性在于：在有限样本和计算单元的情况下，对复杂非线性函数的表示能力有限，针对复杂分类问题的泛化能力有一定的缺陷。而深度学习可通过深度网络学习一种深层非线性网络结构，能够实现表征输入数据分布式表示、复杂函数逼近，并且体现了从小样本数据集中学习本质特征的强大能力。2

第十二届云南省大学生课外学术科技节参赛作品

目前存在的深度学习算法有卷积神经网络（CNN），FastR-CNN与Faster-RCNN 算法等。本文采取准确率较高的 Faster-RCNN 算法1.4 苹果分级的研究现状

Bhatt 等[40]建立基于机器视觉和人工神经网络的苹果分级系统,其具有较好的性能。杨小青[41]等利用像素点变换法计算苹果的表面积以及着色比,依据此来判断苹果 等级。黄兆良等[42]经过在苹果 RGB 图像上进行阙值分割,之后采用超红—超绿阙值分割来计算苹果的着色面积,最后分级准确率达到90%以上。邱光应等[43]把果梗花萼以及缺陷的色、纹理及形状作为特征,使用决策向量机进行三者区分,最终识别正确率达到 97.7%。

随着社会生产水平的的进步与其相应的人力成本的提升，水果机械分级代替人工分级成为一种趋势。当前中国机械分类于较低水平，中国现有的机械分类系统主要通过滚杠式、辊式、滚筒式、条带型、挡板式等五种机械式分类法完成，分级类目也很少，系统移植性差，而机械式果蔬分类机也只是识别果蔬的种类，而没有识别果蔬的外观特征及内在质量差别，所以也只是一个比较粗糙的机械分类系统。

数字图像处理是上世纪 60 年代兴起的计算机学科随着硬件成本的下降与技术的突破，在 70 年代取得迅速的发展 70 年代初，以图像处理技术为核心的机器视觉被应用于农产品分级，在农产品分级中，苹果分级因苹果庞大的市场而受到关注，当前苹果分级研究主要围绕大小分级、颜色分级和缺陷分级进行。而市场上目前的基于机器视觉的苹果分级装置并没有出现，但相同类型的草莓，西红柿，杨梅等的分级装置的出现所产生的经济效益正刺激着苹果分级装置的研究与落地。

1.5 本文研究的内容

基于以上对机器视觉、深度学习算法和苹果分级的研究现状的分析，国内目前缺少一种可进行深度学习的机器视觉设备来进行苹果的系统分级。因此本文将基于苹果的图像获取、处理、上传、数据库的搭建，以及识别和深度学习算法等几个部分展开深入研究。具体的研究内容如下：

一、绪论。提出本文研究背景与其意义，通过对机器视觉和苹果分级的研究现状进行分析，从而提出本文的研究内容。

二、苹果图像的采集及预处理。首先进行苹果图像采集系统的搭建，搭建完成后，通过摄像机对苹果图像进行采集，进行测试，调试搭建的图像采集系统。测试完成后对采集的苹果图像进行预处理，以便图像的后续处理工作。三、图像的自动上传和数据库的搭建。对预处理完成的图像通过计算机完成自动上传。在云端完成图像数据的进一步处理，将图形信息解析为二维数据。解析完成后将数据进行记录形成深度学习算法可理解的训练数据库。四、果径、果形，果色的特征参数以及深度学习算法。基于已经产生苹果的三维轮廓数据，使用已经产生并已经发展成熟的 MATLAB 软件对苹果的图像数据进行处理形成苹果果径和果形的参数特征。苹果颜色是将RGB 模型使用算法转化为HSV 模型，从苹果的 HSV 模型中获取苹果颜色的特征参数。最后利用多分类SVM分类器对苹果进行分级。将之前获得的果径、果形，以及果色等的数据输入SVM决策树的模块，再利用分级模式将水果分成特等果、一等果、二等果和等外水果。3

第十二届云南省大学生课外学术科技节参赛作品

最后将产生的所有数据送入 CNN 算法中进行机器视觉的深度学习。至此此完成系统分级。

五、总结与展望。对本文的研究做出总结，对之后的研究方向做出展望。本文的研究路线如图 1.1 所示

图 1.1 研究路线图

二、 苹果图像的采集及预处理2.1 引言

本章采用激光三角技术获得了苹果的三维运动轮廓图，并建立了由传感器、电脑、运动控制器、三维运动系统、CCD 镜头和激光器等构成的影像采集体系。该系统可根据苹果大小灵活调整激光入射角度，以实现对被测物图像的精准获取。图像采集系统扫描完苹果后，将图像传回计算机，计算机又对图像进行图像降噪、激光中心线获取和三维轮廓重塑等操作，实现图像的预处理。2.2 苹果图像采集系统的搭建

为适应工业生产高精度、高效率的生产要求，本文提出了如下图所示的闭环控制系统，实现了图像采集过程的自动化，高效化。获取高质量的苹果图像作为机器视觉检测中的一个重要环节，需要图像采集系统对被测物的位置进行精确感知，同时具有能克服外界干扰的良好抗干扰性。因此，需要将图像采集系统细分为如下图 2.1 七个部分：

图 2.1 图像采集过程

苹果图 预处理 数据上传 数据整合像

系统分析

MATLA HSVB

图 像 系

统搭建

果 色 参 数特征果径、果型参数特征测试

工位信息

CCD 摄像头 被测物体传感器检

测

计算机

发

指

令

三维运动平 激光器台

运 动 控 制

器

4

第十二届云南省大学生课外学术科技节参赛作品

其各个单元的主要功能为：当苹果处于输送带中，并被输送至感应器的检测区域里时，由感应器向电脑发出的工位信号，而当电脑获得了工位信号时，则由动作控制器发送指令，并由运动控制器触发三维运动平板开关，然后CCD 摄像机和激光器就被放置到了一个三维运动平板中，在三维运动平板打开的同时，CCD摄像机和激光器也开始了启动的工作，同时对苹果进行激光检测，在获得了苹果图片之后 CCD 摄像机把图像传回了电脑里，再进行对后续图像的降噪，进行激光光心提取等图像预处理工作后，就可以准确得到了苹果的三维运动轮廓立体图。2.3 苹果图像的采集

获取的三维轮廓图形技术可采用当前研究最多的全息干涉法，双目体视法，以及激光三角技术等。三种方法均采用非接触方法对苹果进行测试，避免检测时苹果表皮的接触损伤。全息干涉法技术主要用于检测表面较为粗糙的物质，其分辨率和精度都比较高，它也可以用于探测表面形状比较复杂的物质，不过因为其测量范围比较小，所以要求具有比较高的全息底片；双目体式技术则是利用了模仿人类双眼感应定位的方法，来实现对被测对象三维轮廓的测量，其主要技术特点采用了匹配技术在二个像素中分别寻找同名的一个点，不过由于寻找这样的一个点测量过程比较复杂，并且技术难度也较大，非常容易出现的技术问题；激光三角技术则主要是利用点光源或直接电缆对物质表面进行扫描，它解决了上述二项技术的不足之处，并且极大地提高了检测效果，其偏置面积较大，而测量范围又比较大，所以对于检出物质的技术要求较小，适应性好，而且测试系统结构简单，便利于后期维护，是一种高效率，快速，准确，适应性都很强的测量方法。综上所述，本文章将采用激光三角法对苹果的三维轮廓进行测量与构建。激光三角法可采用点激光或线激光，但点激光三角法速度慢、效率低，多用于小型物件的测量，所以我们采用线性激光三角法对图像采集进行分析。如下图2.2

图 2.2 线性激光三角法

激光光源原理是将点光源先通过镜头准直，然后再经过柱模板镜，使射纹向某一方向拉伸而产生线光源，将光源射到被检出物体上并被反射到CCD 摄像机的成像平面，由于在入射光和反射光之间形成了一个三角形，因此可以利用三角几何定理计算被测物体的相关系数。其中，根据入射激光线的角度又可将激光三角法分为垂直入射法和斜入射法。

5

第十二届云南省大学生课外学术科技节参赛作品

2.3.1 垂直如射法

入射光垂直于参考平面射入的方法被称为垂直入射法，如图2.3 所示：图 2.3 垂直入射激光三角法光路图

入射光 HO 被苹果表皮反射后经过透镜中心 Q，成像于CCD 成像平面。其中，H成像于 N 点，O 成像于 P 点，入射光源与反射光源之间的角度为θ，而反射光源与成像平面间的角度为α，按照与投影相关的三角几何学理论，可以给出以下关系式（1）：

式（1）

HO——物体高度信息

PN——H 点在 CCD 成像平面成像后的点与 P 点的距离OQ——O 点成像的物距

OP——O 点成像的像距

垂直入射法的激光光线垂直于参考平面投影在苹果面上，由于探测器主要接受太阳辐射的漫反射光线，因此入射光轴和接收装置之间的像空间的角度θ可以灵活选择，且测量范围很大，有利于检测表面粗糙度较大的物体，但对一些更复杂的曲面采用较小的角θ会大大降低分辨率和系统的准确性，而且还会存在盲点，因此我们要针对苹果形状选取适当的角度。

2.3.2 斜入射法

斜入射是指入射光线 HO 相对于透镜光轴 OQ 垂直射入，与参考平面和CCD成像平面形成一定的夹角，运用三角形相似定理求出苹果参数。具体光路图2.4 如下：6

第十二届云南省大学生课外学术科技节参赛作品

图 2.4 斜入射激光三角法的光路图

HO 与参考平面之间的夹角为θ，透镜光轴与 CCD 成像平面构成夹角α，根据三角形相似定理可得式（2）：

式（2）

HO——物体的高度信息

PN——H 点在成像平面成像后的点相对于成像基准点P 的距离OQ——O 点成像的物距

QP——O 点成像的像距

斜入射法中检测器主要接收镜面的反射光，所以要求被测物体的表面的粗糙度近于镜面，其分辨率高于垂直入射法，但当θ过大时会出现遮光现象。测量过程中我们应根据被测物的条件选取合适的测量方法。

2.4 对苹果图像的预处理

2.4.1 图像的去噪处理

该系统基于激光三角法搭建了一套三维轮廓检测体系，该体系中存在各种光电元件，这些元件较容易受外界因素干扰，例如：环境温度，外界光源，内部电路噪声等，这些因素会对构建的图像有不同程度的“污染”，因此，需要对图像进行去噪处理，提高图像质量。

图像去噪就是对图片进行滤波处理，过滤掉图像的噪声和干扰，复原图像细节。目前，过滤方法可以大致分为两类：一类是直接从图像所在的空域里对图7

第十二届云南省大学生课外学术科技节参赛作品

像进行处理，也就从图像所在的空域里对直接地对图像进行处理，也叫做空域过滤。另一个方法通过在信号的变换域中对信号进行间接处理，也称之为频域滤波。而本文所采用的维纳滤波器是属于空域滤波中的线性低通滤波，接下来将对空域滤波和线性低通滤波进行分析。

如图 2.5 所示，若假定存在着一个 3*3 的模板，（A）网格上所标注的是所在元素的灰度值，（b）所标的为模板系数，并使 K 零的位置与灰度值为S 零的像素重叠，则模板的响应 R 如下：

R=K0S0+K1S1+……+K8S8

然后把 R 值赋于 c 图形（增强图像）的对应部位，作为（X，Y）位置上的灰度值，对原图上的每一点都做了这样的运算后，就能够得到各点的灰度值。图 2.5 3*3 模板图

空间滤波又分为了线性滤波和非线性滤波，线性滤波一般采用傅里叶映射的方式，而非线性则一般可以采用直接对邻域实现方式。另外，根据特性的不同，空间滤波器又可以分为了平滑滤波器和尖锐化滤波器。平滑滤波器一般采用低通实现方式，能消除或减小傅立叶空间的高频分量，不增加低频分量。而尖锐化滤波器则一般采用高频化实现方式，能消除傅立叶空间的低频分量，不大减少高频分量。但由于噪声也往往集中于高频部分，因此所采用的滤波器也必须能对图像的高频部分实现平滑处理，因此只能采用平滑滤波器才可以满足这一特性。维纳滤波器也是一种很常见的线性平滑滤波器，它能够利用信号的局部方差来调整滤波器的输出值。且如果局部方差越高，那么维纳滤波器的平滑性能也就更好。2.4.2 中心点的获取

由于激光光线射在被测物表面是一条从中心线向两侧光线逐渐变暗且具有一定宽度的激光线，因此它呈在 CCD 摄像机上会横跨几个甚至几十个像素。为了提高测量结果的精度，就必须进行中心点的提取。本文将采用最小二乘曲线拟合的方法对激光中心点进行提取。

最小二乘曲线拟合法是利用通过比较邻近的感光器件所检测到的发光强度，进而利用插值来恢复发光强度的连续分布的方式。先用重心法确定激光线的中心阀值线，再找到这条直线的每个点的光强位置，然后再利用最小二乘曲线拟合这些点，并求得一个光强分布曲线，最后再对这个分配曲线求上确界点，而这个上确界点即是激光线的光心。

8

第十二届云南省大学生课外学术科技节参赛作品

2.4.3 三维轮廓的重建

苹果将经过扫描后所得到的图像数据在输入计算机之后，再进行图像处理就能够得到一些数据点，然后再利用这种数据点就能够构建出一个三维数据点，然后再利用这些三维数据点就可以实现了对物体三维图像的再现，进而复原了物体的三维形状。三维重建的技术,一般分为直接体的技术和对表面信息的科学计算可视化技术。

直接体绘制法又称体素重建法，在计算机模型中，对象体是以体素为基本构建单元，体素可以是球体，柱体等的基本几何体，但在直接体绘制方法中一般为立方体。该方法的三维重建过程为：先将切片图像重叠，只要切片图像的层距够小，则切片图像上的每个像素都可以扩展为空间中的一个小立方体，该立方体就是体素，然后再把所有体素合起来就就构成了三维体模型。提取物体表面数据的科学计算与可视化方法称为表面重建法，利用对物体的表面建模技术来进行对物体三维结构的重构，其好处在于能够通过高度成熟的电脑绘图技术对物体表面进行消隐、光照、剪切等运算，同时也因为数据量较小，计算效率迅速，而且拥有非常完善的软硬件技术。

三、图像的自动上传与数据库的搭建3.1 引言

在中国日益发展的进程中，随着数字图像处理技术的不断发展，计算机处理视觉图像算法速度的显著提高以及计算机视觉图像处理技术的其他诸多优势，通过摄像机激光三角法将以采摘的苹果三维轮廓预处理高清图像进行压缩之后，无线自动上传云端，计算机视觉图像处理相关技术可以将图片信息解析成二维或者三维矩阵数据，解析后的数据做好相关记录形成深度学习算法可理解的训练数据库，为后续计算机深度可执行性算法提供最基本的数据基础。3.2 图像的自动上传

3.2.1 苹果预处理高清图像的压缩

在在日常生产生活中研发相关人工智能需要用到图像，但一般利用数码相机或扫描仪获取的苹果图像都较大。如果直接将这样的图像上传到服务器端，在上传和下载过程中会消耗很多时间，同时也会给服务器带来很大的负担。实际应用中，在网上传输的图像都不宜过大，为了达到目的，采用对图像上传前用图像处理软件 Photo shop 等自动处理生成图像相应的缩略图，然后再上传到服务器的方法，这样处理显然增加了工作量，对处理大量图像的场合不适用。利用后台管理程序把原图自动生成缩略图并上传到服务器的程序系统在这样的场合显得非常必要，这样缩略图的生成和上传在一段程序中同时进行，既减轻了网站后台管理人员的工作量，同时也提高了工作效率。

3.2.2 预处理高清图片压缩的思路

9

第十二届云南省大学生课外学术科技节参赛作品

基于 windows 系统上的 Net Frame work 提供了一个GDI+(graphics deviceinterface+）的图类库，该类库通过直接基于三维苹果的分层模块化设计方法，能够提供一个简单、实用的图形系统实现方法。在 System·Drawing 的空间中，就包括在能够制作、编辑图片的各种类型中，使用了这种图片功能的类型，就不需要再通过第三方控件来进行图片工作，因此这些都可以具备强大的性能来进行一些图像处理。该方法的格式和参数如下：

Graphics Draw Image

它可以在指定位置按苹果指定大小绘制指定的 Image 对应苹果的指定部分，其中，Image 代表要绘制的苹果图像； des Rec tangle 表示一个Rec tangle结构，它指定所绘制苹果图像的目标位置和大小，并将苹果图像进行缩放以适合desRec tangle 表示的矩形； src Rec tangle 也表示一个Rec tangle 结构，它指定 Image 苹果中要绘制的部分；Graphics Unit 指定 sie Rec tangle 参数所用的度量单位，文中以像素 Pixel 为单位。

3.2.3 图像自动上传的实现

要得到苹果高清图像的缩略图，可通过调用 Graphics 类的Draw Inage方法对已有图像进行重新绘制来达到目的，方法如下：

（1）利用上传文件控件 File Field 获取原苹果图像文件并通过该文件生成三张三维原苹果图像；

（2）新建三张位图，其位图大小与要生成的缩略图大小相同;

（3）利用上面的位图创建 Graphics 对象，设置 Graphics 对象的插值模式为高质量插值法。

（4）设置 Graphics 对象的平滑模式为高质量平滑程度。（5）利用设置好的参数调用 Draw lnage 方法在指定的位置重新绘图，生成缩略图，然后上传到云端服务器。

3.3 云端的数据记录

3.3.1 压缩图像浏览技术原理

在上传到云端服务器的三维苹果图像的标准与三维源文件的格式大相径庭，所以将源文件转换为浏览器中显示的图像是一个复杂的过程。无论文件格式如何转变，其内部的核心元素即为它的基本几何体的表示信息。只要导出关键的基本几何体信息，就可以将这些元素进行重构，将几何体的元素导入web 开发中，进而在浏览器中表达出来。

3.3.2 云端服务器几何数据的记录

对于任意 3D 物体，其构成元素都是顶点、边和面三种图形。为了完整表示几何体的信息通过云端的解压服务系统，将上传的三维高清图像按原比例解压，按照原高清图片的相关数据参数记录几何数据。它能确定三维模型在欧式空间中的位置与大小，比如顶点的坐标、边的方向矢量的法向量。点、边、面各个元素之间可以互相转换。

10

第十二届云南省大学生课外学术科技节参赛作品

3.4 苹果三维立体数据库的搭建

用于描述三维立体中苹果形体的构造方法，即在某三维形体上不同成分之间的互相联系。如层次关系、连接数据等，在源文件中可以找出与此相关的有效数据格式。以常用三维模型文件格式 STL 为后缀的文件源码为例：3.4.1 点、线、面的信息提取

设 V3n -2(X3n-2, Y3n-2,Z3n-2), V3n-1( X3n -1,Y3n-1,Z3n-1）和V3n (X3n,Y3n ,Z3n）分别是第 n 个三角面片三个顶点的坐标，集合V ={V1 ( x1, y1 ,z1),V2 ( x2 ,y2,z2),…… V3n (x3n,Y3n,z3n)}是包含该几何体所有顶点的点集。集合 P ={p 1( a1 ,b1, c1 ), p2 ( a2 , b2 ,c2),……, pn( an , bn, cn )}是包含该几何体所有法向量的向量集。

从根据集合和三角面片的个数为 n ，可推算出三维立体图像的全集合E。由此，可以归纳出该源文件中所有的点、线、面信息，从而可以构造出原苹果的三维模型。

3.4.2 点、线、面的信息导出

提取出所有的数据后，我们需要重构新的文件。按照Three . js 的语法规则，生成可以在线显示该模型的代码。根据上述中集合V ，集合P 和集合E所包含的三维文件新中，可以在 Three . js 中使用以下集合数据来定义3D 模型的文件信息： V1( X1,Y1,Z1), V2 ( X2,Y2,Z3 ),V3n(X3n,Y3n,Z3n),其中每个三元组（ XK , YK , ZK ）表示一个顶点坐标值。

四、果径、果形，果色的特征参数以及深度学习算法4.1 引言

鉴于预处理部分已经产生了苹果的三维轮廓数据与RGB 模型，将用作参照物的 20 个三维轮廓图像导入 MATLAB，使用 MATLAB中已有的regionprops 函数获取数据，从而得出苹果果径和果形的特征参数。果色的特征参数则将RGB 模型使用算法转化为 HSV 模型，从 HSV 模型中获取苹果的果色特征参数。利用多分类SVM分类器对苹果进行分级。将之前获取的果径、果形，以及果色特征等参数都送入了 SVM 决策树的分级模型，通过分级模型可以将苹果分为特级果、一级果、二级果和三级果等。最后将判断得到的所有数据导入深度学习算法CNN 中进行深度学习，完成苹果系统分级的自动训练。

4.2 果径、果形，果色特征参数的获取MATLAB，是由美国 MathWorks 集团在上世纪七十年代开发的一种应用软件，至今已近运行并不断更新了数十年，该应用软件是面向科学计算、可视化和交互式编程的高科技计算环境。它把统计分析、矩阵运算、科研数据可视化和复杂非线性动力学体系的建模与仿真等一系列强大能力融合到了一种容易应用的视窗平台上，为科研研究、设计以及必须开展的高效数运算工作创造了一个更加完善的平台。对于苹果果径和果形的特征参数的获取就采用此软件。11

第十二届云南省大学生课外学术科技节参赛作品

对已经得到的苹果的三维轮廓图进行随机选取，选取20 张图像作为参照物的样本图像。将 20 个苹果分别使用游标卡尺测量这些苹果的实际果径大小,并进行编号,将图像导入 MATLAB 中。使用 MATLAB 工具可以求取每个苹果图像的外接最小矩形框，并利用该软件中已有的 regionprops 函数计算图像区域的属性信息，并读取矩形的长、宽数据，以长、宽中的最大值为果径的数值。最后把MATLAB系统得径和实际直径进行对比,得到两者的绝对误差,结果如表4.1 所示。结果表明,只有两个样本的绝对误差超出±2.0mm 范围,其余绝对误 差都在±2.0mm 范围以内,符合苹果的大小分选标准。最后将苹果三维轮廓图经过边缘化处理后得到苹果的轮廓数据其果形的特征函数。

样本编号 系统值/mm 实际值/mm 绝对误差/mm

1 68.00 67.66 0.34

2 62.90 62.38 0.52

3 62.90 63.21 -0.31

4 62.56 62.02 0.54

5 66.30 66.42 -0.12

6 65.62 65.38 0.24

7 67.32 66.35 0.97

8 72.76 73.80 -1.04

9 74.80 75.12 -0.32

10 78.20 78.52 -0.32

11 76.16 78.56 -2.40

12 73.44 75.26 -1.82

13 82.28 82.60 -0.32

14 71.40 72.62 -1.22

15 68.68 68.38 0.30

16 77.52 78.00 -0.48

17 67.32 68.31 -0.99

18 68.34 68.92 -0.58

19 77.86 78.56 -0.70

20 72.42 73.65 -1.23

表 4.1 苹果果径系统值与实际值测量结果表对于苹果果色特征参数的获取将采集的苹果图像选取4.1 三维轮廓图对应的20 张，将其 RGB 模型利用算法转化为 HSV模型。得到H（色调、色相）、S（饱和度、色彩纯净度），V（明度）将其需要的红色占比的数据作为苹果果色的特征参数。下式（3）是把 RGB 模式转换成 HSV 模式的算法，图4.1 是苹果在RGB 和HSV模型下各分量图：

max=max(R,G,B);

min=min(R,G,B);

V=max(R,G,B);

S=(max-min)/max;

if (R=max)H

=(G-B)/(max-min)* 60 ;

12

第十二届云南省大学生课外学术科技节参赛作品

if(G=max)H=120+(B-R)/

(max-min)*60 ;

if(B=max)H=240+(R-G)/

(max-min)* 60 ;

if(H<0)H=H+360;

式（3）

图 4.1 苹果在 RGB 和 HSV 模型下各分量图

4.3 SVM 决策树分级模型

SVM 模式[29，43]本身就是根据二项式分类算法建立的，且它对小数据训练集中的分析作用相对于其他分类算法具有良好的效果。但因为该方法采用了多种特征参数，所以采用了多分类的 SVM 分类器对其进行了分类。按照表4.2 的水果分类方法，把水果分为特等果、一等果、二等果和等外水果共四大类型。采用SVM模型的四分评级方法一般需要三级 SVM 模型，该模型一般比较复杂，而且所需要的时间也比较长。故为减少该模型的复杂性，从而提升对苹果的评级质量，一般采取决策树＋和分类模型组合的方式进行对苹果评级。特征 特级 一级 二级果型 具有本品种的固有特性 允许轻微缺陷 有缺陷，但仍保持本品种的基本特征色泽 果面至少有 1/2 着红色 果面至少有 1/3 着红色 果面至少有1/5 着红色果皮缺陷 无 总面积不超过 1cm2 总面积不超过2.5cm2

表 4.2 苹果分级标准

设苹果图像中的三方面的特征都是η=[R,K,C],其果径和果形的特征参数设为一组η1=[R,K],设果色的特征参数η2=[C]为,将等外果的阈值设为η01=[0.6,0.5]和η02=[0.55] 。模型先对所有输入数据都作出等外果的判定，而在η1＜01 或η2η02 之后，系统将结果确认为等外果，而不再做后续处理并直接得出结论。当η1≥01 和η2η02 后,系统将其确认为等内果并进行了后续的分级管理。SVM 决策树模式,如图 4.2 所给出。

至此完成一次苹果的系统分级，将每一次分级产生的各种数据记录入数据库中，完善用于深度学习的训练数据库。

13

第十二届云南省大学生课外学术科技节参赛作品

图 4.2 SVM 决策树模型

4.4 深度学习算法

深度学习是掌握了信息的存在原理和表达层次，这种知识方法中得到的信息对于诸如文本，图形和语音等信息的理解有着重要的意义。它的最终目标，是使电脑可以向人脑那样具备了数据分析的功能，可以分辨文本、图形和语音方面的信息。而本文的目的则是希望让电脑能够分别了解苹果的果径、果形，以及果色的特征参数，从而提升对水果分类的准确度。

目前存在的深度学习算法有卷积神经网络（CNN） ，FastR-CNN与Faster-RCNN 算法等。CNN 存在参数过多、检测错误率高和训练速度太慢等众多问题。Faster RCNN 和 Fast RCNN 的差异,主要在于引进的是直接生成网络上RPN 候选框的模块。Faster RCNN 方法的优点比较突出，所以本项目就选择了Faster RCNN 方法开展对计算机的培训教学。

Faster-RCNN 的一个很简单的工作流程，先把输入信号进行压缩之后进入到折积层提取特征并得到特征图，接着再把特征图像进入RPN 系统并获取所有可能的特征候选框，随后再将最初始的特征图像和 RPN 系统输出的所有候选框进入到Roi Pooling 层，然后再获取特征并采集 proposal 数据，并计算出固定的7×7的 proposal feature maps，最后在全连接层上完成了目标定位的任务训练前文得到苹果图像后进行了图像数据并建立了训练数据库。在每次完成分级后都完善了训练数据库，将每次分级完成后的训练数据库中对应的数据在Faster-RCNN 算法中运行，完成计算机的训练学习，逐步完善并提高苹果系统分级的准确率。

五、 总结与展望

η1η01

and

η2η02

样本

等外果 等内果

SVM1

特级果 次级果

SVM2

一级果 二级果

η1<η01

or

η2<η02

14

第十二届云南省大学生课外学术科技节参赛作品

基于机器视觉以及深度学习的苹果系统分级，在国内起步较晚。针对目前苹果分级不能市场需求的现状。本文基于三个主要的方面论述了在图像采集、图像处理、数据上传、特征参数的获取和深度学习算法等方面的具体实施操作。其具有较高的可行性。其可以提高分级准确率的特性，具备较高的实用价值和巨大的商业前景。

因为苹果分级标准的不同与人民生活水平的不断提升。今后的研究方向不仅仅局限于苹果三方面的特征参数，可以朝苹果纹理、疤痕，甜度等更加具有象征性的方向进行深入研究。同时为了符合市场需求可以在苹果的系统分级设备方面进行研发和改进，解决国内缺少苹果自动分级设备的问题。参考文献

[1] 张放.近十年全球苹果生产变化简析[J].统计分析，2021.38(01):24-33.

[2] 朱虹. 机器视觉及其应用(系列讲座) 第三讲 图像处理与分析-机器视觉的核心[J]. 应用光学, 2007, 28(1): 121-124. [3] 朱云. 机器视觉技术研究进展及展望[J].图学学报，2020,41(6):871-890.

[4] 卞正岗. 机器视觉技术的发展[J]. 中国仪器仪表，2015(6):71-75.

[5] 成文. 基于机器视觉技术的机械制造自动化技术应用研究[J]. 科技展望，2017,27(4)：260.

[6] 王风云，郑纪业，唐研，等. 机器视觉在我国农业中的应用研究进展分析[J]. 山东农业科学，2016,48(4):139-144.

[7] 宋春华. 机器视觉研究与发展综述[J].装备制造技术，2019(06):213-216.

[8] 马垚. 基于机器视觉的苹果定向和分级方法研究[D].江南大学，2017.

[9] 周文举. 基于机器视觉的在线高速检测与精确控制研究及应用[D]. 上海大学, 2014.

[10] 汤强晋. 激光三角法在物体三维轮廓测量中的应用[D]. 东南大学, 2006.

[11] 张涛, 刘玉婷, 杨亚宁,等. 基于机器视觉的表面缺陷检测研究综述[J]. 科学技术与工程, 2020.

[12] 南卓江, 陶卫, 赵辉. 激光三角测量技术的应用与前景[J]. 自动化仪表, 2019, 40(12):5.

[13] 孙有春, 庞亚军, 白振旭,等. 激光三角测量法应用技术[J]. 激光杂志, 2021

[14] 许光宇. 非局部图像去噪方法及其应用研究[D]. 合肥工业大学, 2013.

[15] 常文慧. 基于计算机视觉的三维轮廓重建[D]. 北京工业大学. [16] 张国伟. 基于小波变换的图像去噪方法研究. 昆明理工大学, 2014.

[17] 张小波. 基于维纳滤波的图像去噪算法研究[D]. 西安电子科技大学. [18] 姜海洋.高清图像数据实时记录系统研究[D].中北大学，2019.

[19] 刘 波 , 张 鸿 宾 , 王 靖 . 三 维 图 形 数 据 的 压 缩 与 网 上 浏 览[J]. 计 算 机 工 程 与 应用,2004,28:44-45．

[20] 蒋燕萍,夏旺盛,黄心渊.几种 Web 3D 技术的比较[J].北方工业大学学报,2003(1):21-25．[21] 卞敏捷，高珏，高洪皓，许杰品,Web 3D 可视化技术的研究与应用[J].计算机技术与发展,2015(6):141-144.

[22] 郑华,宿景芳.面向 Web 的三维模型生成与处理技术[J].现代电子技术,2015,24:83-86.

[23] 董蕊.Photo Shop 软件在图像处理中的应用思考与实践[J].电子测试,2014,(22):107-109．[24] 任龙龙.基于 MATLAB 图像处理的苹果大小、颜色、圆形度及缺陷度特征融合分级研究[J].数字技术与应用,2021,39(7):90-95.

[25] 中华人民共和国农业部. NY/T 1793¬2009. 苹果等级规格[S]. 北京:标准出版社,2009. [26] 刘越,石翠萍,牟春苗.基于 MATLAB 的苹果表面缺陷研究[J].信息通信,2022,22:50-52.

15

第十二届云南省大学生课外学术科技节参赛作品

[27] 程荣花,马飞,石梦.基于 HSV 颜色特征的苹果病斑点检测系统设计与实现[J].2014,河南科学,32(8):1483-1485.

[28] 邱光应,彭桂兰,陶丹,等.基于决策树支持向量机的苹果表面缺陷识别[J].食品与机械,2017,33(9):131-135.

[29] 李 荣 雨 , 程 磊 . 基 于 SVM 最 优 决 策 面 的 决 策 树 构 造 [J]. 电 子 测 量 与 仪 器 学报,2016,30(3):342-351.

[30] 楚瀛，田淞，张桂林等. 基于图像边缘特征的前景背景分割方法[J]. 华中科技大学学报(自然科学版). 2008，36(05):2023. [31] 刘华玲, 马俊, 张国祥. 基于深度学习的内容推荐算法研究综述[J]. 计算机工程, 2021,

47(7): 1-12.

[32]FuChen Chen,Mohammad R.Jahanshahi. NB-CNN:Deep Learning-Based Crack DetectionUsing Convolutional Neural Network and Naive Bayes Data Fusion[C].IEEE Transactions

OnIndustrial Electronics,2018:4392-4400.

[33] R. Girshick, “Fast R-CNN,” in IEEE International Conference on Computer Vision (ICCV),

2015.

[34] S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards real-time object detectionwith region proposal networks,” in Neural Information Processing Systems (NIPS), 2015.

[35] 郑羽纶.基于图像处理的多特征融合苹果分级方法研究[D].河北:河北科技大学,2020.

[36] 于 蒙 , 李 雄 , 杨 海 潮 . 基 于 图 像 识 别 的 苹 果 等 级 分 级 研 究[J]. 自 动 化 与 仪 表 ，2019,34(7):39-47.

[37] 周 晓 彦 , 王 珂 , 李 凌 燕 . 基 于 深 度 学 习 的 目 标 检 测 算 法 综 述[J]. 电 子 测 量 技术,2017,40(11):89-93.

[38] 余冬,冯云浩 ,李根池 等.机器视 觉在医疗 器械检测中 的应用与 展望[J].标准检测,2015:57-63.

[39] 谢 佩 军 , 程 越 . 缺 陷 检 测 系 统 的 图 像 预 处 理 分 析 与 探 讨[J]. 图 书 情 报 工作,2007,20(10):67-70.

[40]A.BHATT,D.PANT.Automatic Apple Grading Model Development Based on BackPropagation Neural Network and Machine Vision,and its Performance Evaluation[J].Ai &Society,2015,30 (1):45-56.

[41] 杨 小 青 , 党 宏 社 . 基 于 像 素 点 变 换 法 的 苹 果 颜 色 分 级 系 统 研 究[J]. 农 机 化 研究,2012,34(3):203-205+241.

[42]黄兆良,朱启兵.基于 RGB 颜色模型的红富士苹果表皮红色区域 检测[J].激光与光电子学进展,2016,53(4):64-70.

[43]邱光应,彭桂兰,陶丹,等.基于决策树支持向量机的苹果表面缺陷识别[J].食品与机械,2017,33(9):131-135.

16