MACHINE VISION 2023/05 3D 激光轮廓传感器助力 工业高精度测量 杭州海康机器人股份有限公司 王春茂 众所周知，机器视觉领域在过去的几年经历了 当物体相对激光轮廓传感器发生平移时，物体 如火如荼的发展；然而，在工业高精度测量领域， 沿运动方向的每一条轮廓都能够依次被传感器采集 2D 视觉并不能解决所有问题，于是 3D 视觉应运 和计算，从而能够动态恢复出被测物体的完整 3D 而生。 信息。在物体运动过程中动态扫描和采集的特性， 让激光轮廓传感器广泛应用于生产过程的在线式 海康机器人 3D 视觉专注于高精度测量和机 3D 测量。 器人抓取应用两个领域，已发布 3D 激光轮廓传感 器系列、RGBD 立体相机系列和机器人 3D 视觉引 精细的产品设计 导平台软件。其中，3D 激光轮廓传感器是经过多 年打磨在今年 4 月份召开的海康机器人机器视觉 新品发布会上隆重推出的新品，包括 DP2000 和 DP3000 两个子系列。 激光三角测量原理 一款好产品，必须经过仔细地设计雕琢，才能 够确保产品品质，海康机器人激光轮廓传感器也是 激光轮廓传感器采用线激光三角测量的原理 如此。 获取被测物体的 3D 信息。首先，激光轮廓传感器 向被测物体投射精细的激光线，激光线在物体表面 首先，405nm 超均匀精细蓝光，保证了激光 反射形成凹凸的轮廓线；然后，轮廓线经过镜头在 轮廓线的精准提取。其次，定制化的大孔径大光圈 Sensor 组件进行成像，被激光轮廓传感器所采集； 镜头，光通量相当于普通镜头的 4 倍，保证了极高 再者，传感器的处理单元按照三角测量的原理计算 和恢复出激光轮廓线各点的深度信息。这一原理又 被形象地称为“光切法”或“光刃法”。 51

PRODUCT\&TEK 产品与技术 的 MTF 解像力。第三，高达 90db 的高灵敏度、 激光轮廓传感器秉持简单易用的设计原则， 高动态范围的专用 Sensor，确保在极端复杂场景 对外提供丰富的数据接口，可以输出轮廓数据、点 也能实现良好成像。第四，通过莎姆光学设计，做 云数据、深度图、亮度图等。同时兼容多种触发模 到全量程范围内的成像清晰。精细的光学装调，激 式，支持差分编码器触发输入，支持行触发、帧触 光、镜头、Sensor 完美协同，共同保证了激光轮 发，行 + 帧触发的应用模式。通过 SDK 可以非常 廓传感器的高质量成像。最后，激光轮廓传感器采 方便地集成激光轮廓传感器到第三方软件框架，海 用内置算力的一体化设计，相机内置高速处理单元， 康机器人提供 C/C++、C#、Python 三种语言版本 处理速度最高可达 19KHz/s。 的 SDK，以及包括主流视觉分析软件在内的 10 多 种集成使用示例，便于用户的二次开发。另外，在 强大的算法处理 配套的客户端软件中，深度图调参支持一键调试， 并且提供 IO 信号监测工具，便于现场快速调试和 在精细设计的硬件基础上，还需要配备强大的 部署。 算法处理，才能让激光轮廓传感器的性能更卓越。 对于线激光三角测量来说，核心算法在于轮廓线中 心点的提取，高鲁棒性的提取算法可以使传感器轻 松应对各种复杂场景；在中心点提取算法的基础上， 进一步结合亚像素超分辨处理算法，能够将提取精 度提升至 0.05 像素，从而提升传感器的 Z 轴检测 精度。 作为标准化的工业产品，激光轮廓传感器需要 VM 平台，助力方案搭建 应对各种材质的 3D 数据采集，宽动态处理算法能 够对不同反射率的材质采取不同的曝光参数，再进 海康机器人为广大客户提供了性能强大的视觉 行融合处理，从而让传感器能够同时应对高反材质 分析算法平台软件——VM。目前，激光轮廓传感 和吸光材质的轮廓提取；在应对金属表面时，反光 器的 3D 视觉分析已适配到 VM 框架下，具备 50 干扰会导致中心点提取错误，尤其是类似螺纹、插 多个 3D 算子功能，并且在持续增加。同时在方案 针一类具有多个金属面的杂光，而抗反光算法则能 搭建过程中，还可以复用 100 多个 2D 算子。VM 够有效降低这一影响。激光轮廓传感器采集的 3D 软件 3D 版本已广泛用于 3D 图像处理、 3D 测量、 数据，通常要经过进一步的后处理才能够更好地进 3D 定位和 3D 缺陷检测等应用中，为锂电、汽配、 行算法分析，海康机器人在传感器端内置了丰富的 3C 等行业用户搭建 3D 视觉方案提供便利。 后处理算法，包括空间滤波、时域滤波、空点填充、 双向插值、边缘延拓等，方便客户选用，并且不占 用主机的 CPU 资源。 52

MACHINE VISION 2023/05 3D+AI，应用广泛 See You in 2023 锂电行业持续的产能提升，对自动化提出了越来越高的要 与您相约 求，3D 视觉主要应用在电芯段，具体包括电芯入壳前的极耳 焊接缺陷检测，入壳后顶盖焊缝尺寸测量、周边焊接缺陷检测、 2023年7月11-13日 顶盖尺寸测量，注液完成后密封钉偏位检测、焊接缺陷检测， 以及电池包组装前的外观六面检测。以方壳锂电池的六面检为 July 11-13,2023 例，划痕、凹坑、鼓包等一系列缺陷都会对电池的后续使用造 成安全隐患，所以成品电芯的质量检测必不可少。但是，划痕 上海 的规格不易量化，并且 3D 成像容易受外壳表面擦痕的影响， 视觉方案极易产生误判，从而最终影响成品电芯的良率。而且 Shanghai 电芯包膜工序节拍要求高，对于 3D 视觉检测带了极大的挑战。 针对以上难点，海康机器人采用 3D+AI 相结合的解决方 案，具体来说，针对激光轮廓传感器的亮度图进行深度学习训 练，采用 AI 算法给出划痕的候选区域，再进一步映射到轮廓 传感器的深度图，计算每个划痕的深度，从而能够筛选出需要 检测的 NG 样品。3D+AI 的创新方法，不但满足了方壳锂电池 六面检的需求，而且可以达到 0 漏检、低误判、高效率的检测 效果。 除了电池六面检之外，激光轮廓传感器已经在顶盖尺寸测 国家会展中心（上海） 量、顶盖防爆阀平整度检测、顶盖焊缝检测、Busbar 焊接缺 National Exhibition and Convention Center 陷检测等应用中取得不错的效果，完整覆盖了锂电电芯段全部 工艺的 3D 应用。 Shanghai 随着 3D 视觉技术的不断进步，3D 视觉产品会应用在更 中国（上海）机器视觉展暨机器视觉 多领域，比如，在汽配行业，3D 视觉可集中应用在精密器件 技术及工业应用研讨会 测量、插针检测和密封件检测中；在 3C 行业，3D 视觉可集中 应用在消费类电子产品的平整度、共面度、缝隙宽度和段差尺 China Shanghai Machine 寸测量中。海康机器人 3D 视觉将为各行各业生产质量提升保 Vision Exhibition And Machine 驾护航。 Vision Technology \& Application Conference 53

PRODUCT\&TEK 产品与技术 如何克服边缘视觉的带宽限制 广州虹科电子科技有限公司 李新明 150GB/s 或 gb /s 的带宽。我们在接口上确实取得 了一些进步，我们的带宽速度越来越快。但挑战仍 然存在，即使有链接聚合也很难能跟上传感器的发 展速度。最后，电脑的性能水平也存在问题，GPU 和 CPU 的性能远远落后于其他领域。 边缘视觉是指一个相机连接到一台边缘计算机 / 嵌入式计算机，然后在云端进行处理或存储。同时， 我们也做一些机器控制。客户反馈，1 GigE 相机的 一个输出已经不够用了，仅能把它连接到 PLC。我 们需要相机的第二个 1 GigE 的输出通道，以便将 图像数据传输到云服务器。 也就是说，如果我们的解决方案是用高分辨率 的高速传感器，我们有很多瓶颈，一个是我们已经 讨论过的摄像头接口，然后是 GPU 和 CPU 的桥接 接口，还有 CPU 的负载或处理能力。最后，计算 机上送云端的带宽在最好的情况下才能达到 1G。 我们整个行业都在追求更多像素，更高帧率、 如果我们有多个摄像头，情况会变得更糟。 以及更高的空间分辨率和时间分辨率。 假 如 我 们 有 多 个 10 GigE 相 机、CoaXPress 或 100 GigE 相机，以 100 GigE 相机为例，速度大 如上图所示，我们有很多的图像传感器，就是 概是每秒 96 千兆比特乘以摄像机的数量。然而大 棕色的那些点，点连接的线表示我们行业中常见的 多数情况下，我们电脑的最大带宽接口 PCIe 3.0， 典型接口，PCIe 3.0 是蓝色的线，CoaXPress v2 x4 其带宽也只有 48 千兆比特每秒，这是最关键的瓶 是红线。当图像传感器高于某条线时，这个接口的 颈之一。 带宽就已经不够去传输该图像传感器的数据了。 上 图 中 有 很 多 图 像 传 感 器， 带 宽 速 度 比 10 GigE、CoaXPress v1 快很多，甚至比 100 千兆接 口更快。这意味着图像传感器取得了巨大的进步， 可以提供 1 万帧、1 亿或更多像素和速度远高于 54

MACHINE VISION 2023/05 解决这个问题的方法是在多摄像头和 CPU 架 行图像采集和处理。创新架构将高端图像采集与使 构之间放置一个图像采集卡的设备。图像采集设备 用 Nvidia Jetson 的实时图像处理和 / 或压缩相结 可以做压缩以及预处理。举个例子，从图像提取一 合 ™ 在 Intel Arria 10 上具有可选预处理 / 压缩功 定区域的 ROI 进而减少总数据带宽。 能的嵌入式计算机 ™ FPGA。 实际应用中，对图像采集卡的需求有哪些？我 HK-Gidel FantoVision 的另一个显著特点是 们通常需要一个高带宽的相机接口、多相机接口、 其开放式体系结构支持 GPU 和 FPGA 上的嵌入式 超高精度的同步以及可定制的 IOs 来控制外围设 AI/ 图像处理。软件工程师可以使用 CUDA C/C++ 备。在处理过程中，需要能够实时并行处理，并且 和 NVIDIA 的库在 GPU 上编写他们的算法。此外， 需要低延迟、有一个大的 DRAM，从而计算复杂 使用新颖的 ProcVision 套件，在 FPGA 上开发和 的算法，因此我们需要很多个千兆比特每秒的内存 部署可选的预处理块既简单又快速。 访问带宽。实时压缩和 ROI 选择是一种很好的解 决方法。 多 个 HK-Gidel FantoVision 单 元 可 以 相 互 连 接， 以 提 供 独 特 且 可 扩 展 的 拓 扑 结 构。 使 用 对于系统开发人员来说，开发的便捷性也是关 InfiniVision™ 开放式框架抓取器流程，100 多个 键。一个开放的 FPGA 可以将一些特定的 IP 放在 传感器可同步处理。 图像采集卡上，例如通过 FPGA 的集成开发环境来 实现，快速实现算法和方案开发，所以图像采集卡 HK-Gidel FantoVision 为高带宽、低延迟应 需要满足灵活、易于使用的要求。 用的新型紧凑、经济高效、可扩展的视觉和成像 解决方案开辟了道路。例如需要高分辨率、高速 最后是系统集成方面，如果我们有一个 PCI 3.0 度的交通监测、面板检测等，可以提取和识别高 x8 或 x16 能获得最大的可用性能，并且具备小尺 分辨率图像中的关键信息，如车牌号码等。这些 寸和被动冷却性能。是否能将图像采集卡和计算机 信息可以通过云端或其他设备进行传输，而不需 合二为一？ 要过多的带宽。 具体而言，交通检测应用中有多个摄像机在拍 摄高分辨率图像，通过图像采集卡提取了 ROI 区 域甚至是车牌，在 GPU 上我们布署算法做车牌识 别，最后将识别的车牌号码传到云端上，从而不需 要很多带宽。 虹 科 有 相 应 的 产 品，HK-Gidel FantoVision 虹科是智能感知与机器视觉领域领先资源整合 40 是 一 款 开 创 性 的 小 型 计 算 机， 可 与 高 达 4 x 及技术服务落地供应商，为用户提供图像采集卡、 10GigE Vision 或 4 X CoaXPress 2.0 相 机 连 接 进 FPGA 图像处理和高带宽图像采集等服务。目前已 经陆续在国内完成了多家一线公司的汽车图像采 集、AOI、晶圆半导体检测项目。 55

PRODUCT\&TEK 产品与技术 可高速自动变焦的液体透镜 ——轻松应对景深迅速大范围变化需求 上海酷聚科技有限公司 李昕阅 引言 传统的调焦过程由一系列焦距固定的透镜组 型液态透镜的优势在于驱动方式可与传统的相机模 成，利用光学元件结合复杂的运动实现变焦，这一 组中的马达驱动相兼容，且所需行程相对更小。 过程需要对透镜组的运动轨迹精确控制。传统变焦 方案调焦速度慢、操作复杂、体积大 , 难以满足机 液体透镜与传统透镜性能对比 器视觉在电子制造或柔性产线中的检测需求。高速 自动调焦技术以极小的体积和便捷的操作实现了快 液态透镜有大屈光度工作范围，可快速响应， 速变焦功能 , 能够在毫秒级内轻松应对不同大范围 快速聚焦，适应不断变化的工作距离，是成像应用 景深变化需求。 的理想工具。液体透镜及传统透镜的参数特点对比 如下： 液体透镜技术路线 响应时间 传统透镜 液体透镜 液态透镜是含有光学液体的可调焦透镜。当电 对焦范围 流或电压驱动信号加载于液态透镜元件时，该光学 使用步进电机 毫秒级别 液体形状也发生变化，从而改变透镜的屈光度即改 成像质量 数秒到数十秒 变了焦距。 较大 迟滞 小 数毫米到无穷远 目前较为成熟的液态透镜技术主要有两种：第 尺寸 通常在几毫米 一种为电润湿液态透镜，基于电润湿原理的液态透 功耗 成像质量较好 镜，通过施加电压改变液体与介电层的润湿角来改 透过率 普通加工成像质量不高 成本不高 变液体界面的曲率，实现屈光度的变化；另一种为 工作温度 但成本较低 薄膜型液态透镜，使用外部机械力等驱动方式，对 极小 包裹有光学液体的弹性膜层施加压力，改变薄膜的 超精密加工成像质量好 不需要 形状实现屈光度的变化。电润湿液态透镜的优势在 但成本极高 机械位移空间 于仅需改变液态透镜的驱动电压，即可改变液态透 小于 2 毫瓦 镜的屈光度，不需要任何机械结构的位移，而薄膜 较大（受机械震动影响） >97% -30 to +85 需要机械位移空间 体积大 几十毫瓦 ＞ 97% -30 to +85 液态远心镜头的应用场景 带液态透镜的远心镜头集成了可调焦的液态镜 头，在快速调整工作距离的同时，在整个工作距离 范围内保持远心度、畸变和图像性能。对物体深度 56

MACHINE VISION 2023/05 进行检查时，仅需改变液体透镜的工作电压，即可 通过软件将单次拍摄的不同景深的 改变液体透镜的屈光度，从而改变远心镜头的工作 图片合成出一张全景深的图片 距离。带液态透镜的远心镜头的工作距离范围通常 在十几到数十毫米，且液体透镜的响应时间最快可 达几毫秒到几十毫秒，可在一秒内采集十几到几十 张不同距离下的图像，能够满足各类缺陷检测的工 作深度及采集速度的需求。由于无需机械变焦部件， 液体远心镜头在工作中也避免了机械运动会带来的 震动和可靠性等问题。 我们根据客户真实的使用场景搭建了具有 110mm 景深的模拟 demo，首先让相机在不同电 压下迅速完成不同景深的抓拍，再通过图像处理软 件将多张图片合成出一张全景深范围的图片。 结语 具有不同景深拼接完整酷聚 LOGO 的待测 demo 液态镜头能够以毫秒级的反应时间在近距离或 光学无穷远实现对焦，对于条码读取、包装分类、 安保和快速自动化等需要在多个位置进行对焦的应 用来说是一种理想选择，同时在半导体元件、PCB 检测、太阳能电池片、IC 芯片、激光蚀刻等工业 应用中发挥重要的作用。 APO 激光自动对焦模组 东莞市普密斯精密仪器有限公司 张自荣 普密斯科技深耕光学行业十余载，对精密测量 有着深刻的理解，将精益求精的理念融入产品 , 整合 光、机、电、算，2022 年推出 APO 激光自动对焦 模组 VP-LFS M8000 系列，这是一种用于光学系统 中实现自动对焦的设备，其优点在于快速、精准的 实现对焦，尤其适用于需要快速变换拍摄物体的场 景，例如移动拍摄、追踪拍摄等。同时，激光自动 对焦模组也可以通过外部接口与其他设备进行通讯 和控制，提高其应用的灵活性和可扩展性。 57

PRODUCT\&TEK 产品与技术 一般，自动对焦系统分两类，被动对焦和主动对焦。 被动对焦，最常见的是图像对比法，通过连续移 动镜头，分析各处的图像找对焦面。这种方法的优点 是成本低，无需额外增加硬件，常见的使用场合是数 码相机、手机摄像头等。缺点是对焦速度较慢，在特 定场合并不适用。 主动对焦，需要借助超声波、激光等辅助元件进 等领域。无论是在工业生产中的高精度激光加工， 行离焦量测量，适用于高速高精度的场合。 还是在科研领域的显微观测和实验研究，都能够 发挥重要作用，为用户提供快速、准确的对焦解 决方案。在实际应用中，也已得到广泛的认可和 应用。在精密加工、半导体制造、医疗器械等多 个领域得到了成功的应用，并取得了显著的效果。 VP-LFS M8000 系列工作原理是光斑的大小和形 IC ( 引导及检测 ) 状与离焦量、在对焦面上下位置有关。当光斑为右半圆， 晶圆基材 ( 引导及检测 ) 被测面在对焦面上方；当光斑为小圆点，被测面与对焦 面重合；当光斑为左半圆，被测面在对焦面下方。利用这 铜箔 ( 引导及检测 ) 个对应关系，可计算出离焦量，从而实现快速对焦。 液晶屏 ( 引导及检测 ) 系统特点： • 结构紧凑，将半导体激光器，光学系统，高速 信号处理模块、激光控制、运动控制，以及软件算法 集于一体对焦方式采用共轴对焦模式，有效解决对焦 时的遮挡问题； • 适配通用物镜，常用的 5X、10X、20X、50X 以及 100X 物镜均可适用；可以对处于静止或者实时 移动的多种类型的表面对焦如表面对焦、分层对焦等； • 对焦精度 um 级，对焦速度高达 6.5khz 级，具 有对焦精度高，对焦速度快，产品性能稳定可靠，可 以广泛应用于复杂应用及环境。 VP-LFS M8000 系列具有广泛的适用性。可以集 成到现有客户提供的显微镜系统中，也可以广泛应用 于显微观测实时对焦、精密激光焊接、精密激光切割 58

MACHINE VISION 2023/05 自研第三代万兆网图像采集卡 让万兆网替代 CameraLink 湖南迈德威视科技有限公司 陈斌 何攀 前言 万兆网工业相机出现丢帧有以下三个原因 为了解决万兆网相机在传输过程中，容易丢包 1、工业视觉软件 的问题，早在 2019 年，迈德威视就在全行业首发 了内置 ISP 功能的 4 口万兆网图像采集卡，从此将 主要查看图像空间等待可视化软件进行计算， 万兆网相机的图像传输稳定性提高了一个新的台阶， 是否存在缓冲机制，以增加图像缓存的缓冲时间， 在 7X24 小时的压力测试下，4 路万兆网相机配合 从而可以处理程序的操作。如果图像在稳定操作下 我司自研的万兆网采集卡，可实现图像“0 丢帧率”, 比 CPU 的整体处理速度更快地进入，则当缓存过 并且图像采集在电脑端的 CPU 占用率接近 0%。 载时，将发生帧丢失。 相 比 CameraLink 接 口， 万 兆 网 的 整 体 成 本 2、工业相机自身硬件 更低，普通超 6 类网线即可实现 100 米的传输，高 柔和坦克链线材配套产业链齐全，电脑端的 SDK 图像传感器首先将图像传送到工业相机的芯 和普通千兆网相机完全一致，没有复杂的采集卡配 片，然后传送到 PC。如果 PC 系统太忙而不能及 置过程，也无需单独的采集卡 SDK 调用，迈德威 时处理接收到的图像，并且图像传感器继续传送新 视发布的自研万兆网采集卡，将图像的传输稳定性， 图像，则工业相机必须有足够的存储器缓存，否则 提高到和 CameraLink 一个级别，让万兆网相机的 它将导致帧丢失。 使用性，像千兆网一样简单，万兆网工业相机现在 已经成为高速成像的主流。 3、PC 系统硬件 经过多年产品迭代和优化，迈德威视于近期将 这里的 PC 硬件驱动程序有偏差。对于 PC 机 发布第三代双口自研万兆网采集卡，成本进一步优 来说，最重要的事情是驱动程序的效率和 CPU 中 化，更加适合一台电脑同时带 1 到 2 个万兆网相机 内核模式的线程数。接收效率不高，工业相机没有 并且要求高稳定性传输的场合。 足够的缓冲存储器。帧丢失也会发生。 59

PRODUCT\&TEK 产品与技术 通俗来说，就是因为万兆网相机带宽非常高， 工业 4.0 时代，也被称为大数据时代、智能时代， 相对于千兆网提升了 10 倍，相比之前的 USB3.0 简单来说就是通过通信技术、虚拟网络和物理网络 也提升了一倍，因此，传统的传输方式，对电脑 的结合，实现制造业的智能转型。这是一个普遍的 的 CPU 要求非常高，一个普通的 I7 电脑，在接收 概念，这意味着几乎所有的行业都有可能在工业 4.0 一路万兆网图像时，单核的占用率可以到百分之 时代升级。 八九十，在 CPU 负荷很重的情况下，再加上系统 的多任务调度，就可能瞬间造成 CPU 无法及时响 在这个智能时代，机器视觉技术早已融入日常 应网络数据的传输请求，导致图像丢包、丢帧、丢 生活和工作，应用于各类行业，包括教育、工业检 行，迈德威视自研的采集卡，从源头上就解决了这 测、电子半导体、食品饮料、影像检测、生物技术 个问题。 和医疗科研等，为社会发展做出潜移默化的贡献。 了解万兆网采集卡 MV-CXG40 由迈德威视自主研发的万兆网采集卡解决了普 遍存在的工业相机丢帧丢行的问题，以绝对的优势 具备极低地 CPU 占用率，极高地稳定性，并 占据市场，那么万兆网采集卡究竟有什么优势解决 实现长距离地传输，从而替代 CameraLink 系统， 行业痛点呢？ 满足工业现场地应用条件， 迈德威视推出了国内 首 款 支 持 GigEVision 协 议 的 万 兆 网 四 口 CXG40 由于对工业精度的高要求，相机像素也随之增 卡，以及近期即将发布的第三代双口自研万兆网采 加，检测进度的提高也导致了数据的大幅增加，这 集卡 MV-CXG21。 对传输带宽的要求更加严格。在我们的行业应用案 例中，纺织生产行业需要机器视觉技术对布匹进行 特点 缺陷、瑕疵 、色彩、划伤等检测 ，这个过程要求 必须检测精度比较高达到 0.1mm ，检测视野宽度 • 12V PCIE/12V ATX 电源供电 ; 功耗 <20W。 为 3 米 , 出布速度为 200 米每分钟。由于普通的单 台相机无法在满足精度要求的同时 覆盖那么宽视 • 一拖四路万兆网相机，CPU 负荷仅在 1%-4% 野，所以解决的方案是用 4 台 8K 彩色万兆网线阵 之间。 相机 XGL83C，配置 MV-CPE40 万兆网卡。此时 用 4 台 XGL83C 完成视野完全覆盖，MV-CXG40 • 卡内完成图像接收，图像组帧，DMA 转输， 万兆网卡连接 4 台相机进行实时数据传输到电脑， CPU 零负担。 完美地解决了其后顾之忧。 • 卡上板载 4GB DDR 图像缓存，即使 CPU 取 图不及时，也不会造成数据丢失。 • FPGA 硬件逻辑处理丢包重传及时性高减少 丢包率，可靠性大幅度提高。 万兆网采集卡的应用 迈德威视万兆网采集卡一直是众多客户和商家 的首选。四口万兆网采集卡可用于连接万兆工业摄 随着经济进入新常态，行业也步入 4.0 时代。 像机，轻松满足供电和带宽需求，可以保证图像数 据的稳定性。同时在露天场所的监控设备上使用上 万兆网也是智慧城市、智能交通的趋势。 60

MACHINE VISION 2023/05 Precitec 产品组合再添新成员 ——Enovasense 点传感器 普雷茨特激光技术（上海）有限公司 曹莹 普雷茨特于 1971 年在德国巴登成立，致力于推 动激光加工和光学测量技术的发展，目前在全球 22 个国家和地区设有子公司和代表处，形成了遍布全 球的销售和运营网络。 在光学测量方面，普雷茨特已经成为全球知名 测量原理： 的创新型传感器和光学探头的德国制造商，产品涵 盖光谱共焦、干涉、点、线和多点传感器、区域扫 Enovasense 公司开发了一种创新的激光技术 – 描传感器和光谱线扫相机，并深入消费电子、半导体、 光热测厚来测量各种涂层的厚度（如金属、陶瓷、 玻璃、新能源汽车、医疗等行业。 油漆、聚合物、胶水等）。该激光设备能够对任何 涂层进行快速、非接触、非破坏性的测量，而不会 在 2022 年 11 月，Precitec 已 经 收 购 了 法 国 损坏被测材料。 巴黎 Enovasense 公司的大部分股份并将其招致麾 下，其余股份由两位创始人 Jean Inard-Charvin 和 光热测厚的本质是通过周期性调制光源照射幅 Geoffrey Bruno 持有，他们将继续领导公司的发展。 度（频率），使被照射性物体的辐射发生周期变化， 这进一步丰富了 Precitec 的产品范围，拓宽更多应 物体被加热到产生稳定辐射相较于光源的频率有延 用领域。 时（调制频率的相位差），通过相位的变化实现测厚。 热辐射的延时受测试物体厚度，测试物体的热学性 Enovasense 点传感器是 Precitec 传感器产品组 能以及基底材料影响。 合的最新成员，使用激光光热技术来测量不透明和 半透明涂层的厚度，可对相关零件进行快速、准时、 非接触式无损测量。 61

PRODUCT\&TEK 产品与技术 LEMO 同轴连接器 • 探头供电 • 光电转换信号传输 传感器优势： 1. 轻型光热辐射测量传感器，占地面积小 传感器组成： EnovasensePS 传 感 器 头 重 量 仅 为 150g， 尺 寸为 35 x 35 x 64mm，是在线检测应用中理想的 控制器： 轻量化、超紧凑型光热传感器。每个传感器头都有 • 提供光源 ( 光源强度调制） 一个单独的控制器，可以集成到几乎任何狭小而紧 • 信号处理 凑的空间中。传感器头和控制器之间的电缆最长可 达 20 米。此外，探头没有移动部件，使得集成无 探头： 需任何维护。 • 前置镜头：激光聚焦，准直（控制工作距离 和光斑直径） 2. 高精度测量任何涂层 • 镀膜窗 (coated Ge)：中红外滤波（~3-5um） • 光电半导体 / 光电二极管 : 感光元件 精确而稳定的厚度测量可以用于任何类型的涂 层和基材材料，如：扩散涂层或反射涂层、平面涂 光纤： 层或曲面涂层、粗糙涂层或抛光涂层 , 以及任何表 • 导出光源（单向） 面，例如：镜面、未加工金属面、陶瓷或粘合剂表 面。可测量的厚度范围从纳米到毫米，且多年来保 持亚微米级测量稳定性。 3. 通用性极强的点传感器系列 两种尺寸的传感器头 , 紧凑型 T033 和超紧凑 型 T060, 都有不同的成角激光束，垂直于探头长 度进行测量。此外，各种光学前置镜片可实现从 0.3mm 到 12mm 的各种工作距离和激光测量光斑 直径。在 T033 测量头上，可以放置特定的长距离 物镜，使工作距离增加到 200mm，距离公差增加 到 ±50 mm。 4. 轻松集成到任何工业环境中 这种无损非辐射技术可进行低对齐操作的测 量。Enovasense point sensor 的标称距离公差可 达 ±50mm（测量头的特殊配置），角度公差可达 ±50°，具有独特的易集成性。该传感器对振动和 部件曲率与形状的变化表现出高度的稳定性。该传 感器还可以在非常高的温度下测量部件，适用于高 达 +50°C 的室温。 62

MACHINE VISION 2023/05 线扫条纹光源与光度立体算法的结合 ——特点与优势分析 东莞锐视光电科技有限公司 黄俊源 随着计算机视觉和光学技术的快速发展，线扫 3、支持线扫和面阵两种工作模式，适应不同 条纹光源在三维重建、物体检测等领域得到了广泛 的应用场景。 应用。本文将结合光度立体算法，探讨全新 P-DISL2 系列高速线扫型程控条纹光源的特点及优势，并分 4、 高 速 条 纹 图 案 变 换， 线 扫 行 频 最 大 可 达 析其在电池、玻璃、手机和金属加工等行业的应用。 71428 行 / 秒，提高检测效率。 一、产品简介 5、配有外置型线状激光定位器，快速定位角度， 简化调试过程。 全新 P-DISL2 系列是一款高速线扫型程控条 纹光源，能够在同一个工位中高速产生横向和纵向 条纹图案的新型光源。光源将条纹图案投影到被测 物上，相机利用镜面反射形式采集被测物的镜像特 征，适用于光泽工件上的细小缺陷检测，如刮伤、 凹凸、脏污等。 P-DISL2 系列高速线扫型程控条纹光源采用广 三、应用领域 泛兼容的设计理念，配有一个专用光源控制器和对 外一置型线状激光定位器。控制器配合专用软件具 1、电池行业：P-DISL2 系列高速线扫型程控 有自由编辑条纹图案功能，支持内触发模式、外触 条纹光源可用于电池外观检测，包括表面刮痕、凹 发模式和第三方软件通讯控制功能，线状激光定位 凸、脏污等缺陷的检测。通过光度立体算法，实现 器安装在相机上，快速定位相机与光源的最佳角度， 对电池产品质量的准确评估，确保电池性能和安全。 简单易用，适合多种线扫平台使用。 二、优势特点 2、玻璃行业：在玻璃制品生产过程中，细微 的划痕、气泡和局部变形等缺陷可能影响产品的质 1、能够投影横向和纵向的条纹图案，满足多 量和使用寿命。P-DISL2 系列高速线扫型程控条纹 样化的检测需求。 光源与光度立体算法相结合，能够对玻璃表面进行 高精度的检测，提高产品质量。 2、能够修改条纹的宽度、间隔、偏移等参数， 自由编辑条纹图案。 3、手机行业：手机外壳、屏幕和镜头等部件 的外观质量对产品整体质感和使用体验具有重要影 响。P-DISL2 系列高速线扫型程控条纹光源在手机 行业的应用，可以帮助厂家及时发现产品中的细小 缺陷，提升手机产品的品质。 63

PRODUCT\&TEK 产品与技术 4、金属加工行业：金属零件加工过程中可能 分。利用图像处理技术，可以准确地提取出缺陷信 产生刮痕、凹陷和脏污等缺陷。利用 P-DISL2 系列 息，为后续的质量分析和控制提供依据。 高速线扫型程控条纹光源和光度立体算法，可以实 现对金属零件表面的高精度检测，提高产品质量， 降低生产成本。 竖条纹投影在各行业效果图， 通过以上步骤，P-DISL2 系列高速线扫型程控 有利于检测明暗交界才可呈现的缺陷 条纹光源与光度立体算法相结合，可以实现对不同 行业中光泽工件上的细小缺陷进行高效、准确的检 四、操作与实现 测。这种方法具有操作简单、灵活性高、检测速度 快等优势，为各行业提供了强大的质量控制手段。 P-DISL2 系列高速线扫型程控条纹光源在使用 过程中，可以根据需求设置光源每次切换的图案及 五、结论 切换的图案数量。以下是一个典型的操作流程： P-DISL2 系列高速线扫型程控条纹光源与光度 1、设置光源图案：通常在线扫拍照时，可以 立体算法的结合，为电池、玻璃、手机和金属加工 设置 8 种图案。这些图案在投影过程中，可以产生 等行业提供了一种高效、准确的检测方法。其优势 横向和纵向的条纹变化，以满足不同的检测需求。 特点包括多功能的条纹图案、高速条纹变换、简化 的角度定位等，使得在不同应用场景下都能发挥出 2、拍照与图像拆分：在获得原始图像后，需要 良好的检测效果。随着计算机视觉和光学技术的不 对其进行拆分，将原始图像分解为 8 张子图。每张 断发展，我们相信这种技术将在未来获得更广泛的 子图包含了不同方向的条纹信息，如纵向条纹投影 应用，为各行业的质量控制提供更加便捷和高效的 产生明暗场变换，而横向条纹投影则产生灰度变化。 解决方案。 3、选择合适的条纹图案组合：从 8 张子图中， 应用场景与成果展示 根据实际应用需求，选取 4 张子图，这些子图包含 了不同方向的条纹信息。通过这些信息，可以利用 光度立体算法进行图像合成。 4、光度立体合图与缺陷提取：将选定的 4 张 子图输入光度立体算法，对其进行合成处理。合成 后的图像将包含被测物的表面信息，突显出缺陷部 64

MACHINE VISION 2023/05 “机器视觉 +AI 深度学习”赋能制造产业 以创新驱动制造生产数智化转型升级 浙江深眸科技有限公司 田川 在智能制造的浪潮中，现代社会对于高精度、 3D 视觉等机器视觉相关创新技术，促使国内制造 多样化产品需求量加大，越来越多的制造企业积极 业现代化转型速度加快。 探索现代化生产线建设，并进行产业升级，持续提 升产线数字化与智能化程度。 基于数智化的智能制造，离不开人工智能技术 在机器视觉系统的实际应用中，AI 算法决定 的支持。随着人工智能技术的飞速发展，作为其重 着机器视觉智能性和安全性；深度学习技术则通过 要分支之一的机器视觉，其行业市场规模进一步扩 建立深度神经网络并对数据进行训练，实现对图像 大，预计到 2025 年我国机器视觉市场规模将达到 等视觉信息的识别、分类与检测；3D 视觉技术则 349 亿元，发展前景广阔。 通过算法获取三维立体成像，得到高度、角度、体 积等信息，解决以往 2D 视觉体验和安全性较差的 三大要素促就机器视觉行业广阔前景 问题。 1、政策支持 目前，国内视觉产品在这些创新技术的应用下， 在精准度、处理速度、应用范围等方面大幅提升， 近年来，我国在工业制造领域持续发力，通过 持续助力制造业数智化转型升级。 政策不断加码，自上而下地推进装备制造行业良性 发展。而机器视觉技术凭借较高精度，广泛应用于 深眸科技加大研发投入，持续增强技术与 装备制造行业。 产品竞争力 2、人工成本上升 机器视觉行业的进一步发展，离不开技术与产 品的创新。随着本土机器视觉厂商经验的积累，目 随着我国人口老龄化程度加深，人力成本进一 前国内机器视觉企业对于技术与产品的研发投入高 步上涨，许多制造企业生产线“机器换人”的需求日 度重视，持续增强市场竞争力，深眸科技也不例外。 益提升，对于机器视觉系统的需求也将进一步扩大。 自成立以来，深眸科技深耕于机器视觉领域， 3、制造业转型需求 沉淀了丰富的技术储备和强大的产品研发能力，以 传统机器视觉、深度学习和自研 2000+AI 行业模 在智能制造的浪潮中，国内制造行业面临转型， 型，围绕工业视觉的创新应用场景，成功构建轻辙 亟需在生产工艺及技术层面取得突破。而机器视觉 技术的出现，大幅提升了产线的智能化程度，助力 企业的精确生产与质量控制。 机器视觉技术升级，持续赋能制造行业转型 中国作为全球制造业的中心，正在成为机器视 觉发展最活跃的地区之一。基于 AI 算法、深度学习、 65

PRODUCT\&TEK 产品与技术 视觉引擎、工业视觉平台、工业 AI 视觉系统等创 新应用。 除此以外，深眸科技具有较强的图像、视频识 食品行业·猪肉分拣、贴标 别处理技术，能够处理上千个图像算法模型，多种 交互开发工具还具有超强的数据中台开发能力。深 深眸科技通过工业 AI 视觉系统，深度学习猪 眸科技以创新的技术与视觉产品，满足制造业客户 肉图片样本中大量的色度、形状和纹理信息，建立 在工业生产过程中的差异化需求，也为机器视觉在 准确的算法模型；在线实时监测，不受来料随机混 各行各业的铺开奠定了基础。 料的影响，算法判断类别后系统可以快速输出对应 标签；利用深度学习技术，后续新增品类也只需进 木材行业·木板缺陷检测 行简单的训练操作，就可以进行分类和贴标，保证 了新品的准时上线。 木材作为一种自然材料，其缺陷不一致性极大。 通过轻辙视觉引擎的 AI 算法对各类缺陷的大量图 工业 AI 视觉系统将识别速度提升至 100 盒 / 像样本进行学习，成功利用目标识别对木材常见缺 分钟，标签贴错率降低至 1%，实现 24 小时持续识 陷进行定位，对每一个缺陷都建有一个准确的算法 别，大幅提高猪肉分类、贴标的效率。 模型。轻辙视觉引擎不仅实现较强的尺寸兼容性， 同时提升检测速度至 4m/s，将漏检率降低至 0.05% 以下，精准识别木材缺陷。 家电行业·钣金件缺陷检测 除上述行业外，深眸科技的创新视觉产品在周 转箱拆转垛、配件防错漏检测、精冲件检测、电池 在钣金件批量生产的过程中，常常会出现划痕、 缺陷检测等众多行业细分场景实现应用，持续赋能 污渍、凹凸等不可避免的缺陷，通过深眸科技工业 各行各业的工业生产环节，让工业企业在较低的时 视觉平台超高分辨率的成像系统抓取图像信息并分 间成本下，快速增强产线的自动化、智能化、柔性 析，以算法快速响应，做到样品到批量成品的复制 化程度，从而提高生产效率，实现企业降本增效。 加工，同时其检测范围全，能够覆盖零件的全部轮 廓和尺寸。 在机器视觉这条广而阔的赛道上，我们需要通 过不断创新技术与产品，助力机器视觉行业的快速 通过上述多种技术优势，工业视觉平台 30 秒 发展，持续推动工业自动化进程，扩展机器视觉技 内便可完成钣金件缺陷检测，1 分钟内完成模型切 术的应用范围。相信未来，通过工业制造领域数字 换，输出结果准确率不低于 99.9%，人工干预率小 化与智能化转型升级，机器视觉行业将呈现一片繁 于 0.19%，从而做到钣金件缺陷全检。 荣景象。 66

MACHINE VISION 2023/05 TOF 相机 HDR 功能可有效改善 复杂场景中物体测量的精度 青岛维感科技有限公司 刘涛 王立平 ToF(Time-of-Flight) 感知技术作为三维视觉成像领域主流技 了 HDR 高动态范围模式：即通过设置多个不同 术之一，发展迅猛，伴随着半导体元器件尺寸的不断缩小，结构 曝光时间的方式，将采集到的多个图像合成到一 紧凑、极具性价比优势的 TOF 深度相机得到了越来越多的行业关 帧中，完成对整个复杂场景的成像。 注，在工业和消费电子领域针对整个场景的多点 3D 视觉、3D 建 模辅助、3D 深度感知等场景，应用需求日益增加。 在针对距离较近易过曝的区域与高反射率 物体时，利用短曝光时间进行成像；在针对低反 ToF 深度相机是一种主动成像的方式，即相机系统向目标发 射率的物体时，利用长曝光时间进行成像，最终 射激光，通过接收端传感器感知到目标反射光的时间，从而计算 将不同曝光时间下取得的图像合成到一帧中，从 出目标与相机之间的距离。TOF 深度相机技术是通过一次性成像 而获得更为精确的深度图像，减少距离远近与物 来提供完整场景深度图，无扫描器件，成像速度快，计算负荷低， 体反射率差异对 ToF 相机深度检测数据的影响。 不论对于移动中的物体，还是静态的物体，不论在黑暗环境中， 还是在室外光照较强烈的环境中，不论对于低反射率还是高反射 率的物体，都有机会获取到较为理想的深度数据。 鉴于上述优点，ToF 相机已经越来越多地应用于 3D 检测与 识别、AGV 避障、机械手抓取、体积测量等工业场景中。 图 1 ToF 相机原理图示 图 2 HDR 模式下，针对不同曝光时间的 距离测量判断图示 本文重点介绍在复杂环境中，当同时存在高反光率物体如金 属件与低反光率如黑色表面物体时，如何通过技术手段提升 ToF 下面将通过两个实例解释 ToF 相机如何通 相机的检测精度。 过开启 HDR 功能来改善对复杂场景中同时存在 高低反射率物体时的拍摄效果。 首先，从 ToF 相机的检测原理来理解这个问题，当采用固定 曝光时间模式时，相机在同时拍摄高反射率与低反射率物体时，较 实例一：拍摄下述杂乱物体 难将曝光时间调到一个均衡的位置，可同时准确地捕捉到高反射率 与低反射率物体的深度图像；当我们增加曝光时间时，利于黑色物 体的识别，但近距离区域容易出现过曝的现象；而降低曝光时间时， 对于低反射率物体的识别又会存在点云缺失的现象。 为了解决这个问题，维感科技在 ToF 相机曝光时间方面增加 图 3 被拍摄的杂乱复杂物体 67

PRODUCT\&TEK 产品与技术 未开启 HDR 模式 未开启 HDR 模式 图 4 未开启 HDR 模式，使用单一低曝光时间时，杂乱复杂物 图 8 未开启 HDR 模式，使用单一低曝光时间时，车轮成像效果 体的成像效果 图 5 未开启 HDR 模式时，使用单一高曝光时间，杂乱复杂物 图 9 未开启 HDR 模式，使用单一高曝光时间时，车轮成像效果 体的成像效果 单一 低 曝 光 时 间 的 情 况下，低 反 射 率 的 黑色 轮 单一低曝光时间的情况下，低反射率的黑色胶皮 胎点云数据缺失，单一高曝光时间的情况下，高反射 线点云数据缺失；单一高曝光时间的情况下，高反射 率的金属轮毂出现了过曝现象，点云数据缺失。开启 率的泡沫包裹和白色纸箱点云数据缺失。开启 HDR HDR 模式后，点云数据缺失的问题得到了明显改善， 模式后，ToF 相机首先使用高曝光时间对低反射率的 无论低反射率的黑色轮胎，还是高反射率的金属轮毂 物体进行成像，对于高曝光时间下过曝的区域，使用 的点云数据都是较为完整准确的。 低曝光时间进行成像，最终将不同曝光时间下取得的 图像合成到一帧中，即可得到 HDR 模式开启下的图像， 可以看到点云数据缺失的问题得到了明显改善。 图 6 开启 HDR 模式时，杂乱复杂物体的成像效果 图 9 开启 HDR 模式时，轿车车轮的成像效果 实例二：拍摄轿车车轮 ToF 相机的 HDR 模式，在很大程度上拓展了其 在工业领域与服务类机器人方面的应用。维感科技是 图 7 被拍摄的车轮 国内从事工业级 ToF 相机的厂商，已推出多款产品， 具有高帧率、抗光性好，在移动中的物体检测方面表 现尤为出众，目前有搭配机械臂进行拆垛，搭配蜘蛛 手进行物体 3D 识别与抓取，装载于 AGV 进行托盘与 货物识别，避障等应用。 68

MACHINE VISION 2023/05 高性能、高集成、高品质源于 嵌入式计算机图像采集与处理技术 天津市中环电子计算机有限公司 马玉生 天津市中环电子计算机有限公司提供“一站式” 此，机器视觉技术的成功应用，必须有专业可靠的 的 ODM 制造服务，致力于成为以自主可控、信息 计算机硬件为其提供基础支撑。顺应发展大势，中 安全技术为核心的工业控制计算机品牌提供商。 环计算机融合嵌入式计算机技术和图像采集与处理 技术，推出了高集成、高品质、高性能的机器视觉 系统用计算机产品方案 ZHEPC-Q370-646220。 产品性能： 机器视觉技术即以机器人代替人眼作各种测量 本产品是一款无风扇设计的工业控制电脑主 和判断，用计算机来实现对客观三维世界的识别。 机，基于 Intel 第 8 代处理器平台 Coffee lake 平台， 它涉及到计算机、图像处理、模式识别、人工智能、 采用 Q370 芯片组，支持 Intel 8th/9th 酷睿 i3/i5/ 信号处理等多个领域，可以通过视觉传感器获取环 i7 系列或者奔腾、赛扬系列处理器。支持 WIN10 境的图像，并通过视觉处理器进行分析和处理，进 以及 Linux 各版本的操作系统。本产品由铝材料 而转换为数字信号，让机器人能够完成检测、识别、 散热件与板金壳体构成，其中铝散热件做表面喷砂， 定位、抓取、码放等一系列功能，适用于加工制造、 板金壳体采用厚度 T=2mm 的金材料打造。 智能交通、仓储物流等多行业领域。 从功能上来看，机器视觉系统的优势主要表现 在系统的反应速度和视觉信息的准确采集方面，同 时还可以对被测物体进行精准定位，视觉信息的处 理技术主要依赖于计算机平台的图像处理方法，因 69

PRODUCT\&TEK 产品与技术 解决其他行业诉求： 行业诉求 专注解决 越来越丰富的功能外设 前后双显或多显乱序 集成度更高、 更精密的研发设计 SOC 级对策方案设计 串口（COM）稳定性兼容性 多 SIO 复用集联设计 网络通信可靠性 LAN 芯片性能冗余保障 多样性运输 / 应用下的可靠性 部分军工工艺 / 研发细节体现 开发周期、成本控制 PCB Colay/ 工控机模组化设计 核心部件选用 -20℃ -70℃工业级器件（高于 行标 0℃ -60℃），工业级器件用料保证长寿命可 靠 性； 结 构 设 计 充 分 考 虑 振 动、 散 热、EMC、 易 于维护等方面要求。 本产品基于 Intel 第 8 代高性能处理器，并配 中环计算机还可为机器视觉领域客户提供嵌入 备丰富的 IO 接口；该款产品外型简约、结构牢固， 式准系统和工业整机的生产定制，可提供系统安全 功能稳定，是一款为机器视觉、工业自动化控制类 加密等客制化要求。产品严格按照工业级标准打造， 应用而打造的无风扇电脑主机产品。 抗高低温、抗震、防尘，电磁兼容性良好，具有高 环境适应性和高可靠性。 大量快速处理 2D 或者 3D 图像数据，工控机 处于高负荷状态，所以整机的散热尤为关键，散热 良好与否直接影响 CPU 能否满负荷工作，能否长 时间稳定运行等。本机器为无风扇设计，经测试其 数据完全能够满足使用要求，完美解决 TDP65W 以下 CPU 的散热问题，保证主机低故障、长寿命 稳定运行。 多个 USB 接口相机高速工作，USB 功耗过大， 中环计算机还有其他十几款工控机，应用于新 电压拉低，会造成 USB 设备失效，严重影响稳定性。 兴行业如半导体、光伏、3C、锂电等，广泛应用于 这款产品使用系统级升压，100% 保证负载正偏差 视觉检测系统，视觉对位系统，视觉测量系统、产 取电，满载时电压能够满足稳定要求，外接摄像头 品分拣系统等，保障多种机器视觉设备的稳定运行。 不会因为电压低而失效。 数据显示满载的情况下，USB3.0 稳定在 9V， USB2.0 稳定在 5V，众多品牌和功能的摄像头稳定 运行。 70

MACHINE VISION 2023/05 10~100GIGE 视觉的优势 Emergent Vision John Ilett 文 秦勇松 译 随着对驱动机器视觉应用的高速解决方案的 GigE：从传统到优化 需求，制造商在组件方面有许多选择。帧抓取器 是一个选择。然而，通过在驱动程序层面进行改 传 统 的 GigE 帧 采 集 模 型 如 图 2 所 示。 当 1g 变——加上现有的高速网卡技术——有可能在与基 不是最优时，为了实现更高性能的驱动程序，建议 于帧捕获器的技术相同的性能和更低的成本下达到 使用基于 Intel PRO/1000 的网卡。 100GigE 甚至更高的速度。以下是 GigE 视觉相机 的简要时间表，界面的细节、优点和好处，以及关 优 化 后 的 GigE 模 型（ 图 3 所 示） 提 供 了 远 于使用 10GigE 至 100GigE 在制造业和其他领域保 程 直 接 内 存 访 问 (RDMA) 和 基 于 融 合 以 太 网 的 持机器视觉解决方案领先的信息。 RDMA (RoCE)。该系统具有低 CPU 占用、无帧丢失、 低抖动和低延迟的特点，与 CoaXPress (CXP) 相同。 GigE 相机发展的简要背景 2010 年，Emergent Vision Technologies 推 图2 出了第一款 具有 10GigE 接口的相机。为了满足市 场对先进的图像传感器和对更高速度接口的需求， 优化 RDMA 后的 GigE 模型提供了从一台主 我们在 2018 年发布了第一 代 25GigE 相 机。之 后 机 ( 存储器或计算机 ) 的内存直接访问另一台主机 随 着 传感 器 速 度 的 不 断提 高，再 次 推 动了 对 高 速 相 的内存，而不涉及远程操作系统和 CPU。RoCE 是 机的需求，公司也随之在 2020 年推出了 100GigE 标准协议，使 RDMA 在以太网上的高效数据传输 相机 ( 图 1)。 成为可能，允许通过硬件 RDMA 引擎实现传输负 载。这种设计网络优化了性能，具有更低的延迟、 图 1 100GigE 相机 更低的 CPU 负载和更高的带宽。 今天，许多 GigE Vision 解决方案和配件都是 图3 可用的。通常，相机控制分辨率和帧率，这是高速 成像应用中的决定性因素。然而，附件和集成在图 像采集框架中也起着重要的作用。一家信誉良好的 机器视觉技术公司提供完整的采集解决方案，并就 经过良好测试的架构提供建议，以提供超高速应用 所需的性能。 71

PRODUCT\&TEK 产品与技术 GigE 视觉优势 GigE Vision 与 CoaXPress： 现 实 生 活 中 的例子和对比 随着 IEEE 标准化和 GigE 解决方案的成功，制 造商有许多硬件、软件和配件的选择。例如，GigE 图 5 所示的 GigE Vision 解决方案显示了 24 视觉解决方案可以使用现成的网卡或 FPGA 卡直接 只 10GigE 相机，一个 PTP 同步开关，将 24 只相 连接到 100GigE 相机，从而降低了系统的复杂度。 机复用到双 100G 链路上，以及一个用于将图像帧 放入系统内存的单槽 100G 双网卡。同等的 CXP 成像系统设计的一个驱动力是对更高级机器视 系统需要三个八进制 CXP 采集卡。本例中 10GigE 觉的需求。例如，图形处理单元 (GPU) 在涉及更高 和 CXP6 之间的差异如表 1 所示。 速度、3D 成像和深度学习的应用程序中得到了越 来越多的使用。集成 GPU 可以引入 AI 解决方案来 驱动高级成像系统。AI 处理技术的一个重大进步 是 NVIDIA 的 BlueField-2， 它 将 NIC 和 GPU 结 合到一个一卡通解决方案中。这些创新继续发展和 扩展机器视觉和成像技术的能力。 图4 图5 借助第三方现成的配件、GPU 支持、快速的 图 6 中的另一个实际部署展示了 12 只 25GigE 数据传输和不断增加的帧率；GigE 相机的好处是 相机、一个开关和一个双 100G 网卡。为了使 CXP 扩大了使用范围到工厂以外。如图 4 所示，两个具 系统达到与此设置相同的性能水平，它需要 12 只 有双网卡和 NVIDIA Xavier GPU 的 25 GigE 相机 CXP12 相机加上 3 个单独的 CXP12 采集卡。那些 为无人机系统部署提供了精确的架构。 希望在较长距离部署光纤 CXP 选项的人还需要在 材料清单中增加 6 个光纤适配器，进一步增加项目 随着成像解决方案走出工厂，GigE Vision 降 的总成本。 低复杂性的能力对原始设备制造商越来越重要。此 外，由于 SFP+ (10G)、SFP28 (25G) 和 QSFP28 (100G) 图6 提供了低成本的商用收发器部件，单模光纤的传输 距离可以达到 10 公里以上。电缆长度在相机可能 在 图 7 中 的 另 一 个 示 例 中， 它 需 要 2 只 需要远离 PC 的应用中被证明是至关重要的，例如 CXP12 相机 ( 每只有 8 个端口 ) 和 4 只 CXP-12 采 监控、交通和体育技术。简而言之，采用 GigE 相 集卡，以达到由两个连接到双 100G 网卡的 100G 机的好处包括 : 图7 • 超高的数据和帧率 • 配件和电缆选项，覆盖长距离 • 相机同步 PTP( 精确时间协议 ) • 相机多路复用和多播 • 低 CPU 开销，低延迟和低抖动 • 强大的跨行业接受，由于 IEEE 标准化 • 具有竞争力的成本和性能 72

MACHINE VISION 2023/05 图8 相机组成的 GigE Vision 设置，进一步突出了 GigE Vision 的成本效率。 当使用多个相机工作时，精确的计时和时间戳 图9 帮助成像系统基于内部时间命令执行预定和同步的 同时采集，而不需要外部触发器。将许多图像和数 高速成像接口的未来 据组合成单个流需要计算和处理能力。GigE 相机 和配件将多个相机实时组合成准确的流。以太网交 新型图像传感器的出现在很大程度上推动了 换机的可用性为系统设计人员提供了一种简单的方 成像速度的进步，而高速应用需求又推动了图像传 法来实现多相机同步到 1 个相机的 IEEE1588 PTP 感器的发展。许多应用程序需要高分辨率的图像， 传输。 如果没有更快的接口，帧速率可能无法满足要求。 10GigE、25GigE、50GigE 和 100GigE 等接口满足 拥有触发选项有助于集成和扩展 GigE 相机应 了虚拟现实、体积捕获、体育分析和自动光学检测 用程序。例如，在极少数情况下，客户希望从网卡 等应用的高分辨率、高速需求。 触发相机，Emergent 有自己的双端口 25Gb 网卡 和单端口 100Gb 网卡，前端面板触发端口。此外， GigE Vision 的 其 他 优 点 包 括 低 服 务 器 占 用 前面提到的 FPGA 卡也具有 IO 端口功能。 率、简化的系统架构、多播视频技术、具有竞争力 的成本和性能，以及更短的上市时间。这些优势使 软件简化了 GigE 集成和操作 GigE Vision 解决方案能够在多个行业扩展成像应 用，并将继续这样做。 随着 GigE 在工业界的广泛应用，有许多软件 可供使用。一个例子是 eCapture 免费查看软件， 高速成像的明确选择 它控制所有的相机功能预览，捕捉，和保存。高级 功能包括感兴趣区域 (AOI)、集成控制和标准预处 当考虑 GigE 视觉对高速成像的好处时，人们 理，包括亮度、Gamma 和帧速率控制。 可能会想，当 GigE 视觉相机显然为机器视觉应用 提供了高速接口的最佳选择时，推出 CXP 这样的 eSDK 软件开发工具包允许终端用户、系统集 新标准是否有足够的好处。注意事项包括 : 成 商 和 OEM 在 需 要 时 将 他 们 的 Emergent Vision Technologies 相机集成到他们自己的软件和设备中。 Emergent 还提供了 eCapture Pro，这是一个 • 10G, 25G, 50G, 100G 和更高，具备超高的数 完整的软件，适用于各种应用，如 AOI 和体积捕获， 据 / 帧速率 为开发资源有限或在超高速视觉技术方面没有专业 知识的客户提供。 • 使用标准内置网卡功能，CPU 和内存使用率 相同 73

PRODUCT\&TEK 产品与技术 • 稳定的图像采集时序 • CoaXPress over Fiber 是 CXP 的 扩 展， 试 • 图像获取不会减慢处理速度 图使其跟上 GigE 的速度。( 参考超高速和长电缆 ) • 通过小的调整和现成的组件，GigE 可以完成 几乎任何 CXP 的功能 • CoaXPress over Fiber 只有少数相机供应商 • CoaXPress over Fiber 的电源电缆可以不需要 建议使用这个标准 • CoaXPress 在高速应用中使用多同轴电缆， 可以使用额外的电缆作为以太网电源 • 名称 CoaXPress 本身指的是同轴电缆而不是 • CoaXPress over Fiber 使用以太网物理层 光纤，所以命名本身是误导 • GigE 的上市时间更快，因为 10GigE, 25GigE 和 100GigE 现在都可以使用 光学模组 ——结合成像和光学领域的最新创新成果 Teledyne e2v Marie Charlotte Leclerc 图像传感创新 Optimom 2M 模块采用 Topaz 2M，这是一 款 200 万像素全局快门 CMOS 图像传感器，结 合了多种创新，从像素结构到封装直到芯片设计 本身。 产品生命周期的加速和视觉用例的快速增加， 在一个纯粹的产品性能是产品开发的唯一驱动 使视觉系统制造商别无选择，只能减少在新开发项 力的世界里，视觉系统制造商会选择尽可能大的像 目上的时间和金钱投入，而专注于其附加价值。 素，以最大化设备的灵敏度和饱和容量。然而，在 现实世界中，价格、外形尺寸和功耗都是重要的考 2022 年 9 月，Teledyne e2v 发布 了 Optimom 虑因素，所以视觉系统制造商必须通过寻找具有最 2M，这是一系列 MIPI CSI-2 模组中的第一个产品， 佳电光性能的图像传感器，来平衡他们在尺寸和成 正是为了应对这一挑战而推出。该模块将成像和光 本限制内最大限度地提高系统光学性能的愿望，同 学方面的最新创新结合到一个一站式成像解决方案 时还能够适应某种光学格式。 中，通过将专有图像传感器安装到带有固定镜头或 多焦点镜头技术的面板上。但这些创新具体有哪些， 根据目标光学格式的不同，可接受的最大像素 它们又是如何发挥作用的？它们给基于视觉的系统 尺寸可能成为一个技术挑战。此外，从一种光学格 带来了哪些好处？ 式转变到更小的光学格式（例如从 1.1 英寸到 1 英 寸）往往意味着像素尺寸的大幅减少，如图 1 中所 强调的那样。 74

MACHINE VISION 2023/05 图 1 Topaz 2M 传感器与手指的尺寸对比图。 Topaz 2M 具有世界上最小的全局快门像素， 图 3 集成像素的光学结构剖面图。 这使得它能够与紧凑且经济高效的 1/3 英寸镜头相 所示的图像显示了嵌入产品中的光学堆栈的横截面图。 匹配，同时仍然最大限度地提高灵敏度和信噪比。 这 种 像 素 由 TowerJazz 利 用 其 65nm 技 术 开 发， 本、重量和外形尺寸。近几年来，晶圆级封装技术 通过利用共享像素结构的概念，使其能够在 2.5μm 在市场上蓬勃发展，尤其是在移动、汽车或可穿戴 的小尺寸中执行全局快门操作。在 Topaz 2M 传感 设备等消费应用领域。 器中，采用了 8T 共享像素结构。对角线上的两个 像素共享 8 个晶体管，因此结合了 6T 像素结构的 虽然传统陶瓷 (CLGA) 封装已在业界使用多年， 先进功能，如像素内缩减（又称 CDS 或相关双采 但最近在缩小像素尺寸方面的技术进步为晶圆级封 样），和 4T 结构的灵敏度提高，每个像素的表面 装打开了大门，它甚至用于工业检测、物流或机器 只占 4 个晶体管。 人的高端图像传感器。传统陶瓷 (CLGA) 封装需要 将裸片单独封装到一个陶瓷结构中，背面有间隔的 图 2 最大像素间距，以适应特定光学格式的特定分辨率。 焊盘，用于连接到传感器板，而晶圆级封装是成批 生产的。 深思熟虑的光学堆栈 在扇出式晶圆级封装的情况下，硅晶圆被切 在这个结构的基础上，凭借像素顶部的开拓性 成独立的传感器裸片，这些裸片全部嵌入到重塑 光学堆栈结构，Topaz 2M 传感器和 Optimom 2M 的玻璃基板晶圆中，然后被切割成独立封装的传 模块具有更高的灵敏度。像素通过无间隙顶部透镜 感器。对于另一类晶圆级封装，工艺和封装尺寸 优化像素间距，以避免光损失和不必要的反射，但 的优化更进一步，它就是芯片级封装，其中硅晶 真正的创新在于这种“双光管”架构，该架构通过 圆直接封装到材料中，去除了在其周围模制玻璃 在传感器的光学堆栈中创建的微光纤（不同反射率 基板的中间步骤。这些工艺技术使得图像传感器 的材料）将光直接引导到光电二极管上。 越来越小、越来越紧凑。对于这两类晶圆级封装， 图像传感器与电路板的背面连接由提供更高密度 芯片封装 连接的球来确保，这是为嵌入式系统（如无人机 或自动制导车辆）生产微型和轻型成像解决方案 除了优化像素尺寸和光学结构之外，图像传感 的绝佳解决方案。 器现在还受益于封装技术的进步，可降低传感器成 这些像素、传感器结构和封装创新的最新组合 75

PRODUCT\&TEK 产品与技术 使得新一代图像传感器的外形尺寸在短短五年内减 学模组中开发的多焦镜头技术所解决的问题，该技 少了四倍，参见图 4 所示的时间线和示例比对。 术结合了宽 F/4.0 光圈，和从 10cm 到无限远的宽 工作距离。 图 4 自 2016 年以来，随着封装和像素技术改进， 图 6 Optimom 2M 模块的背面图 , 带有 FFC/FPC 连接器 , 图像传感器外形尺寸的演变。 用于控制传感器和镜头聚焦。 除了封装技术之外，待封装的传感器裸片的设 计也会对最终系统的尺寸产生影响。图像传感器制 造商可用的关键技巧之一是将封装中心与光学中心 匹配到完全相同的位置，以此来尽量减少最终的系 统外壳尺寸。图 5 说明了光学中心和封装中心不匹 配的影响，今天在一些图像传感器中仍然可以看到 这种情况。 图 7 嵌入多焦镜头的 Optimom 2M 模块的前视图。 图 5 裸片光学中心未在封装中居中时的空间损失图示。 这种专有的镜片堆叠技术通过调整镜片的外部 形状来调整焦点，从而达到这些性能。镜片形状的 一项新技术 控制是通过协 I2C 议信号来确保的，这些信号通过 模块板背面的标准 FFC/ FPC 连接器直接管理。该 虽然像素的缩小对图像传感器的成本和尺寸有 连接器通过 I2C 处理 MIPI CSI-2 数据输出、时钟 积极的影响，但它对光学系统的多功能性，特别是 管理以及图像传感器和多焦镜头控制。与其他焦点 景深的影响相当不利。 调整技术相比，这一概念使多焦点具有多种优势， 例如小于 1ms 的快速响应时间和抗电磁效应。 景深可以定义为可以以足够的清晰度水平捕获 物体的最近距离和最远距离之间的差异，随着像素 总结： 的缩小和对失焦图像的容忍度变小，景深会减小。 对于需要在不同工作距离上捕捉物体的应用（如物 Optimom 2M 光学模组通过利用多种创新技 流中心的包裹跟踪），系统制造商通常会寻找较小 术实现了最先进的电光性能和高通用性。嵌入式图 的光圈光学器件（通常为 F/7.0 或 F/8.0），以便 像传感器结合了像素结构、光学堆栈和裸片封装方 在像素尺寸缩小的情况下保持足够的景深。 面的创新，实现了小巧轻便的设计，能够与价格低 廉的 S 型镜头相匹配，同时保持了高灵敏度水平。 可惜的是，关闭光圈是以牺牲感光度为代价的， 可选的集成式多焦镜头依靠一种新的焦点调整技 因为通过镜头被图像传感器捕获的光线更少。因此， 术，同时实现了宽广的工作距离、高灵敏度和快速 现在调焦技术的挑战是在保持视觉系统的高灵敏度 响应时间。 的同时实现更深的景深。这正是 Optimom 2M 光 76

MACHINE VISION 2023/05 77

CASE 应用案例 比邻智能光伏组件追溯读码解决方案 比邻智能识别技术有限公司 张家斌 一、行业与项目背景 码器系统的识读范围要足够宽广，同时确保成像精 度，避免漏读； 光伏制造行业当前处于产业蓬勃发展的状态。 2022 年，在光伏制造端，多晶硅、硅片、电池、 3. 不断提升的产能要求：随着光伏市场需求量 组件的产量同比增长了 45%；在应用端，光伏发电 的快速提升以及光伏企业的提质增效，产线生产由 装机同比增长 137.5%；而 2022 年光伏相关产品的 静态逐步转变为动态，由低速逐步开始进入高速流 出口同比增长了 113%。光伏行业的高速发展，一 水生产，速度会达到 1-2m/s；在反光以及高速的 方面是由于太阳能作为最清洁的能源之一，是当今 应用下，读码识读成功率会显著下降； 中国以及全球始终长期发展的能源路线；另一方面 受国际局势的影响，欧洲等区域对光伏发电有了更 4. 工序多、应用场景复杂：光伏组件生产需要 强烈的需求。中国作为光伏产业链的全球主导者， 经过至少 18 道工序，其中约 16 道工序需要用到读 其产能和产量也受到了更高的要求和挑战。 码器，不同的工序涉及的识读的范围、物距、读码 速度、单台 / 多台读码使用都会有差异，方案需要 光伏电池组件是将太阳光能直接转变为直流 有优秀的兼容性和适应性； 电能的阳光发电装置。在光伏组件生产中，为进 行生产管控和检测追溯，需要对每个电池组件进 5. 安装 / 切线的简单快速：工业制造产线，当 行数据标识，并进行全流程的数据采集和追溯， 前都期望在设备安装和切线时，操作和调试快速便 目前最合适的的数据载体为条码（包括一维码和 捷，光伏生产的节奏较快，对生产时间节拍要求高， 二维码）。当前在光伏行业的读码识别方面，面 厂线的工人对调试的体验要求更高。 临着几大问题和难点，影响着光伏产线的生产制 造效率和产能升级： 图 1 光伏组件上的条码 1. 条码反光 / 磨砂膜覆盖：光伏组件上的条码 二、项目实施的目的和意义 多采用 PET/ 亚银等高反光材质标签，同时黏贴在 反光的组件玻璃表面上；部分条码也可能会直接镭 比邻智能是南京金东康信息系统有限公司旗下 雕在玻璃面上，反光程度更为强烈；为保护光伏组 企业，致力于创造自动识别、机器视觉、智能传感 件，部分工位的组件表面会覆盖磨砂膜，对条码会 产生雾化的效果；上述都提升了条码成像与识读的 难度； 2. 条码黏贴位置范围较广：光伏组件的尺寸较 大，当前条码黏贴的范围较广，这也要求了工业读 78

MACHINE VISION 2023/05 器等物联网数据采集和应用领域的世界一流智能终 三、项目的总体方案设计和实施 端产品。多年来，比邻智能已协助光伏行业的较多 头部客户引入和使用工业固定式读码器用于生产流 1. 核心技术的设计和突破 程和检测追溯，助力更好地实现广大的光伏制造商 的重要关注点。 为实施光伏的读码追溯项目，首先要针对光伏 组件制造的核心问题，在核心技术上进行专门设计和 1. 推动光伏行业的数字化及全流程追溯：条码 突破，才能为系统搭建做基础准备。为此，我们在几 的采用，给每个组件赋予了属于自身的一张“身份 个方面进行了设计，其成果或结果阐述介绍如下： 证”。在制造过程中，读取这张“身份证”，制造 商能够通过 MES 类的相关软件，实时关注组件在 1）在光源设计上：引入高反射率的反光杯光 整个工艺流程中的状态，同时也能获取产线的相关 源设计和高反射镀层，在相同照明功率下，照明 状态，为质量管控，订单跟踪，处理产能瓶颈等工 强度可以提升 50% 以上，显著提升动态读码速度 作提供数据支持。在组件下线后的流通和使用环节 30% 以上；同时，配备丰富的光源组件设计，采用 中，通过读取这张“身份证”，最终客户也能获取 偏振和雾化设计，针对光伏的条码和玻璃反光，将 组件的相关重要信息，从而实现了流程的闭环，真 会有显著的图像改善提升；通过照明强度的提升， 正完成了全流程的追溯。 结合偏振雾化的设计，最终实现高速和抗反光成像 的共同改善； 2. 提升产品质量：光伏组件的生产工艺流程较 多且复杂，同时也包含了大量的检测环节（例如外 2）在解码算法上：解码算法是条码识读的核 观测试，功率测试，安规测试等）。通过每道工序 心。在解码方法上，针对光伏的应用重点进行了几 中对组件上的条码进行数据采集，制造商能够知悉 个方面的改进。一方面，在找码定位上，引入多核 组件是否完成了全部制造工艺，并通过了各项检测 处理以及智能搜索算法，在找码时间上大大缩减； 和检查项目，从而确保此组件为合格产品。同时也 同时，针对磨砂难解的条码，引入超高分辨率成像 能通过检测环节中的问题反馈，及时跟踪并处理各 复原算法技术，极大程度上还原条码，保证识读； 类质量和工艺问题。 3）在自动对焦上：引入 TOF 快速变焦技术， 3. 挖掘并提升产能：光伏组件产线的产能提升 在原本图像对焦的基础上，实现更快更动态的对焦， 也是制造商的着重关注点，通过制造和检测工序中 以满足不同工位的距离要求； 对组件条码的采集和 MES 系统对数据的实时处理 和汇总，制造商能够清楚地知悉组件的制造周期， 4）在设备快速调试上：在自动参数配置上， 并找到产品制造中的产能瓶颈并进行工艺优化处 比邻智能为方便和确保每个工位的厂线工人的快速 理。同时也能够合理对产线进行优化升级，例如增 无障碍地对读码器系统进行配置，在自动调参算法 加耗时较长的工艺设备数量，去除冗余的相关等待 上面进行了极大的设计和优化投入，调参时间在 时间等方案。 30 秒内，获取的参数的匹配性和适应度大，对产 线起到了快速便捷的作用。 在这个过程中，比邻智能基于光伏条码识别的 特点、应用要求，在产品和解决方案中进行了一系 列专门的设计和考量——从算法设计、软件和硬件、 现场系统搭建等提升各个方面，以确保读码率，同 时满足光伏组件高速 / 提速生产下的读码需求。 图 2 层压机工位的读码追溯 79

CASE 应用案例 图 3 耐压检测机台的读码追溯 图 4 上工装 / 下工装 工位的读码追溯 2. 具体典型光伏工位的设计与实施、经验总结 典型工位 应用要求 对应方案 经验总结 采用偏振光照明，避免镜面反光 玻璃面反光 采用以太网通讯，交换机组网实现 1. 与设备商确认通讯方式， 预先进行长距离线缆的布线 层压机工位 上下两层多台读码 I/O 逻辑自定义， 2. 根据现场情况， 功能实现对抖动信号的屏蔽处理 选择合适的信号触发方案 组件材质和抖动， 对光电产生误触发 狭小空间， 采用小型化产品， 1. 指令仿真功能， 人员进出困难 方便紧凑空间集成自动对焦， 可兼容多种指令格式并可灵活配置 无需后续调整安装距离 2. 采用自动对焦， 耐压检测机台 垂直安装 避免当条码规格发生变化时， 采用偏振光照明 / 分组照明， 定焦产品需要重新调整安装位置的不便性 触发方式多样 避免反光，实现垂直安装 支持多种触发方式， 指令 / 外部信号 / 感应模式 / 连续触发模式 支持触发指令的灵活配置和兼容 上（下） 组件高速运动中读取 高亮度照明， 1. 选择合适高像素和高亮度照明的型号 工装工位 保证高速拍照时的光照充足高速读取算法， 2. 根据产线的实际情况， 组件运动有偏差， 保证在高速移动下抓取图像和解码 选择合适的光电传感器或行程开关， 需要较大视野覆盖 避免误触发信号的产生 采用合适的高像素 CMOS， 能够覆盖更大视野的情况下， 又不会降低动态读取性能 四、实施效果与成绩 通过对光伏组件生产过程的接近 20 道工艺的读码追溯的系统设计，比邻智能所设计的读码器以及系 统能够优异地满足所有需求。我们解决了反光、磨砂雾化、广角、高速等问题。 今日，各个行业正处于产业升级和高速上升阶段，工业自动化正在快速覆盖，比邻智能也将在条码识别、 OCR 与 RFID 识别、2D 和 3D 视觉检测等方面进行产品、技术以及行业应用的创新突破，助力工业智造， 为客户创造价值，实现共赢！ 80

MACHINE VISION 2023/05 大族视觉新能源行业应用案例 深圳市大族视觉技术有限公司 胡铭珂 动力电池作为新能源汽车的动力核心，其品质 HV 系列智能机器视觉软件架构完善、功能齐全、 直接关系到新能源汽车的性能和安全，然而动力电 拥有数十个视觉算法工具，具有简单、高柔性化等 池生产工艺复杂，技术壁垒高，需要前期大量的研 多个显著优势，包含视觉定位、尺寸测量、检测及 发投入，且过程中也会不可避免的出现各种缺陷。 信息识别等功能，拥有强大的逻辑处理能力，可以 为减少错检、漏检等问题，可在动力电池生产工艺 同时处理多个检测任务，秉承简易、灵活、高效、 环节引入视觉检测。 易上手的特性，可以适应大多数项目的需求，为客 户提供快速搭建视觉应用服务。 大族视觉配合自动化的快速发展和制造工艺的 迭代升级，倾力打造专业、智能的视觉软件，搭配 HV 系统配置了成熟的视觉算法，简化了机器视觉 精益、可靠的硬件产品，提供全面的机器视觉解决 系统的复杂度，具有便捷的适配参数功能，不需要 方案，助力锂电行业高速发展。 编写任何代码，降低了对操作人员的技术要求低； 同时还拥有丰富的业务工具，对位多个场景，标准 HV 系列智能软件系统 化配置流程，引导式操作，步骤简单；定制化的业 务部署，全方位、多层次满足客户需求。 HV 系列智能软件系统是大族视觉所开发的一 款智能机器视觉软件，与传统的视觉系统相比， HV 系列硬件产品 系统主界面 机器视觉系统的核心是图像的采集和处理。所 有信息均来源于图像，高质量的图像会大大降低图 像处理的难度，提高系统的精度和可靠性，而合理 有效的照明方案可提升图像质量。 相机 1. 优化硬件设计，性能稳定 2. 可输出闪光灯同步信实现曝光与补光的精确同步 3. 可输出多种格式图像数据 4. 优异的图像插值算法，更好的颜色还原 系统运行界面 81

CASE 应用案例 镜头 1. 高分辨率、高对比度、超低畸变 2. 卓越的光学设计，高解像力 3. 坚固的结构设计，抗震性能好 光源 检测结果 1. 高强度 LED 阵列，大面积打光 2. 光源照射角可根据安装方式调节 极 耳 中 心 位 置 检 测 上 下 偏 移 规 格：0mm~ 3. 颜色可根据需求搭配，自由组合，尺寸灵活定制 30mm，左右偏移规格 0mm~60mm，焊点焊印面 积规格 15mm² ~200mm²。 铜片焊点 铝片焊点 锂电池行业应用案例 铜极片 铝极片 转接片设备焊接检测 转接片焊接是电池电芯生产流程中极为重要的 一道工序，起到连接盖板及电芯的作用，焊缝质量 直接影响整个电芯的性能。 检测项目 检测阴极、阳极，检测焊点大小、偏移，检测 蓝色薄膜偏移。 检测方案 此图使用找线工具找到蓝色薄膜的竖边与治具的黑色边， 1. 软件：HSV 软件 2D+AI 深度学习 +3D 通过距离计算工具判断蓝色薄膜是否偏移 2. 硬件：定制组合镜头及光源 电池顶盖满焊焊后缺陷检测 新能源行业中，顶盖焊接是方形动力锂电池封 口焊接过程中的重要一环，顶盖焊接质量会影响整 个产品的安全性和稳定性，因此对焊接质量的检测 要求很高。 82

MACHINE VISION 2023/05 检测项目 爆点、凹陷、断焊 \& 漏焊、毛刺凸起。 检测方案 检测方案 1. 软件：HSV 软件系统：2D+3D +AI 深度学习 1. 软件：HSV 软件系统 2D+3D 缺陷检测算法 2. 硬件：定制组合镜头及光源 2. 硬件：定制组合 2D、3D 相机，镜头及光源 检测结果 检测结果 识别并挑出爆点直径 ≥0.2mm，针孔 ≥0.2mm， 凹坑直径 ≥0.2mm，断焊长度 ≥1mm，漏杀率 ≤0%， 识 别 并 挑 出 爆 点 直 径 ≤0.2mm； 凹 坑 直 径 过杀率 ≤0.5%，误判率 ≤0.5%，扫描速度 ≥150mm/s， ≤0.2mm; 断焊、漏焊 ≤1mm；翻边＜ 0.2mm，顶盖 CCD 检测 ≥500 万像素。 凸起＜ 0.5mm，误判率 ≤1%，扫描速度 ≥250mm/s。 电池密封钉焊接焊后质量检测 动力电池作为绿色能源变革的关键节点，利用 效率与经济价值越来越高，受电池企业强势扩产带 在锂电池电芯制作工艺中，电芯封装进电池壳 动，机器视觉在锂电行业应用的需求量也迅速增加， 体后，会在壳体上方的注液孔注入电解液，注液完 相信随着生产工艺的完善与机器视觉检测的应用配 成后进行焊接密封，焊接缺陷会造成动力电池性能 合，针对锂电生产中出现的各类缺陷都会迎刃而解。 大打折扣甚至报废，因而密封钉焊接质量的检测对 动力电池的品质护航起着关键作用。 大族视觉是以 AI 智能和视觉检测为技术核心 的企业，深耕机器视觉行业多年，始终坚持自主创 检测项目 新，积极开发先进的机器视觉和专业算法，专注于 深度学习和图像底层算法，不断提升智能检测水平， 爆孔、小爆孔、针孔、焊渣、熔钉、台阶。 现已拥有大量的锂电行业应用案例，可提供专业的 机器视觉技术支持和科学成熟的解决方案，满足各 类自动化需求，实现智能制造，提高生产效率。 83

CASE 应用案例 华睿科技读码器 助力锂电行业全工序读码追溯 浙江华睿科技股份有限公司 刘伟 一．引言 华睿科技是一家专注于机器视觉与移动机器 力锂电池装机量从 43.2GWh 增长到 296.8GWh， 人产品研发、生产和销售的专业性公司。聚焦智 年均复合增长率达 47.0%，其中 2021 年同比增长 能制造和智能物流，一直坚持围绕客户需求，为 102.2%。锂电企业积极推进锂电池产能建设，抢占 客户降本创造价值，让工厂更智能。华睿科技作 市场份额和提高竞争力。 为一家国家高新技术企业，始终坚持技术创新， 研发人员占比超过 60%，专利申请近 400 件。在 华睿科技产品与解决方案广泛应用在锂电行业 嵌入式软件、图像优化、识别算法、网络传输、 各个工序，包括缺陷检测、尺寸测量、纠偏对位、 导航定位、调度及运动控制等技术领域，均处于 读码等，本文主要介绍的是读码应用。要满足高读 业界领先水平。 码率、低耗时、通信稳定，同时也有扩展的质量等 级评价功能，ISO/IEC 29158(AIM-DPM), ISO/IEC 全球新能源市场方兴未艾。2012-2021 年，全 15415, ISO/IEC 15416，分为 A/B/C/D/F 五个等级； 球新能源汽车销量从 12.5 万辆增长到 675 万辆， 读码结果统计和码质量评价功能可以协助用户改善 年均复合增长率达 55.8%。新能源汽车行业高景气 读码环境和印刷质量，进一步提高读码效率。下文 带动动力锂电池进入高成长时代，全球动力锂电 会从生产工序和对应的读码场景、应用案例和读码 池装机量快速增长。2016 年至 2021 年，全球动 器产品几个方面分别表述。 84

MACHINE VISION 2023/05 二．锂电行业应用 对焦和自动训练，简单易用易部署；红 / 白 / 蓝 光源和外配光源可选，偏振和匀光等多种设计， 首先是主要的生产工序和和对应的读码场景以 适应反光等复杂码场景。 及应用案例。 读码算法是基于 AI 的自研算法，支持工业常 读码场景和方案模型示意图 用一维 / 二维码类型，结合精定位、多数决等优 化策略，能有效抵抗各种缺陷干扰，具有识别速 度快、读码稳定的优点。不仅适用于通用读码场 景，对低 PPM、大景深、低对比度、倾斜扭曲， 以及粗糙金属表面 DPM 码，划痕缺陷干扰等复杂 场景仍可保持很高的准确率和读码速度。产品采 用内嵌神经网络加速引擎的专业计算机视觉嵌入 式 SOC 芯片进行并行加速，优化视觉处理速度， 低耗时场景读码性能可达 90 个 /S，满足高速动态 读码要求。在锂电行业我们针对漏液 / 脏污 / 反光 / 遮挡等现象做了大样本的优化迭代，高要求场景 读码率高于 99.99%，平均耗时在二三十毫秒。 生产工序和应用场景 三．产品和技术 华睿科技智能读码器围绕算法、光学、变焦 光学设计方面，针对读码应用设计定制镜头。 三方面推新迭代，不断提高读码准确性和速度。 不同镜头焦距覆盖不同工作距离及精度要求，支持 丰富的产品型号和光学配件，支持自动训练让操 自动调焦，方便部署；提供红 / 白 / 蓝多色光源照 作部署更简单，凭借优异的 AI 性能和超高读码率 明以及外置光源可供选择，有效抑制局部反光过曝 可广泛应用于千行百业。分辨率从 40 万到 2500 等问题提高图像质量。硬件设计方面，读码器采用 万可选，可达 2500 万超大分辨率；支持 AI 深度 紧凑型设计，对安装空间适应性较好，外壳和用户 学习，高性能、读码率高达 99.99%；可支持自动 接口采用隔离设计，抗信号干扰能力强，可靠性 高。功能方面支持多种常用通讯协议，包括 TCP Client，TCP Server，FTP，RS232，Profinet、 Modbus、EtherNet/IP、MC(SLMP)、FINS/ UDP、FINS/TCP 等，快速稳定与工控机、PLC、 MES 系统等对接。 85

CASE 应用案例 硅片分选机视觉检测应用： 提升品质，助力光伏行业发展 东莞市磐鑫自动化科技有限公司 何鑫 随着全球对可再生能源的需求日益增长，光伏行业 四、 光源亮点 迎来了前所未有的发展机遇。作为光伏发电的核心组件， 硅片的质量直接影响着光伏电池的转换效率和整体性能。 光源作为视觉检测系统中的关键组件，其性能 因此，采用先进的视觉检测技术对硅片进行分选和质量 直接影响着整个系统的检测效果。本方案针对硅片 检测显得尤为重要。本文将为您详细介绍硅片分选机视 分选机的各个工位，选用了具有高品质、高亮度、 觉检测应用的背景、方案特点、应用范围以及光源亮点 高稳定性的光源，确保视觉检测系统在各个工位上 等内容。 的优异表现。 一、 背景介绍 以下是各个工位所使用光源的亮点： 硅片分选机是光伏行业中必不可少的一种设备，主 背光源检测尺寸工位： 要用于检测硅片的尺寸、厚度、倒角、崩边、脏污、隐 裂等质量指标。为了提高硅片分选机的检测精度和效率， 背景介绍：这一工位的主要目的是检测硅片的 许多企业开始引入先进的视觉检测技术，通过使用高品 尺寸和形状，传统的尺寸测量方法通常是通过目测 质光源、专业相机和精确算法，实现硅片质量的全面把控。 或者机械测量，这些方法不仅效率低下，而且易受 到环境光影响而出现误差。 二、 方案特点 推荐光源：采用 PPX 背光源，提供均匀、高亮 全面检测：方案覆盖了硅片生产过程中的各个关键 度的照明，使相机能更清晰地捕捉硅片边缘信息， 质量指标，确保硅片质量得到全面把控。 背光源在此工位的应用可以有效减少环境光的干扰， 提高检测的准确性和稳定性。 高效稳定：采用先进的视觉检测技术和高品质光源， 实现快速、准确的硅片检测。 倒角检测崩边检测工位： 系统集成：方案整合了各个工位的检测功能，便于 背景介绍：这一工位的主要目的是检测硅片的倒 企业进行统一管理和调优。 角和崩边质量，传统的检测方法往往只能检测硅片表 面明显的缺陷，无法发现细微的倒角和崩边缺陷。 可定制：根据企业的具体需求和生产线规模，方案 可进行定制和优化。 三、 应用范围 本方案适用于各类硅片生产企业，涵盖多晶硅、单 晶硅等不同类型的硅片制造，同时可满足从小规模生产 线到大规模生产线的视觉检测需求。此外，方案还具有 良好的兼容性和可扩展性，可根据企业的具体需求进行 定制和优化。 86

MACHINE VISION 2023/05 推荐光源：使用 PPX 同轴光源，强化硅片倒角和 崩边的光线反射，有效减少光线在硅片表面的反射和 散射，提高图像质量和检测准确性。 侧面崩边检测工位： 背景介绍：这一工位的主要目的是检测硅片侧面 的崩边质量，传统的检测方法往往无法全面检测硅片 的侧面崩边，而且还容易受到光影和反光的影响。 推荐光源：采用 PPX 多角度隧道光，从不同角 度照射到硅片表面，使得脏污部位的光线反射和散 射更加明显，便于线阵相机捕捉到脏污的信息，提 高检测的准确性和灵敏度。 隐裂检测工位： 背景介绍：传统的隐裂检测方法通常是通过目 测或者显微镜观察硅片表面来检测隐裂缺陷，但是 这种方法存在检测效率低下、准确性不高的问题。 推荐光源：选用绿色点光源和 80 白色同轴线 推荐光源：使用 PPX 红外线光源，能够穿透硅 光源，绿色点光源能够清晰地照射到硅片侧边正面， 片表面，使隐裂更容易被检测到，提高隐裂检测的 实现侧面崩边的检测；而上下同轴线光源分别照射 准确性，确保硅片质量的全面把控。 到侧上方和侧下方，提供充足的照明，使得线阵相 机能够捕捉到侧面崩边的细节。这种组合光源方案 通过采用高品质光源、专业相机和精确算法， 能够实现高效、准确的侧面崩边检测。 我们助力硅片制造企业实现产品质量的全面把控， 提高市场竞争力，推动光伏行业的可持续发展。 前后崩边检测工位： 随着光伏行业的不断发展和技术进步，硅片分 背景介绍：这一工位的主要目的是检测硅片前 选机视觉检测技术的应用也将日益广泛。这种技术 后崩边的质量，传统的检测方法往往只能检测硅片 将进一步优化硅片制造过程，降低生产成本，提高 表面的缺陷，无法全面检测硅片前后崩边的质量。 产品品质，助力企业在市场竞争中脱颖而出。 推荐光源：使用 PPX 组合线光源，为硅片的前 后崩边提供均匀、明亮的照明，使线阵相机能够更 清晰地捕捉到崩边的细节，提高检测的准确性和稳 定性。 脏污检测工位： 背景介绍：这一工位的主要目的是检测硅片表 面的脏污和杂质，传统的检测方法往往无法高效、 准确地检测硅片表面的污渍和杂质。 87

CASE 应用案例 数之联追光 AI-AOI 助力解决 海尔 PCBA 传统 AOI 核心痛点 成都数之联科技股份有限公司 邓超 李采薇 技术进步持续推动着电子设备朝着轻薄化、小 数之联追光 AI-AOI ZG6000 能有此优良的表 型化方向发展，为实现更少空间、更快速度、更高 现，源于数之联从整机设备的图像采集、图像处理、 性能的指标，工厂对 PCBA 的“轻、薄、短、小” 图像分析都进行了系统的设计与考量，特别是在数 要求不断提高，AOI 检测由曾经的“选配”转变为 之联强大的 AI 能力加持后，工厂质检变得更为简 “标配”。 单、高效、准确。 在 海 尔 工 厂，PCBA DIP/SMT 工 艺 段， 现 有 • 图像采集 的炉前 / 炉后传统型 AOI 存在以下两个核心痛点： AOI 是基于图像分析的，那么获取图像信息 （1）操作复杂、调试时间长。海尔多为家电 的准确性及稳定性对于检测结果非常重要，可以 类 PCBA 生产，波峰焊的焊点形态变化大，传统算 想象，若采集的图像看不清楚或看不到被检测物 法需针对每一类焊点进行调试，大大增加了调试时 体的特征点，那么准确的缺陷检出也就无从谈起。 间。同时，还对人员的熟练程度有要求，一旦人员 除了使用高分辨率、高速、高精密的成像模组之外， 流动，难以延续设备检测效果，从而影响生产效率。 数之联创新性的使用了“飞行拍照“模式，使设 备在运动中可以不停顿的拍照，设备的拍照效率 （2）误判高。传统算法难以兼容焊点的多形 更高、设备运行更稳定，为后续高检测指标奠定 态特征，误判比较高，大大增加了操作员复判的工 了坚实基础。 作量。过多的误判，操作员容易疲劳，漏检的风险 随之增加。 据产线员工介绍：一块 A4 大小的 PCBA 板， 一名经验丰富的工程师制作一个程序大约需要 3-4 小时，同时，大约会有 20 个点的误判。这无疑大 大增加了工程师和操作员负担。 海尔工厂在导入数之联追光 AI-AOI ZG6000 • 图像处理 后， 大 大 降 低 了 其 漏 检 率（<0.01%） 与 误 判 率 （<0.1%）。新产品换线时间由 3-4 小时变为 10 分 图像处理进一步的保证了图像信息的准确性及 钟左右，从之前 1 名工程师管理 2 条产线，到现在 稳定性。在 AOI 检测中，有多种因素会造成图像 1 名工程师可管理 5 条产线。同时，将复判和维修 工位合并，减少 1 条产线 1 名操作员。 88

MACHINE VISION 2023/05 退化，比如 AOI 图像获取传输过程中，外界杂散光、 术，构建一个多因素关联模型，来分析生产过程和 光电二极管电子噪声及温度、光源的不稳定不均匀、 缺陷之间的关系，并按照各个因素对产品缺陷的影 机械系统的抖动、传感器温度等原因导致不可避免 响程度进行排序。这个技术可以帮助我们找到缺陷 的使得图像因含有噪音而变得模糊。这都给图像识 产生的原因，并进一步优化生产过程，提高产品的 别、图像切割等后续处理工作带来了困难。为了保 质量。 证成像精确性、一致性，数之联进行了大量的校准， 包括：解析度、白平衡、畸变校准、显示器校准等。 当 前， 数 之 联 追 光 AI-AOI 系 列 具 有 完 整 的 同时，为了确保不遗漏任何一丝可能的缺陷，数之 产品矩阵，可应用于 PCBA(DIP/SMT) 炉前 / 炉后 联创新性的采用了全视野整板拼接成像，将不同位 生产线上的外观缺陷检测。整套产品检测系统基 置、不同方向的局部图像进行准确地拼接和校正， 于深度学习算法，将传统 AOI 的调试时间缩短到 从而消除拼接接缝带来的误差，实现全视野无缝拼 10 分钟左右。同时，它的误判率很低（<0.1%）， 接的效果。这种检测技术可以实现对 PCBA 表面缺 检出率可以达到 99.99%，具有行业领先的水平。 陷的检测识别，有助于提高 PCBA 制造的质量和工 相较于同类产品，追光 AI-AOI 系列搭载了数之联 艺水平。 强大的深度学习神经网络模型，训练数据及模型 框架来源于泛半导体行业相应缺陷数据，模型具 • 图像分析 有高泛化能力，能够兼容焊点形态变化。这些能 够从根本上解决传统 AOI 需要长时间编程 / 调试、 追光 AI-AOI 系列均围绕 AI 能力核心打造， 误判率高、会因为不同操作人员而出现不一致性 引入了多个关键 AI 技术进行图像分析，其中主要 等问题。 包括： （1）深度学习。数之联利用深度学习技术， 构建了一个深度卷积神经网络模型，通过 end-to- end 的方式来学习产品图像中缺陷因素之间的深层 逻辑关系，包括局部与局部、局部与整体之间的联 系，以此来实现对产品缺陷的检测和分类。 （2）缺陷自动检测。数之联采用深度学习算 法，使用 Mask 来获取不良图像像素区域，并使用 Box Regression 把缺陷位置精确定位到图像上。 （3）模型自动优化。数之联使用自动迭代的 训练方法，对模型进行优化，提高检测精度。如果 有新的缺陷产生，我们会更新模型或者重新训练， 以满足识别新缺陷的需求。 （4）检测算法自动验证。数之联采用基于图 数之联秉承“品质是产品的内在生命力”，从 像处理的模板比对算法，将检测结果与标准库中的 设计到生产 / 品控等多个环节，都严格遵循 ISO 质 模板数据进行比对验证，并将错误的结果标记出来， 量体系，用心打造高品质的产品。 然后回去将算法进行优化，再继续训练，提高缺陷 检测的准确性。 （5）缺陷关联分析。数之联采用机器学习技 89

CASE 应用案例 探寻未来汽车制造的智慧之光， 斯睿特机器视觉引领焊缝品质提升！ 广州市斯睿特智能科技有限公司 李扬 近几十年，汽车工业迅速发展，车型、规模及种 针对以上技术痛点，斯睿特自主研发的 3D 激 类都呈多元化，各个公司产品都在不断更新，这也为 光焊道检测系统，采用一体式检测头，采用蓝紫激 机 器 视 觉 在 汽 车 行业 的应 用 提 供了广 阔 的 空 间。机 光，避免噪音和振动对检测结果的影响。结合高频 器视觉是一种利用机器代替人眼来做测量和判断的 图像传感器获取高精度原始数据，提高检测精度和 技术，它能够自动对各种物体进行检测和分析，可以 可靠性。 应用于汽车的制造、维护和质量控制等多个方面。 3D 激光检测头 汽车焊缝的品质对汽车整车品质、安全性能有 着非常重要的影响。汽车焊缝的强度直接影响到车 软件界面图 身的安全性能，焊缝强度不足会导致车身在碰撞中 变形或断裂，影响整车的安全性能。焊缝表面的质 软件采用 3D 点云成像图像处理算法。提取焊 量和颜色直接影响到车身的外观和美观度。因此， 缝区域的高度值，输出最大高度、最小高度及高低 汽车制造商都非常重视汽车焊缝的品质控制。 差，对焊缝品质进行判断。可检测焊缝是否偏移、 人工目视进行检测时，技能出众且有经验的检 3D 激光焊缝检测点云图 测员，也会遗漏一些细微缺陷，不仅非常费时，还 容易出现误差，影响检测结果的准确性。检测数据 处理复杂，且无法实时反馈检测结果。人工检测还 易受疲劳影响，导致检测结果精度下降等等，因此 人工检测已无法满足现代化生产的需求。所以汽车 制造商们为了解决这些问题，一直想通过各种自动 化检测设备和技术，提高检测效率和精度，确保汽 车焊缝的质量符合要求，从而提高整车的品质和安 全性能。 机器视觉是可以实现对车身焊缝的自动检测和 分析，确保焊缝符合标准要求，提高生产效率和质 量。但是由于车身焊缝检测过程中，焊接噪音和振 动会对检测结果造成干扰，车身焊缝的表面质量、 颜色和形状会因光线照射角度、光线强度等因素而 产生误差，车身焊缝的形状、尺寸和位置可能因焊 缝背景的影响而产生误差，以上对视觉检测数据的 准确性和可靠性都是一个挑战。 90

MACHINE VISION 2023/05 中断、材料堆积、鱼鳞纹、焊缝缺口、焊缝气孔、 国内某主机厂应用实绩 焊丝残留等。 靠的解决方案。随着技术的不断进步和应用的不断 单班可节省 3-4 个人工，是传统自动化改造及 扩大，相信机器视觉技术在汽车行业的应用前景将 治具改造投入成本的 10%-20%，增加新车型零设 会更加广阔。 备投资，可对应多种车型。 随着汽车制造商对汽车焊缝品质的要求越来越 高，机器视觉技术在汽车行业的应用已经成为不可 避免的趋势。斯睿特自主研发的 3D 激光焊道检测 系统，采用先进的激光检测技术和软件处理算法， 能够准确地检测和分析汽车焊缝的品质，提高生产 效率和质量，为汽车制造商们提供了一种高效、可 图漾低代码 RVS® 机器视觉开发平台 推进手眼协同规模化落地 上海图漾信息科技有限公司 陈圆 2023 年初，由工信部等 17 部门联合印发《“机 众所周知，机器人智能应用，除了自身结构及 器人 +”应用行动实施方案》，提出将机器人应用 视觉传感器外，也需要与软件相结合，才能组成完 推广作为科技创新、行业规划、产业政策重点方向， 整的自动化系统。 统筹政策、资金、资源予以全方位支持。在新一轮“机 器人 +”浪潮推动下，机器人有望在众多行业实现 为全球领先的 3D 机器视觉提供商，致力为多 更高渗透率，迎来全场景落地的发展“黄金期”。 行业合作伙伴、客户提供完整 3D 工业相机硬件 - 软 件平台 - 行业解决方案服务。通过 3D 技术研发创新， 91

CASE 应用案例 图漾持续推出多款创新产品，以高性能 - 性价比产 针对以上情况，图漾技术团队通过自研 3D 工 品服务，满足工业、物流、机器人、安全、医疗、 业相机的前端数据采集，搭载 RVS-SE 软件平台， 科研等多行业客户多样化需求，出货量全球领先。 利用平台组件拖拽功能，快速完成拆垛流程搭建。 针对机器人行业，图漾基于多年规模化项目服 同时基于软件内置超级模型，无需模型训练， 务经验，在 2022 年 5 月发布的一款免费授权、低代 可兼容引导多品牌机械臂，实现极致性价比、简单 码、快迭代、支持二次开发及客户系统集成的 RVS ® 易运维、高稳定运行的自动化拆垛应用，可适配多 机器视觉开发平台，以组件拖拽、仿真交互的一站 数场景下所有垛型及不同材质 / 尺寸 SKU 拆垛，识 式开发范式，从模型搭建到调优交付，全流程降低 别准确率 ≥99.9%。 开发难度，缩短项目周期，开放 SDK，提供 API 接口， 赋予开发者无限制的创新空间，让机器人手眼协同 开发更简单。目前 RVS 软件平台已在自动化拆垛、 工件无序分拣、新能源自动充电等多个场景、总计 超 50 个实际项目中实现规模化应用。 应用一 自动化拆垛 在制造及物流行业，各种工业机器人被应用于 原材料 / 货物的自动化流转，其中拆垛是常见应用 之一。“机器人拆垛”通常指利用机械臂将物料按 顺序从托盘上卸载的过程，可以用于替代简单繁重 的体力劳动。 以某塑料制品企业拆垛项目为例，在客户生 应用二 工件无序分拣 产现场存在大量纸箱拆垛需求。生产车间可能存在 粉尘 / 颗粒物 / 烟尘 / 粉体等工业粉尘，夏冬季高 制造业现今广泛部署了 Bin picking（工件自动 低温、多雨潮湿，复杂光线干扰等问题，垛型随机 抓取）来智能处理各种工件的拆零分拣及放置。常 且纸箱品规众多混码，并且同一托盘上纸箱的尺寸、 见 Bin picking 通常包括 3D 机器视觉系统、机械手 图案、位置等不固定，垛型不统一，传统示教方式 和软件平台，实现从一个区域（分拣箱）分拣零件 无法满足柔性需求，整体流程复杂，对节拍和稳定 并到另一个区域（传送带、托盘等）放置。 性要求高。 在某金属制品企业生产车间，上料环节中工件 包含随机摆放、紧密贴合、乱序堆叠等不同情况， 同时工件表面会出现暗色、一定程度反光等问题， 客户希望通过 3D 视觉伺服，基于软件应用解决工 92

MACHINE VISION 2023/05 件不同位姿情形下零碰撞地稳定抓取，并逐一从料框中抓取整齐 2023 堆叠或随意摆放的工件，并自动放置于机床或传送带上。 中国机器视觉助力 智能制造创新发展大会 在项目服务初期，图漾技术团队为客户规划了包含 3D 视觉、 深度学习、运动规划控制等多技术融合应用方案，基于 RVS 软 VisionChina (Beijing) 件对 3D 视觉采集的工件距离、尺寸、姿态构建抓取策略及路径 规划，使工件从可识别到可抓取，包含抓取前位姿，抓取位姿，抓 2023.05.17-18 | 北京国际会议中心 取后位姿，以及避撞检测等功能，最终引导机械臂完成自主规划 Beijing International Convention Center 路径、自主规避和自主精准抓取，真正实现了高效自动的无序分拣。 中国（上海）机器视觉展暨 应用三 新能源自动充电 机器视觉技术及工业应用研讨会 随着新能源汽车在全球范围内快速普及，车主里程焦虑及 VisionChina (Shanghai) 随时随地补能需求迫切需要完善解决。移动充电机器人作为一种 新型模块化充电方式，具备体积小成本低、导入周期短，场地改 2023.07.11-13 | 国家会展中心（上海） 造小、快速上线使用等应用优势，车主在充电时可通过应用程序 National Exhibition and 召唤其到达车辆位置并自动提供充电服务。目前在快速市场化阶 段，有望成为新能源充换电必选项之一，助力实现自动化、无人 Convention Center (Shanghai) 化、柔性的智慧补能应用。 中国（深圳）机器视觉展览会暨 在某移动机器人客户的自动充电项目配合中，客户希望采 机器视觉技术及工业应用研讨会 用 3D 视觉引导机器人精准识别充电插口并准确将充电枪插入端 口。工作场景存在室内及半室外等多种环境，各种车身颜色及漆 VisionChina (Shenzhen) 面反光、车辆停靠不规范及位姿偏差等多情形。 2023.10.30-11.01 鉴于以上因素，图漾科技技术支持团队首先采用 3D 相机 深圳国际会展中心（宝安新馆） 对车身外盖及内充电端口进行扫描定位，获取目标的点云数据， Shenzhen World Exhibition \& 基于 RVS 软件内置点云算法及智能算法，获取准确的定位坐标， Convention Center (Bao 'an New Hall) 自动纠正车辆停靠及复合机器人到位产生的方向和角度偏差， 降低停靠要求，并引导机器人将充电枪准确插入充电座完成充 电指令。 93

CASE 应用案例 全自动检测喷漆部件：提升质量保证水平 伊斯拉视像设备制造（上海）有限公司 张立猛 在许多汽车制造商及其一级供应商的生产过程 的供应商 ISRA VISION 增强了其大获成功的 Car 中，经验丰富的员工会用肉眼来目视检查喷漆表面 Paint Vision (CPV) 系统，该系统也被用作检测整 是否存在缺陷。然而，即使拥有多年的经验和培训， 个车身的标杆。随着自动检测喷漆部件这一高级概 以保证质量为目的的目视检查也是非常主观的，并 念的出现，现在也能可靠地检测前后保险杠等外部 且在可再现性或可量化性方面往往会给出不同的结 组件的缺陷。 果。检测质量取决于多种因素，从个人对质量的看 法，到自行决定的余地，甚至是当天员工的表现。 新 开 发 的 全 自 动 系 统 配 备 PAINTSCAN 然而，被忽视的缺陷会在生产过程中造成高昂的额 Compact 传 感 器， 使 用 工 业 机 器 人 对 喷 漆 表 面 外成本和错误，从而带来高成本和高风险因素。 进行在线检测，甚至可以对大型部件进行检测， 同 时 始 终 与 生 产 量 保 持 同 步。 在 这 套 可 扩 展 且 用于保证质量的高效自动检测解决方案可以降 高 度 灵 活 的 系 统 中， 有 一 到 四 个 机 器 人 配 备 了 低成本并提高涂装工艺的质量。由机器人引导的检 PAINTSCAN Compact 传感器。该系统使用高性 测系统能够客观一致地对喷漆表面质量进行评估。 能多模 LED 线来检测尺寸 ≥ 0.15 mm 的缺陷，并 机器人可以确保传感器在待检表面的轮廓上精确移 会使用过采样技术在 200 Hz 的频率下对每个缺陷 动。 这项工作十分重要，但人类的手眼协调能力 进行多次检测或检查，然后按多个尺寸进行分类。 却无法长时间持续地以所需的精度和可靠性来重复 形貌和非形貌缺陷的缺陷检测率通常 > 98.5%。数 这项工作。 据在加工周期中进行处理，因此可以立即得到缺 陷信息。对收集到的检测数据进行分析可以持续 这些用于喷漆检测的智能系统直接集成到生产 不断地优化生产工艺。 线上，可以检测单个涂装部件的表面乃至整个车身。 自动检测系统可以大大提前确定涂装工艺中的错误 单个喷漆部件的可靠质量控制 并加以纠正。通过对需要修复的区域进行精确标记， 它们还为人工返工提供了宝贵的帮助。此外，系统 PAINTSCAN Compact 传 感 器 中 的 先 进 多 模 还能精确定位缺陷位置，便于机器人进行修复。 LED 线技术采用新的传感器技术和精密光学器件， 能够对大型区域的质量进行控制，并对相关的形貌 自动喷漆修复结合了光学检测、打磨和抛光工 喷漆缺陷（如杂质、环形坑和划痕）进行高度可靠 艺，从而能够提高工艺效率和节约潜力。 和精确的检测和分类。 检测表面缺陷是一项复杂的技术挑战，尤其是 对于紧密堆放的部件，包括保险杠、车身覆盖 当涉及到各种形状复杂的部件时，而解决这一挑战 件和扰流板，也能得到精确的检测。PAINTSCAN 的方法正是运用表面检测和机器人技术方面的专业 Compact 结合了机器人技术和表面检测的优势， 知识。凭借数十年积累的经验，走在检测系统前沿 能够检测出形貌和非形貌缺陷。可选的下游工作站 94

MACHINE VISION 2023/05 PAINTSCAN Compact 传感器能够可靠检出所有相关缺陷 企业生产管理智能解决方案 (EPROMI) （如杂质、环形坑、颜料缺陷、划痕）并加以分类。 改进后的喷漆检测可提高质量标准 会自动标记检测到的错误，以便进行返工。返工的 支持选项特别实用；其中包括机器人自动喷点标记 用于检测喷漆部件表面缺陷的自动化质量检测 和返工用激光标记界面。 解决方案以可靠和精确得出的结果保证了始终如一 的 高 质 量 生 产。PAINTSCAN Compact 传 感 器 可 新的喷漆检测解决方案结合了一个功能强大的 以大大提前确定涂装工艺中的缺陷并加以纠正。如 分类流水线，它定义了检测到的错误的类型和相关 此一来，它们显著减少了为消除缺陷而进行的昂贵 性，并用于在检测过程中生成与工艺相关的质量数 手工返工的需求，同时也提高了产品质量并确保质 据。例如，如果缺陷总是出现在喷漆部件上的类似 量稳定。 位置，系统就会将环形坑与其他类型的缺陷区分开 来，以表明存在工艺问题。您也可以选择为个别区 快速摊销自动检测解决方案的成本 域（引擎盖、车顶等）设置特定的公差。例如，直 接在客户视线范围内的主要表面上的缺陷，或具有 汽车行业面临巨大的成本压力，最终客户要求 中高优先级的次要表面（如车顶、车架）上的缺陷， 苛刻，且对质量的期望在不断提高。只有借助高效 以及通常在客户视线之外的部件上的缺陷。 和自动化的检测解决方案，才能以可接受的成本实 现出色质量。ISRA 与众不同的表面检测系统可以 随时进行改造。经营者可以从详尽的检测结果中受 益，而这些结果又奠定了系统性改进产品和生产工 艺的基础。 在工艺完成后，纠正成品的喷漆表面缺陷需要 很大的工作量。 PAINTSCAN Compact 传感器 修复此类缺陷成本高昂，往往会对生产的经 济可行性产生巨大影响。因此，部署自动表面检测 通过检测系统得到的所有数据均记录在喷漆缺 系统来检测缺陷很快就能得到回报：通过扫描缺陷 陷数据库中，从而能够进一步改进生产工艺。 而不是寻找缺陷能够以经济实惠的方式进行表面检 测。此外，缺陷检测也符合可再现性规范。员工因 统计数据可以通过定制的企业生产管理智能解 而可以专注于修复缺陷并消除其来源。这就能够节 决方案 (EPROMI) 显示在相应的仪表板上，而具体 省员工和生产成本，提高产品质量，减少投诉量， 的生产评估始终以 PDF 报告的形式提供。 从而确保竞争力。 95

CASE 应用案例 特种镜头在缺陷检测中的应用 湖南长步道光学科技有限公司 张浩 国内机器视觉从无到有，经过这十多年的发展， 的 0.1x 的远心镜头，也只能做到 9.3mm， 远远无 已经到了快速发展的时期，各个行业对视觉检测提 法达到项目要求。 出的要求越来越高，也有越来越多的项目是常规镜 头无法解决的，这就需要一些特殊定制的镜头来解 决，今天给大家分享我们长步道特种镜头的一些应 用场景。 或许大家都有遇到过高度差异比较大的物体 而能够提升景深效果的镜头，我们可以想到沙 的检测需求，这里给大家举一个案例，在新能源锂 姆镜头，沙姆镜头通过调整镜头和芯片间的沙姆角， 电池行业卷绕段，在卷绕过程中，极耳会逐步叠 以及配合合适的拍摄角度，能够将普通镜头的景深 加，可能会发生位置偏移的情况，当出现偏移量比 效果提升 1/3 甚至更高，但是普通的沙姆镜头存在 较大的时候，从侧面进行极耳翻折的检测，极耳的 视差，无法保证倍率一致。那么将两者结合起来是 位置不一样，也就是极耳到检测系统的工作距离会 不是就可以了呢？将远心镜头做成沙姆结构，在保 发生变化，客户就要求假定最大变化 20mm，在 持远心光路的基础上还能增加景深，但我们对现场 20mm 的变化范围内检测极耳翻折缺陷，然后根据 翻折的程度来进行判定 OK NG，这个项目的难点 在于要做到 20mm 的景深，同时还要保持倍率一 致，无视差，如果拍摄存在视差，前后位置极耳翻 折的大小在图像上就会有区别，无法满足拍摄需求。 沙姆镜头成像示意图 提到无视差，大家第一反应应该是远心镜头， 普通镜头效果 沙姆镜头效果 远心镜头因为独特的平行光路，能保持图像放大倍 率一致，但远心镜头也并非十全十美，也不能突破 光学定律，远心镜头的景深跟放大倍率、光圈还有 NA 值有关，我们可以看到，列表中就算景深最大 96

MACHINE VISION 2023/05 使用空间和使用的镜头倍率进行光学模拟，发现景 1. 镜头内部快速对焦，实现超景深 (22mm) 深还是无法达到要求。 2. 双远心 ( 物方远心、像方远心 ) 3. 工作距离变化 22mm 倍率恒定不变 综合以上来看，远心镜头能保持倍率一致，但 4. 镜头内部集成控制器与软件 是景深不够，沙姆镜头在特定情况下才能满足景深 5. 镜头通信接口为串口 RS232 接口， 要求，而且会存在视差，目前市面上也有能满足这 直接连工控机 两个要求的方案 液态镜头，通过改变液态镜片的 6. 光圈可调节 曲率，来实现不同工作距离下的对焦，同时也能保 7. 相对液态镜头成本更低 持倍率一致，但目前液态镜头的价格比较高，成本 上不占优势。 A 对于有高度差异大的被测物能快速实现对焦与精准测量 B 对于表面为斜面的物体通过多张图片融合实现精准测量 基于以上市场现状，长步道设计了一款既能保 候，比如安装距离比较高，高温、噪音、粉尘等环 证景深，又能保证倍率的价格更低成本更有优势的 境下，每次对焦都需要爬上爬下，这时候就可以使 特种镜头 超景深电动对焦远心镜头，这款镜头内 用电动对焦镜头，通过电脑控制镜头对焦；还有一 部集成了超声波马达，通过控制马达能做到在镜头 些不规则物体的测量，可以做到一个工位多次对焦 位置不变的情况下，物体工作距离变化 22mm 都 检测，节省工位，简化视觉系统。 能对焦清晰，也就是能做到景深 22mm，而这款镜 头是在双远心镜头的基础上实现电动对焦，因此能 说到简化视觉系统，对我们长步道了解的同行 保证在景深 22mm 的变化范围内，保持放大倍率 可能对我们这款产品有一定的了解，检测一些小物 不变，可以进行精密的尺寸测量，而镜头使用的超 件的外侧缺陷的时候，传统方案是使用多组镜头多 声波马达对比普通的步进马达的优势在于，精度更 组相机分角度拍摄，而这款 360°外壁检测镜头可 高，马达本身能做到的最小精度是 0.03°，对应 以使用一颗镜头一颗相机，从物体上面拍摄，将物 到镜头上的调焦角度甚至能做到 0.001°，再细微 体环外侧信息通过折反射的原理，在一张图片上成 的变化都能及时捕抓，超声波马达转速更快，最快 圆冠状成像，简化视觉系统，适用于瓶盖、螺丝等 每钟能转 400 转，对应到镜头上就是最快 1.5 秒内 小物件的缺陷外观检测，因为畸变较大，不适合进 就能实现 22mm 的景深变化，而且超声波点电机 行尺寸测量。 不会发生堵转烧电机的问题，响应速度快，响应时 间小于 1ms，控制接口为通用的 RS232 接口，镜 头光圈 F5.6-F22 可调节，能做到跟液态镜头一样 的事情，价格却比液态镜头低将近小一半，在成本 更有优势。除了能应用在上述锂电卷绕段极耳翻折 检测外，这款镜头还能应用在高度差异大的物体对 焦与精准测量，以及斜面物体通过多次拍照进行图 片合成实现精准测量。就是即需要用到远心镜头， 又需要超大景深或者多次对焦的项目都可以使用这 款镜头测试。 我们还将电动对焦模组应用在了适用范围更广 的常规 FA 镜头，将原本手动对焦的操作交给机器， 可以应用在一些极端环境人为不方便进行对焦的时 97

CASE 应用案例 相对应的也有检测物体内壁信息的 360°内壁 机器视觉检测呈现高分辨率、高光谱成像趋 镜头，左边的适用于管道类需要伸进去拍摄的内壁 势，近年 sony 推出了工作波长覆盖可见光 + 近红 检测，就是工业上的针孔镜头，能清晰地检测隐藏 外（400-1700nm）的芯片，督促着我们镜头也往 在内部的特征和缺陷，右边的镜头是在物体上方拍 更高端的领域前进，因为普通的镜头无法发挥出这 摄，特殊的光学结构使其拥有大视角和大景深，能 种高端芯片的性能。为什么不适配呢？ 将内壁信息展开，进行内壁拍摄适用于检测圆柱、 孔洞、瓶子和螺纹等物体。 上述外壁镜头也存在局限性，只适合检测外径 首先是普通镜头镀膜要么是可见光波段要么是 30mm 以下小尺寸物体，因此长步道推出了八棱镜 红外光波段，不能兼顾 400-1700nm 这么长波段， 镜头，将物体通过八个角度进行拍摄，检测范围是 除了镜片镀膜外，还有一个原因是普通镜头存在焦 5mm-70mm。前端是大视野远心镜头，通过特殊 点偏移，不同波长光线的折射率不一样，在可见光 的折反射光路，能分别检测物体外壁和内壁，当尺 下对焦清晰，切换成红外光下就会模糊，如果不进 寸和高度合适的时候，能够同时检测物体内外壁， 行校正，无法共焦，就不能做到高光谱成像。那我 更大程度的简化系统，节约成本。像这种高度的酒 们常见的安防监控镜头是怎么做到白天可见光成 瓶盖，常规 360°外壁镜头至少需要分开拍摄两次， 像，晚上红外补光，红外光成像，且不需要重新对 上面一次，下面一次，而八棱镜镜头能够一次拍摄 焦，秘密就在于镜头上加入 ICR 切换器。 完全，而且像这些紧固件内壁信息在合适的情况下 也能拍摄出来，这就是八棱镜镜头的优势，但因为 除了镜片镀膜外，普通镜头存在焦点偏移 分成八个面，所以不能做到传统 360°镜头的图片 ( 不同波长光线的折射率不一样，无法共焦 ) 拉伸合成。 安防镜头如何做到日夜共焦 ? 加入了 ICR 换器，达到个别波段共焦 ICR 内装有不同厚度的可见光截止滤光片和 红外截止滤光片，通过不同厚度滤光片进行光路细 微调节，可见光下使用一种厚度滤光片，红外光切 换另一种厚度滤光片，实现可见光和近红外双光谱 共焦的功能。 我们针对 IMX990/991 推出了高光 98

MACHINE VISION 2023/05 谱镜 , 通过使用超低色散玻璃，在超宽的波长范围 2. 使用超低色散玻璃，在超宽的波长范围内， 内，完全校正了焦点偏移，实现高光谱共焦。这一 完全校正了焦点偏移 系列推出 12-35mm 4 款镜头。 3. 广泛应用于工业分选、色差检测、食品检测、 医学制药等领域 主要应用领域在粮食异物检测、食品包装检测， 以及半导体硅片检测等外部缺陷及内部缺陷检测， 还有食品材料、塑料、药品等材料分选。 产品特点： 1. 专为 SWIR 芯片 IMX990/IMX991 设计 Allied Vision 相机提供镜头主动对准 技术 , 助力医疗成像设备实现精准成像 Allied Vision Lars Schuler 许多制造商一厢情愿地认为，限定各个部件公差 未对准的影响 就可保证充裕的画质。理想情况下，制造商会在组装 完成后对相机进行广泛测试。如果测试通过，相机就 许多视觉应用非常依赖一致的画质。如果 发往终端客户；如因画质差强人意而未通过测试，将 镜头与相机 / 传感器未正确对准，应用后期处理 手工拆解相机以修复错误。最不堪的结果是，刚生产 结果就会失真。如果产品为手持式或桌面版本， 出来的相机就被迫报废处理。这些措施会推高生产成 后果更为严峻。移动和冲击会改变 S 接口镜头与 本，尤其是在元件出现问题时。此外，缩小制造商元 相机的贴合度，导致使用过程中发生永久性失真。 件公差范围也会进一步拔高生产成本。最后，制造过 这在实时流媒体应用中可能尚可接受，但在分析 程通常理论运行良好，实际所有部件都存在肉眼不可 和测量任务中却是不可原谅的错误。 见的公差。例如，根据规范，部分传感器允许存在 1 度倾斜。 在 X、Y 和 Z 轴所有三个方向上，都可能 出现镜头未对准。X 和 Y 轴方向偏移会使图像 S 接口镜头可用于许多视觉应用。对于计划大规 和焦点远离感兴趣区域 (ROI)。绕 Z 轴倾斜会 模生产的终端产品，低成本的 S 接口镜头尤其具有吸 移动 ROI，但焦点仍停留在中心。绕 X 或 Y 轴 引力。如果您正考虑将 S 接口镜头用于医疗视觉应用 倾斜会造成图像出现矩形失真，相应边缘更加 （例如，用于即时医疗解决方案），就需要考虑到， 模糊。当然，实际应用中可能出现三种形式的 比 C 接口镜头更低的成本，往往意味着更低的精密度。 叠加效果。 99

CASE 应用案例 精确镜头对准对医疗类成像设备至关重要 降低了产品成本，而主动镜头对准技术则保证了生 产产品的画质精密度和稳定性——即便同一系列产 医学项目实例 品产量高达 1000 台以上。另一个重要的优势是， 对准后的镜头用胶水粘结，确保相机传感器在这一 牙科扫描仪：牙科扫描仪用于基于患者口腔内 步骤之后得到妥善保护，不会受到任何污染。 部模具制作三维模型。扫描过程借助 2-4 台相机进 行，拍摄牙齿和牙龈上的投影线图案图像。最终生 成一个支持 CAD 重建的点云数据集。在扫描过程 中，会拍摄多张图像。主动镜头对准技术提高了合 并不同图像数据时的成功率。此外，它还可确保同 一系列不同扫描仪间的输出画质一致。 眼科：眼科医生使用 3D 镜头测量功能，根据 主动镜头对准技术 患者个人面部轮廓进行配镜。首先在患者脸部正前 方架设两台相机，分别覆盖左右眼的光路。这两个 上述实例证明，主动镜头对技术准的确可以 图像 / 视频流拼接在一起，获得所有重要测量结果， 带来诸多增值效应。正因为如此，Allied Vision 从而针对患者进行个性化调整镜框和镜片。在这一 决定为 Alvium 相机系列提供主动镜头对准附加 应用中，主动镜头对准功能有助于精确拼接图像， 服务。 并节省测量系统生产过程的质检工作。 PCR 检测设备：自新冠疫情大流行以来，聚 对准工作通过一个完全自动化流程完成。S 接 合酶链式反应 (PCR) 在全球广为人知。与在其他病 口镜头定位到 Alvium 相机的预制螺纹中。镜头通 毒检测中一样，PCR 同样是检测 SARS-CoV-2 的 过有源传感器和五个激光束，对准有源传感器阵列 黄金标准。流程通常如下：将制备好的样品装入孔 中心。您可根据自身要求，基于镜头 / 传感器上的 板，用相机或传感器检测每一份样品的荧光活动（见 5 个 MTF（模块化传输功能）点确定对准标准。 下方“倒置”图像）。实验室大型检测设备和分散 镜头移动到理想位置后，即胶粘在此处。这一流程 检测站的小型台式系统遵循的原理并无二异。在这 兼具准确度和清洁度，是人工流程所难以企及的。 一应用场景下，小型 S 接口让整体设计更加紧凑， 在产线末端，会生成一个测试图像，证明实现了对 准公差。每台 Alvium 相机的测量数据都记录在数 据库中，供客户查阅。 主动镜头对准服务能减轻客户在镜头对准方面 的工作量，并实现更加精准的高质量成像。 100