Dec 2024/ Jan 2025 ISSN 2412-6934
www.vision-systems-china.com
CXP-25速率开启100G
传输带宽新时代
15
下一代接触式图像传
感器改进电池和印刷
品检测质量
23
嵌入式智能相机系统
的革新与应用
26
使用高光谱相机改进
PCB 质量控制
30
8
寻求良性可持续发展,
探索“破卷求生”之道
扫码浏览更多期刊
市场回顾与展望:
工业AI技术及应用研讨会
AI赋能智赢未来
关注工业AI公众号
了解更多资讯
工业AI赋能中国制造高质量发展
——电子制造与半导体行业的智能转型
官方媒体
支持媒体
主办单位
AI技术在供应链管理中的创新应用 ● 分享AI在供应链管理中的最新应用,如智能采购、智能仓储、智能配送等
数据安全与隐私保护在AI工业应用中的重要性 ● 讨论在AI工业应用中如何确保数据安全和隐私保护,避免潜在的安全风险
AI+深度学习在电子/半导体制造中的应用 ● 分享深度学习在电子和半导体制造中的具体应用案例,如缺陷检测、生产流程优化等
AI与工业物联网(IIoT)的融合 ● 分析AI如何与工业物联网技术结合,实现设备的互联互通、数据分析和智能决策
AI基础设施的发展和应用
AI技术在工业领域的整体发展趋势 ● 深入探讨AI大模型在工业领域的最新发展,包括技术趋势、应用案例和行业影响
● 深入探讨生成式AI(GenAI)和AI智能体(AI Agent)的发展和应用
● 分析高性能计算设备、AI计算服务器的发展和应用
● AI算法和框架的发展和应用
● AI数据资源包括数据的收集、存储、处理和分析
基于AI的缺陷预测与预防性维护 ● 探讨如何通过AI技术对设备和产品进行预测性维护,减少故障率,提高生产效率
AI+3D+工业机器人赋能工业智造提质增效 ● 分析3D视觉技术与AI、工业机器人的结合如何提升产品质量和生产效率
AI边缘计算在工业数字化及自动化的应用 ● 深入讨论AI边缘计算如何推动工业数字化和自动化的进程
AI+智慧工厂的规划、实施与运营 ● 分析电子制造行业如何借助AI技术实现工厂智能化、自动化和柔性化生产
2025年3月6日 深圳
爱特蒙特光学(深圳)有限公司
中国深圳市龙华工业东路
利金城科技工业园3栋5楼,518109
Tel: +86 (0755) 8435 5459 Email: chinasales@edmundoptics.cn
如需了解更多信息,请访问
www.edmundoptics.cn/124-8634
关注公众号
光学引领未来™
蓝色系列 M12 成像镜头
• 高达 ½ 英寸,S 接口镜头
• 高达 500 万像素,1.4µm像 素大小的传感器
• 为近距离拍摄而优化的高分辨率板级相机镜头
• 2 毫米至 25 毫米焦距
2 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
关于《视觉系统设计》
《视觉系统设计》杂志是全球机器视觉领域知名的英文刊物《Vision Systems Design》杂志的中文版,在内容方面以《Vision System Design》为蓝本,同时也涵盖国
内市场信息,致力于报道国内外机器视觉技术的最新发展及在各个行业的应用情况,尤其关注在工业智能制造领域的应用。随着AI技术在工业制造领域的应用不断
拓展,特别是与机器视觉的深入融合,自2025年起,《视觉系统设计》杂志特增加《工业AI》版块,报道AI技术在工业制造中的实际落地应用情况,旨在引进国外
先进技术与推进国内技术创新,服务中国工业转型升级,促进新质生产力发展,打造中国领先的技术交流平台。
《视觉系统设计》创刊于2013年,以双月刊出版,目前注册读者超过31,000名。此外《视觉系统设计》每年还参加国内外相关重大展会, 面向专业读者免费派发,增
加发行覆盖。网站:www.vision-systems-china.com。
About Vision Systems Design China
Vision Systems Design China (VSDC) is the Chinese version of Vision Systems Design (VSD), a well-known media brand focused on machine vision worldwide. Content
of VSDC is partially selected from VSD, also covers China domestic market information, reporting on the latest developments and applications of machine vision technologies in various industries,
especially in the field of industrial intelligent manufacturing. With the continuous expansion of AI in industrial manufacturing, especially the deep integration with machine vision, the \"AI in
Manufacturing\" section will be added to the VSDC magazine to report on the actual deployments and applications of AI in industrial manufacturing starting from 2025,intending to introduce overseas
advanced technologies and push China domestic technology innovations, serve China's industrial transformation and upgrading, promote the development of new quality productivity, and build a
leading technology exchange platform in China.
VSDC magazine was founded in 2013 and is published bimonthly with over 31,000 registered readers. In addition, VSDC also participates in major domestic and international exhibitions every year,
distributing free of charge to professional readers to increase distribution coverage. Please visit our website, www.vision-systems-china.com.
扫一扫
免费下载电子书
15 CoaXPress的CXP-25速率开启100G传输带宽新时代
CoaXPress New CXP-25 Speed and the Coming of
100G Transfer Bandwidth
作者:范福永,Euresys 中国区销售及技术支持经理
19 面向空间受限且低功耗应用的全局快门传感器
Global Shutter Sensor for Space Constrained and Low
Power Applications
作者:艾迈斯欧司朗
23 下一代接触式图像传感器改进电池和印刷品检测质量
Next-Gen Contact Image Sensors Enhance Inspection
of Batteries and Printed Material
作者:何星飞,Teledyne DALSA高级产品经理
30 使用高光谱相机改进 PCB 质量控制
Improving PCB Quality Control with Hyperspectral Camera
作者:陆成,Specim
32 亚马逊协助司机送货的计算机视觉解决方案
Amazon Develops Computer Vision Solution to
Assist Delivery Drivers
作者:Linda Wilson
市场风向标 MARKET TRENDS
8 市场回顾与展望:
寻求良性可持续发展,探索“破卷求生”之道
Seeking benign and sustainable development, exploring
the path of \"breaking through barriers to survival\"
Dec 2024/ Jan 2025
目录 CONTENTS
技术趋势 TECHNOLOGY TRENDS
26 突破超高速工业检测瓶颈:嵌入式智能相机系统的革
新与应用
Breaking Through the Bottleneck of Ultra-high Speed
Industrial Inspection: Innovation and Application of
Embedded Intelligent Camera System
作者:冉亮,犀灵视觉
应用与解决方案
APPLICATIONS & SOLUTIONS
37 2025中国智能制造 阔步向前
2025 China's Intelligent Manufacturing Strides
Forward
观点 VIEW
45 边缘计算的变革潜力
The Transformative Potential of Edge Computing
作者:Dino Trevisani,TATA通信高级副总裁兼美洲区
负责人
技术荟萃 TECHNICAL CLUSTER
46 边缘计算场景中构建时序数据库
Building a Time-Series Database for Edge Computing
Scenarios
作者:黄磊,格睿时代(杭州)信息科技有限公司
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 3
4 编者话 Editor's Notes
5 前沿简讯 Leading Edge Snapshots
34 产品撷英 Products Highlights
60 广告索引 Ad Index
49 基于AI的预测性维护与设备缺陷预测
AI-based Predictive Maintenance and Equipment Defect Prediction
作者:邵帅,AVEVA剑维软件中国区APM首席技术顾问
应用案例 APPLICATION NOTES
51 类脑计算 – AI的新途径(IV)
Brain-inspired Computing - A New Approach to AI (IV)
作者:深圳忆海原识科技有限公司
教程 TUTORIALS
53 中之杰智能:成为智能工厂的大脑,让离散制造不再离散
Chinajey Intelligence: Become the Brain of the Intelligent Factory, So
That Discrete Manufacturing is no Longer Discrete
作者:张青勉Vicky ,《工业AI》
行业风云 INDUSTRY INTERCHANGE
56 AMD第二代 Versal Premium系列自适应SoC平台加速AI推理
AMD's Second Generation Versal Premium Series Adaptive SoC
Platform Accelerates AI Inference
58 莱迪思继续创新 频推中小型FPGA
Lattice Continues to Innovate with Small and Medium FPGAs
特色产品 FEATURE PRODUCTS
关于雅时国际商讯 (ACT International)
《时国际传媒集团成立于1998年,在高增长的中国市场上为众多高科技领域提供服务。通过其产品
系列,包括印刷和数字媒体以及会议和活动,雅时国际为国际营销公司和本地企业提供了进入中国
市场的机会。雅时国际的媒体品牌为电子制造、机器视觉系统、激光/光子学、射频/微波系统设计、洁净室/污染控制和半导
体制造, 化合物半导体, 工业AI等领域的20多万名专业读者和受众提供服务,雅时国际也是一些世界领先的技术出版社和活动
组织者的销售代表。雅时国际的总部设在香港,在北京、上海、深圳和武汉设有分公司。www.actintl.com.hk
About ACT International Media Group
ACT International, established 1998, serves a wide range of high technology sectors in the high-growth China market. Through its
range of products -- including magazines and online publishing, training, conferences and events -- ACT delivers proven access to the
China market for international marketing companies and local enterprises. ACT's portfolio includes multiple technical magazine titles
and related websites plus a range of conferences serving more than 200,000 professional readers and audiences in fields of electronic
manufacturing, machine vision system design, laser/photonics, RF/microwave, cleanroom and contamination control, compound
semiconductor, semiconductor manufacturing and AI in Manufacturing. ACT International is also the sales representative for a number
of world leading technical publishers and event organizers. ACT is headquartered in Hong Kong and operates liaison offices in Beijing,
Shanghai, Shenzhen and Wuhan. www.actintl.com.hk
Dec 2024/ Jan 2025
目录 CONTENTS
征稿范围及要求:
《视觉系统设计》杂志长期征集以
下机器视觉领域内的稿件,欢迎各
企业及个人投稿,审稿通过后可免
费刊登,内容优秀者还可刊登于
《视觉系统设计》微信公众号。
微信公众号
微信视频号
VSDC WeChat followers
30,870+
微信公众号是机器视觉
和图像处理技术领域的
资深媒体平台,立足于
技术与实际应用,重视
内容质量与价值,专注
于发布前沿技术资讯,
分享丰富的落地应用案
例,为机器视觉上下游
的专业人士递送既富有
技术创新性又极具实用
性的信息。
以投稿形式为各类机器视觉相关企业提供宣传
片、应用解决方案、新产品应用等内容的视频发
布平台视频内容需经过编辑审核后进行发布。
专题征稿
专题范围内的技术、应用、发展。
1
长期征稿
机器视觉领域技术趋势或者应用、方案。
2
新产品
近半年内推出的新产品。
3
投稿邮箱: rossiep@actintl.com.hk
4 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
Editor’s
Notes
编者话
中国总部 China Headoffice
出版社 Publishing House
地址 Address
雅时国际商讯 ACT International
香港九龙 Unit B, 13/F, Por Yen Building,
长沙湾青山道478号 No.478 Castle Peak Road,
百欣大厦 Cheung Sha Wan,
13楼B室 Kowloon, Hong Kong.
电话 852 2838 6298
传真 852 2838 2766
出版总监 Publishing Director
麦协林 Adonis Mak
电邮 adonism@actintl.com.hk
社长 Publisher
姚丽莹 Hatter Yao
电邮 hattery@actintl.com.hk
中文版主编 Editor - China
庞会荣 Rossie Pang
电邮 rossiep@actintl.com.hk
编辑/记者 Editor & Reporter
黄莺 Katie Huang
电邮 katieh@actintl.com.hk
张青勉 Vicky Zhang
电邮 vickyz@actintl.com.hk
张辉 Denny Zhang
电邮 dennyz@actintl.com.hk
编委会 (排名不分先后)
蔡振荣 香港应用科技研究院
安平 上海大学
周文举 上海大学
刘暾东 厦门大学
王世刚 吉林大学
张建州 四川大学
竺长安 中国科学技术大学
孙国栋 湖北工业大学
免费赠阅咨询
电话 86 755 2598 8573/8567
传真 86 755 2598 8567
电邮 circulation@actintl.com.hk
网址 www.vision-systems-china.com
美国办公室 US office
Peter Fretty Associate Group Publisher (English edition)
(231) 329-2739 pfretty@endeavorb2b.com
Linda Wilson Editor in Chief (English edition)
(941) 200-3345 lwilson@endeavorb2b.com
2024 版权所有 翻印必究
探索困境中的求生之道
转眼间 2024 年已接近尾声,又到了岁末年初的回顾展望之际。2024 年
的艰难似乎有些出乎人们的意料 :应用市场需求的减少甚至停滞,政治环境
的动荡带来的市场不确定性,行业不断加剧的内卷使利润越来越微薄,企业
开谨慎支出,优化成本结构,突然有一种凛冬来袭的感觉。
本期的《市场风向标》栏目(p8),有幸采访到了在机器视觉领域从业多
年的十余位资深人士,就当前的市场大环境和发展预期、一些热点技术的应
用落地、有潜力的新应用场景,以及如何破解当前不断加剧的行业内卷、寻
求良性竞争和可持续发展等诸多问题,分享了各自的看法。
尽管 2024 年大家的业绩普遍有所收紧,但众多受访者依然对 2025 年的
市场给出了乐观预期,总体来看,主要还是源于各行各业尤其是制造业向智
能化转型升级的进程将会继续深入。机器换人,相关的支持政策、更高要求
的检测任务对更高端设备的需求,应用领域向食品、精准农业、智能交通等
行业的拓展等等,依然存在着很多潜在的市场增长机会。
另外,从技术层面看,最核心的成像器件图像传感器技术在向着“更高
的像素、更好的感光性能、更高的动态范围、融入 AI 技术”等方面继续更进
一步,以更好地开拓未来更高端、更智能化的应用市场。多位受访者还表示,
多光谱 / 高光谱成像、短波红外等非可见光成像,也是大家普遍看好的市场开
拓方向。
AI 技术确实解决了传统机器视觉技术无法解决的问题,但是 AI 并不是
万能的,它的部署应用要满足一定的条件,目前其在机器视觉领域的实际落
地应用依然有很多问题需要解决,最突出的几点包括高质量的训练数据不足、
数据的标注不够精准高效、模型的泛化能力有限、缺乏跨行业的复合型人才等。
看来 AI 在机器视觉领域大规模普及应用,尚有几个山头有待攻克。
对于如何在困境中谋求长远发展,摆脱零和博弈,最根本的还是要立足
技术和产品的创新,严把品质关,找准细分机会市场深耕,开创新的商业模式,
与产业链上的伙伴合作共赢。
本期内容中,还包括了针对小型低功耗应用的全局快门图像传感器(p19)、
接触式图像传感器对电池和印刷品检测质量的提升(p23);高光谱成像技术
在改进 PCB 质量控制(p30)和挑选成熟美味的圣女果(p32)方面的应用 ;
以及 CoaXPress 的 CXP-25 速率开启 100G 传输带宽(p15)和嵌入式智能相机
系统的革新突破超高速工业检测瓶颈(p26)等内容。
另外,从本期开始,本刊将增加《工业 AI》内容(p38),提供 AI 技术
在工业领域的应用及发展情况,供读者参考。
主编 :庞会荣
前沿简讯 Leading Edge Snapshots
在数字转型浪潮驱动下,AI 应用也开始加速落地到
各行各业,越来越多的 AI 应用由云端走向边缘运算(Edge
Computing)。根据研调机构 Market.us 的最新报告,Edge
AI 市场正处于快速增长阶段,预计在 2033 年将达到 1436
万亿美金的市场规模。研华正携手伙伴打造多元 Edge AI
生态体系,助力嵌入式应用 AI 化进程。
研华不仅提供丰富的标准化产品,还与 Intel、AMD、
NVIDIA、NXP、Qualcomm、Hailo 等策略伙伴合作,发
展出涵盖硬件与软件的边缘 AI 整体解决方案,并透过参
与方案开发的设计服务(Design-in Services)协助客户解
决整合 AI 技术时可能遇到的诸多问题。
在硬件部分,针对不同 AI 模型在进行推理运算时不
同的算力需求,研华推出三种对应硬件解决方案。一是可
以让现有嵌入式系统快速升级的 AI 加速卡产品。二是可
以与嵌入式系统进行深度整合的嵌入式 AI 模块、AI 主板
及 AI 边缘系统等产品,让嵌入式系统的算力与边缘装置
的算力可以交互整合,以发挥最大效益。三是具备服务器
算力等级的 AI 主板与边缘 AI 服务器系统,适用于对算
力需求较大的高端 AI 应用,如医疗影像辨识与分析等。
在软件部分,研华根据 AI 导入流程各阶段的需
求提供相应软件工具。在 AI 模型开发阶段,研华导入
NVIDIA AI Enterprise 与 Intel Geti 来协助用户产生符合需
求的 AI 模型。在 AI 模型生成后,研华提供的 Edge AI
SDK 软件平台可以整合各位伙伴的 AI SDK 与研华硬件
平台的底层驱动程序和操作系统,提供一个可靠与稳定运
行的 Edge AI 开发环境。在训练完成的 AI 模型部署阶段,
研华 DeviceOn 远程管理平台将模型布建到每个边缘装置
与设备上,让边缘 AI 应用实现落地。
在方案开发的设计服务部分,研华提供电源搭配与散
热设计、各项安规认证及资安机制、整合周边元件等相关
服务,有效解决在导入 AI 时遇到的问题。
研华与 Intel、AMD、NVIDIA 等合作打造多元 Edge AI 生态体系
Mech-GPT 多模态大模型 :为机器人装上具身智能大脑,
扩大智能机器人应用边界
梅卡曼德 Mech-GPT 多模态大模型赋予了机器人类人
的学习、理解、推理及决策能力,如同为机器人装上了一
个具身智能大脑,使其可以理解自然语言指令和复杂环境,
自主决策完成复杂多样的任务。通过 Mech-GPT,无需复
杂的编程和专业知识,仅需自然语言指令即可让机器人完
成复杂任务。Mech-GPT 具备强大的泛化能力和通用性,
使机器人能跨平台、跨环境、跨任务工作。
给机器人装上智能大脑将使机器人使用的技术门槛大
幅降低。Mech-GPT 能够让机器人直接理解自然语言指令,
并综合视觉、图纸等多模态信息进行推理决策,自主决定
任务的最佳完成方案。即使是没有编程背景的用户,也能
通过简单的自然语言命令,在极短的时间内指导机器人完
成复杂的任务。同时,通过模拟人类的认知过程,使机器
人能够从经验中学习,从而在海量未知场景中灵活应用。
Mech-GPT 具有跨平台、跨环境、跨任务的泛化迁移
能力。Mech-GPT 能够适配各种机器人和工具,它可为人
形、服务、协作及工业机器人在内的各种机器人提供高阶
智能,处理工业、物流、零售、农业及日常生活等各个领
域的任务,展现出强大的灵活性和适应性,从而极大地扩
展智能机器人应用边界。
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 5
前沿简讯Leading Edge Snapshots
6 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
Zivid 2+R-series 3D 相机系列提升仓储机器人的速度
为了满足电子商务、物流
和制造领域中难度高的机器人拣
选、放置和操作的需要,Zivid
推出全新一代 Zivid 2+R-series
3D 相机系列。该系列有 MR60、
MR130 和 LR110 三种型号。其
中,MR60 型号提供灵活的机器
人手臂安装方式,可实现优秀
的点云质量,满足装配与机器人引导
等场景中对精细抓取和操作的严苛要
求 ;MR130 型号专为高速货品分拣、
包裹传输以及从标准尺寸的料箱和托
盘中抓取设计 ;LR110 型号提供卓越
的成像质量,并配备宽广的视野,适
合安装在机器人上用于大料箱或多料
箱抓取应用。
Zivid 2+R-series 3D 相机中,新
的相机阵容采用全新设计的 3D 与 2D
融合成像技术。相比 Zivid 2+,其速
度提升 3 倍,可在 150ms 内生成高
精度点云数据,即便是高反光或透明
物体也能轻松捕获。这种优异性能确
保了相机的运行速度,使相机运行速
度不会成为分拣机器人循环周期的瓶
颈。在包裹分拣和传输应用中,该相
机能够在 50ms 内捕获多种类型的包
裹,有效减少了漏抓、误抓、掉落和
损坏等问题,为实现每小时高达 2000
次的抓取率提供了技术支持。
全新内置的 2D 相机性能媲美顶
尖工业级 2D 相机,实现图像高对比
度以及极低的锯齿伪影,从而提供真
实且稳定的色彩表现。此外,其卓越
的环境光抗干扰能力在基于 AI 智能
分割应用中表现尤为出色。这种
优势不仅提升了分割的准确率,
还显著减少了对大规模训练数据
集的依赖。同时,该系统通过精
确的像素映射实现简化,无需进
行 2D 到 3D 的内部校准。内置
的 2D 相机替代了传统外置 2D
相机、外部光源、连接线和支架
等配件,大幅降低成本,并显著简化
了机器人单元的整体系统设计。
Zivid 2+R-series 覆盖物流、电子
商务和制造业的多种应用需求。值得
一提的是,针对制造业应用,Zivid
2+R-series 有着更快的速度,更卓越
的性能。能够轻松处理极为光滑和反
光的金属部件。其捕获速度提高了 4
倍,使得机器人手臂安装的方式变得
更可行。全新的 3D 重建引擎显著抑
制了反射伪影,提供了更精准的 3D
点数据,从而实现了更精确的 CAD
匹配。
华睿科技潜伏举升型 AMR C006 提升物料转运效率
随着 3C 及仓储物流行业发展,
窄通道小件物料转运需求大幅提升。
为了精准应对窄通道小件物料转运需
求,为小件货到人及物料转运提供解
决方案,华睿科技推出额定载重可达
60kg 的潜伏举升型 AMR C006。
潜伏举升型 AMR C006 在融合
导航性能、运动性能、举升能力、安
全保障等方面做了大量技术攻关,使
充分满足小件物料转运的需求。
在安全保障方面,C006 AMR 配
置举升风琴罩,在人机交互过程中防
夹手及其他安全风险,给操作人员提
供有力的安全保障。在安全避障方面,
C006 AMR 配置导航及避障激光,结
合前后 3D 相机,实现设备运行过程
中具备完善的安全避障和立体避障。
潜伏举升型 AMR C006 可应用
于 3C 小件物料转运、仓库料箱搬运、
锂电及物流行业物料搬运等,特别适
用于小件物料转运,有效提升物料转
运效率,降低人工成本,并在推动行
业发展方面起到重要作用。
其具有稳定的性能、高效的转运能力。
在 融 合 导 航 性 能 方 面,C006
AMR 支持激光 SLAM 和二维码融合
导航,根据使用场景需求自由切换导
航方式,支持设备高精度到点,融合
导航到点精度可达 ±5mm,±0.5°。
在运动性能方面,C006 AMR 最
大运行速度 3.0m/s,加速度 2.0m/s²,
以卓越的运动性能,应对高节拍物料
转运的需求。
在举升能力方面,C006 AMR 举
升行程可达 420mm,设备举升对接
机台高度可达 700mm,举升行程灵
活设置,适配不同机台和料架高度,
前沿简讯Leading Edge Snapshots
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 7
堡盟 CX.SWIR.XC 主动冷却相机
短波红外波段范围内的极限精度
400–1700 nm 的可见光和不可见光波段范围
专利保护的内嵌式传感器散热片, 最小化坏像素和暗电流
集成静态与动态相结合的坏像素校正, 确保出色的图像质量
可通入气体或液体的冷却管道, 高效散热且避免热量传导
像素漂移低, 确保纳米或微米级精度的穿透对位和检测
堡盟电子(上海)有限公司 上海市松江区民强路 1525 号(申田高科园)11 幢(201612)
电话:021 6768 7095 | 传真:021 6768 7098 | 邮箱:sales.cn@baumer.com | 网站:www.baumer.com.cn 官方微信
深慧视 3D 医疗智能相机,挑战肿瘤治疗手术机器人精度极限
随着医疗技术的飞速进步,肿瘤治疗设备的国产化和
自动化程度显著提升。深慧视定制研发的 SSM-2000 高精
度医疗相机产品,采用医疗 AI 核心算法与机器人轨迹规
划核心技术,能够适用于高精度机器人轨迹规划、手术导
航等高精度需求设计,可安全集成到放射治疗的套件工作
流程中。
深慧视高精度 SSM-2000 医疗相机与 AI 算法相结合,
通过 3D 机器视觉获取医学影像的三维信息,结合 AI 算
法进行深度学习和分析,为医疗智能体提供了技术支持。
它可以实现医生无法实行的手术动作并进行精准控制,完
成电子束流针的放射治疗,这显著降低了手术风险,提高
治疗效率和效果。
一直以来,视觉引导束流针存在精准定位差、装配
时效低,三维精度视野范围不足的痛点。深慧视高精度
SSM-2000 医疗相机已部署于医疗行业某大型头部客户,
解决了该项目中“将直径 1.2mm 电子束流针插入 1.6mm
的导针管,下针 150~180mm,不碰壁”技术的难点。深
慧视 AI 与 3D 机器视觉配准聚类算法对点云处理后,运
用 AI 点云配准计算束流针轴线,高精度机器人运动轨迹
规划(100μm),引导机器人束流针下针,将装配时效缩
短至 30s 以内。
市场风向标 Market Trends
8 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
市场回顾与展望 :
寻求良性可持续发展,探索“破卷求生”之道
【编者按】又至岁末年初,《视觉系统设计》(Vision Systems Design China,VSDC)特邀业内多家企
业代表畅所欲言,做岁末盘点。对于刚刚过去的2024年的市场状况进行回顾总结,对当前充满变化的市场大环
境、热点技术的应用落地、如何破解不断加剧的行业内卷、寻求良性竞争和可持续发展,以及对2025年的市场
展望和发展规划等诸多问题,每位从业多年的资深代表都给出了各自的看法。现将采访内容精华整理成文,希望
为读者提供有价值的信息参考。
阿普奇:技术和业绩将以“IPC+AI”为突破口
对于 2025 年机器视觉市场的整
体大环境以及潜在的行业需求,苏
州阿普奇物联网科技有限公司董事
长陈坚松认为,预计 2025 年全球和
国内机器视觉市场将持续显著增长,
全球市场有望达 1276.05 亿元,国内
市场将达 349.03 亿元;3C、锂电、
汽车及半导体等行业,依然对机器
视觉应用有着更深入的潜在需求。
从技术层面看,“AI+ 视觉”技术的融合,特别是机器
学习与深度学习技术的显著进步,促使图像识别、物体检
测及图像分类等核心领域,在技术的准确性和处理速度上
实现了质的飞跃。大规模语言模型(LLMs)的崛起,也将
进一步加速机器视觉应用的拓展。2024 年,阿普奇开创性
地提出了“E-Smart IPC”工业智脑概念,它让视觉控制器
从冰冷的硬件走向了有自感知和自恢复能力的智能解决方
案,2025 年阿普奇将持续在机器视觉领域深耕发力,技术
和业绩将以“IPC+AI”为突破口。
谈及边缘计算和端侧 AI 硬件的发展,陈坚松表示:“机
器视觉是工业 AI 边缘计算领域中一个典型应用场景。视觉
应用往往要求在边缘端进行大规模数据处理,将处理结果
汇总至云端进行综合分析,以减轻传统云服务在处理大量
计算任务时的负担。”
通过部署边缘计算控制器,能够有效支持视觉检测等
应用。例如,2024 年阿普奇主推的 AK 系列弹匣式视觉控
制器,首创了视觉弹匣加光源弹匣,以取代传统的 4U IPC
加视觉卡、加光源的解决方案,AK 系列在 2-4 相机场景中
具有极致性价比。此外,AK 系列还可以使用运控弹匣加
光源弹匣,作为视控一体的最佳解决方案,具备极高集成度。
陈坚松介绍,在视觉数据的“端 - 边 - 云”协同处理
框架中,阿普奇采取了一套综合策略来优化延迟,确保数
据的有效流动和处理 :
(1)边缘计算的智能优化 :通过阿普奇大模型,利用
AI 算法在边缘端进行初步的视觉分析和预处理,减少传输
到云端的数据量,大大降低延迟,提升响应速度。
(2)硬件加速 :IPC+AI 设备配备了高性能处理器和内
存,专为处理高吞吐量数据设计,确保边缘端的计算效率。
(3)低延迟通信 :优化 Wi-Fi 或 5G 等无线通信协议,
确保在边缘和云端之间的数据传输尽可能快速、稳定。
(4)云侧的智能调度 :利用云平台进行深度学习和大
数据处理,进行深度学习和大数据处理,通过智能调度系统,
根据实时情况动态整数据处理路径,进一步优化延迟。
(5)利用 1+N+N 架构,1 代表强大的 AGI 平台底座,
N 个应用则根据不同的业务需求快速部署,这种灵活的架
构设计极大增强了我们的适应性和效率。利用数据中台协
调端、边、云的数据流,实现数据的高效管理和再利用。
最后对于“出海”拓展海外市场,陈坚松表示,未来
五年,阿普奇将一步拓展并夯实德国、韩国、越南、新加坡、
土耳其等海外市场,积极寻求海外代理商、当地服务商等
多种合作可能性。阿普奇的出海战略将兼顾全球化布局与
本地化服务。首先是拓展国际视野,深入研究不同地区的
市场特点和客户需求,确保阿普奇的产品和服务能够适应
全球工业环境的多样性。其次是向全球展示阿普奇的品牌
实力与技术先进性,树立可靠和创新的品牌形象。
陈坚松,苏州阿普奇物联网
科技有限公司董事长
Market Trends 市场风向标
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 9
安森美:在图像传感器内集成更多优化算法,应对AI市场需求
工业是安森美战略的重要市场
方向。对于 2025 年的市场增长机会,
安森美智能感知部工业及消费应用
大中华区市场经理 Annie Tao 表示,
工业 4.0 和工业物联网驱动下的工
厂检测、工业机器人、自动导引车、
物流机器人等应用,将是机器视觉
市场增长的主要动力 ;数字化转型
以及装备计算机视觉设备、先进传
感器和机器人的智能工厂,以及在
AI 加持下处理更复杂的任务,也将推动机器视觉领域的进
一步发展和创新。针对工业市场,安森美的 LUPA、VITA、
PYTHON 系列已服务多年,经久不衰 ;新的 XGS 系列也
凭借像素技术、超低噪声、低功耗、低成本、可扩展性等
性能,备受认可。
从图像传感器的性能发展来看,Annie Tao 指出,提
高图像传感器的感光性能、降低噪声、提高帧率和分辨率、
增大动态范围、降低功耗和成本,甚至直接使用图像传感
器输出 3D 信息和高光谱信息等,都是图像传感器持续追
逐的方向,以使视觉系统更加智能、精准、高效。安森美
在新产品中使用 BSI stack 技术提升感光性能 ;使用超级曝
光实现高动态范围并抑制 LED 闪烁 ;使用高带宽接口提升
传输速率 ;开发超低功耗架构降低功耗。
“如何在复杂多样的环境中更精准、快速的输出场景信
息至关重要。安森美图像传感器未来会集成更高分辨率、更
快速率、嵌入更多智能算法甚至深度算法、以及非可见光波
段的检测等。”AnnieTao 说,“在图像传感器内部集成更多的
优化算法,方便使用者开发,以应对未来 AI 市场的需求。”
对于 AI 技术在机器视觉应用领域的大规模落地,
Annie Tao 认为还需要解决“数据采集精度、降低运行功耗,
以及高运算量、高带宽需求”等一些共性问题。
Annie Tao 还指出,边缘计算和端侧 AI 硬件的发展,
正在为机器视觉应用开辟广泛的应用场景,如智能制造与
工业自动化、智慧零售与物流、智能交通与自动驾驶、智
慧城市与公共安全等。安森美有各种图像传感器可以满足
几乎所有的应用场景。对于哪些成像技术今后会带来更多
市场机会,Annie Tao 表示,“3D 成像、高光谱成像、非可
见光成像将在很多领域迎来增长机会。安森美有丰富的产
品组合,满足监控、机器视觉、食品检测、自动驾驶等领
域的应用需求。”
Annie Tao,安森美智能感知
部工业及消费应用大中华区
市场经理
大恒图像产品经理史风光认为,
2025 年机器视觉市场整体大环境会
比 2024 年好转,这主要得益于深度
学习与神经网络和 3D 视觉检测技术
的持续进步、宏观经济回暖和制造
业智能化带来的市场需求增长、机
器视觉产品的国产化替代加速、机
器视觉的应用领域向新能源 / 生物医
药 / 物流等新兴行业的拓展,以及国
家鼓励智能制造产业的相关政策支持。
对于推动机器视觉市场增长的潜在需求,史风光表示,
“智能制造对更精准、更高效的检测技术的需求,劳动力成
本上升导致的机器换人需求,新能源汽车、锂电池、光伏
等新兴行业对检测、测量和控制的更高要求,以及消费级
市场拓展的生物识别、安防监控、3D 成像等需求,都为机
史风光,大恒图像产品经理
大恒图像:看好嵌入式视觉、高光谱和短波红外成像市场
器视觉应用带来新的增长空间。”
他还特别看重嵌入式视觉市场的增长机会。在工业制
造领域,嵌入式视觉系统能直接集成到生产设备中,实现
实时检测和分析,提升产品质量,降本增效 ;自动驾驶、
无人机、AR/VR、智能家居等新兴行业的蓬勃发展,为嵌
入式视觉提供广阔空间 ;在 AIoT 中,嵌入式视觉将视觉
感知与智能决策相结合,实现设备智能化,满足各行业对
于智能化升级的需求 ;另外对当前嵌入式视觉领域的国产
替代和国家推动智能制造和 AI 发展的相关政策支持,也为
嵌入式视觉的发展提供了强大助力。
从嵌入式视觉技术的发展趋势来看,嵌入式视觉系统
将融合更优化的深度学习算法、5G 和边缘计算等技术,实
现智能高效的实时处理 ;另外,得益于半导体工艺的进步,
嵌入式视觉系统在追求集成化、小型化、低功耗方面将更
进一步。从应用层面来看,除了工业、安防、交通等领域,
市场风向标 Market Trends
10 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
Euresys:技术和产品创新是打破内卷向心漩涡的力量
在中国乃至全球机器视觉市场
增长放缓的背景下,Euresys 中国区
销售与技术支持经理范福永认为,
探讨如何解决面临的困境比预测市
场何时恢复更有现实意义。困境中
蕴含着创新与突破机会,而如何行
动更是关键。
范福永分析,国内市场不景气
的原因很复杂。在商业层面,除了
用户终端的需求减弱、产业链不平衡、行业周期等问题,
国内商业竞争模式即“内卷”也是原因之一。在内卷模式
下,参与者们都在进行零和博弈,这种不良竞争破坏了商
业的生态和供应的多样性,出现了同质化和利润骤降的现
象,最终导致行业发展停滞。
对于如何摆脱“内卷”形成的向心漩涡困境,范福永
认为应该利用反向心的力量来挣脱,即技术和产品的创新。
通过创新打破行业发展的停滞,发掘更多新的技术应用和
商业机会,带给市场新的价值,从而形成一个向上且外扩
的新循环。
应对全球行业性困境和市场低迷,寻找持续成长的通
用性,是企业的重要能力之一。Euresys 专注于机器视觉的
底层技术,近些年在新技术突破上做了大量研发工作,并
完成了 CoaXPress 和 GigE Vision 两大视觉标准传输技术的
更新和升级。
针对 CoaXPress,Euresys 通过引入利用现有以太网光
纤作为传输媒介并开发了 CoaXPress-over-Fiber 技术,解
决了 CoaXPress 数据传输随着带宽和速率增加而带来的
衰减和传输距离缩短的问题。同时又推出了 CXP-25 的
新的 CXP 速率,将 CoaXPress 的传输规格升级了一倍。
CoaXPress-over-Fiber 已经正式发布为 CoaXPress 2.1 的扩
展规格。CXP-25 将会被纳入未来 CoaXPress 3.0 的规格中。
针 对 GigE Vision,Euresys 将 RoCE v2 引入到 GigE
Vision 的底层传输设计中,卸载 CPU 硬件在数据传输中的
负荷。RoCE v2 是一种 RMDA 技术,可以将远端设备发送
的数据直接存储到本地的应用内存空间,不需要通过操作
系统进行反复拷贝,可以解决 GigE Vision 在更高带宽下传
输效率和安全性问题。基于 RoCE v2 的 GigE Vision 将从
10G 和 25G 两个带宽开始,支持 100G 带宽的技术也在开
发中。
在产品开发方面,Euresys 推出了一系列基于新技术
创新的 FPGA 视觉标准 IP 核,如支持 CXP-25 的 CXP 发
送和接收端 IP 核,用于 CXP-25 的相机或采集系统的开
发 ;10G/25G 的 CXPoF Bridge 发送和接收端 IP 核, 用
于 CoaXPress-over-Fiber 光纤接口的开发 ;GigE Vision 3.0
10G/25 RoCE V2 发送端和接收端的 IP 核,用于 GigE 3.0
10G/25 相机和采集系统的开发。Euresys 还推出了首款
100G 的 CoaXPress-over-Fiber 采集卡 Coaxlink QSFP28。
接下来,Euresys 还会根据市场需求推出更多新技术
和产品,如 GigE Vision 3.0 100G 发送和接收端 IP 核,支
持更快速度的 U3V 技术和 IP 核,带有数据转发功能的
CoaXPress 100G 图像采集卡或者 200G 图像采集卡。
范福永总结,至关重要的技术更新和产品升级,实现
了三个层面的发展。首先,通过为用户提供更先进和具有
经济回报的产品,改善和提高现有的应用和商业运营,帮
助客户实现产品差异化,改善性价比,提升利润空间。其次,
利用新技术新产品发掘新市场,解决以前无法有效解决的
问题。最后,改变当前产品缺乏创新、同质化内卷的格局,
推动行业繁荣发展。
范福永,Euresys中国区销售
与技术支持经理
嵌入式视觉还将在医疗、农业、教育等更多行业广泛应用,
如远程医疗诊断、智能农业监测、智慧教育互动等。
此外,史风光特别看好高光谱和短波红外成像技术的
应用增长空间 ;而从应用细分行业来看,他认为医疗、汽
车和农业领域会涌现出新的市场增长机会。
关于 AI 技术在机器视觉应用领域大规模落地,史风
光也认为目前尚且存在“数据获取与标注难、缺乏多样性
与代表性数据、算力硬件成本高、硬件集成存在兼容性问题、
模型优化与轻量化处理、增强模型的适用性、以及专业人
才短缺、部署成本高”等问题。
而面对当下国内“很卷”的大环境,史风光也给出了
自己心中的“企业的破卷求生之道”,他表示,企业应该降
本增效,开发细分市场,寻找前沿行业,提供更有价值的
产品和方案给客户。
Market Trends 市场风向标
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 11
“回顾 2024 年,市场需求更加多
样化和难以预测,波动性增大。一方
面,终端视觉系统用户对产品品质、
功能、个性化等方面的要求不断提高;
另一方面,受大环境影响,消费市场
的需求结构和规模快速变化。”JAI 中
国区经理吴国栋说,“需求的不稳定
导致企业生产计划难以精准制定、用
户要求产品性能不变而成本降低,以及及时跟上新技术、
新模式的变革步伐,都让企业面临前所未有的挑战。”
尽管如此,吴国栋依然对 2025 年 JAI 的业绩增长充满
信心和期待,有望实现较为可观的业绩增长。这份信心源
于 JAI 的核心技术优势、不断推出创新产品以及积极拓展
市场的能力,“JAI 既站在全球视角研究机器视觉市场,将
分析成果落实在产品研发上 ;又立足中国市场与客户一起
探索特色需求。”吴国栋说道。
这份信心也源自对市场需求的整体把握。随着制造业
的转型升级和 AI 技术的不断发展,各行业对自动化、智能
JAI:看好棱镜多光谱应用,对2025年业绩增长充满信心
化生产的需求增加,机器视觉市场依然会保持总量的增长。
其中,在半导体芯片制造中,紫外检测系统可以检测到细
微的表面缺陷和不一致问题,这是其他检测方法很难做到
的;在物流与仓储行业,电商的蓬勃发展使得对货物的识别、
分拣的自动化和智能化需求日益迫切,机器视觉可提供精
准的降本增效方案 ;在医疗领域,机器视觉在诊断、手术
导航、医学影像分析等方面具有广阔前景,例如通过多光
谱成像等技术可以对病变组织进行早期检测和精准诊断,
为医生提供更加高效、准确的技术支持。
对于 AI 在机器视觉应用领域的大规模落地还需要解
决哪些问题,吴国栋表示,“AI 大规模落地应用,仍然在
训练数据质量与标注、模型的泛化能力、满足实时性要求、
以及数据隐私和安全等方面,面临诸多需要克服的挑战。”
对于 2025 年的重点应用,吴国栋预计 JAI 的棱镜多光
谱技术将迎来更多应用机会。棱镜多光谱技术具有光谱分
辨率高、成像质量好、稳定性强、可定制性高等特点,是
视觉应用的一股新势力。
吴国栋,JAI中国区经理
Teledyne FLIR IIS:3D成像、高光谱和非可见成像继续驱动应用变革
对于 2025 年哪些机器视觉技术
将会带来变革性的应用,甚至是杀
手锏级的应用,Teledyne FLIR IIS 产
品经理 Freya Ma 分享了如下看法。
机器视觉行业正站在技术革新
的前沿,尤其是 3D 成像和非可见光
成像等突破性技术,预计将在 2025
年推动跨行业的变革性应用。随着
企业对自动化、精确度和可持续性
的关注持续升温,这些技术正在迅速成为解决复杂应用场
景的关键驱动力。“看得更多”不仅意味着捕捉更丰富的三
维图像,还代表着探索超越可见光谱的隐形数据,为各行
业带来颠覆性的可能性。
3D 成像凭借其对人类深度感知的精准复制,已成为
自动化应用的基础性技术之一。随着立体视觉、结构光和
ToF 技术的不断融合,3D 成像正变得更加先进且经济可行,
从而显著拓宽了其在机器人、物流、仓储、制造业及协作
机器人等各个行业的应用范围。
高光谱成像技术突破了可见光的限制,通过捕捉精细
的光谱信息,揭示物质的化学与材料属性。随着对可持续
发展和精确检测的需求日益增加,农业、回收以及医疗等
行业正积极采用高光谱成像,以获取前所未有的深刻洞察。
随着对可持续性和高精度需求的不断增加,非可见成像技
术,包括短波红外(SWIR)、热成像和紫外成像技术在回
收、质量控制和预测性维护等领域的应用正日益受到关注。
但是这些技术的推广仍然面临成本高昂以及中小企业对这
些技术的了解和认知不足的障碍。
未来,3D 成像将继续主导主流应用场景 ;高光谱成像
和非可见成像技术(如短波红外和热成像)将在精准农业、
医疗诊断、工业监控等领域展现出广阔潜力。此外,人工
智能(AI)与边缘计算的深度融合正在为机器视觉注入强
大的驱动力 ;这种结合不仅能显著提升图像处理速度,还
能实现实时分析和决策,为各行业提供更快速、更智能、
更高效的解决方案。
Freya Ma,Teledyne FLIR IIS
产品经理
市场风向标 Market Trends
12 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
慕藤光:内卷倒逼企业磨砺自身,破卷求生
江苏慕藤光精密光学仪器有限
公司董事长童建,在回首 2024 年
市场走势时,概括了“变革”二字。
他认为,“变革”是贯穿 2024 年始
终的关键词 :2024 年 3 月,英伟达
在 GTC 大会上重磅推出 Blackwell
芯片,体现了科技进步,但同时全
球经济发展不均衡性尽显。美国进
一步收紧中国对美国高端人工智能
芯片的进口,中国大陆半导体产业承压前行。与此同时,
欧洲半导体产业也深陷泥沼,呈现疲软之态。
虽然形势不容乐观,但困境之中亦有曙光。童建提到,
国庆前后,国家政府多部门打出政策“组合拳”,提振企业
信心。慕藤光亦出海参展,前往德国斯图加特机器视觉展
与众多友商交流,向外树立及展现专业形象。
虽然 2024 年是市场大环境历经阵痛、挣扎蜕变的一年,
但童建认为,这也是倒逼企业磨砺自身、另寻出路的一年。
行业“内卷”的出现,既有商业原因,也有物理原因。他举例,
根据摩尔定律,随着制程技术的进步,每隔 18 个月,芯片
的集成度就增加一倍,成本降低一半,这逼迫企业重金投
入研发,扩充产能。同时,也存在产品同质化严重,大打
价格战,消耗大量人力、物力与心力,也造成企业利润降低,
人才流失。
慕藤光有其独特的破卷求生之道——精准拿捏“保存
核心”与“刺激进步”之间的微妙平衡。童建深知,“卷”
并非毫无意义的内耗,其本质是一场追求卓越、永不止步
的动态历练之旅。对于企业而言,“破卷求生”的底气与根
基,源自持之以恒坚守的使命感与目标,这是企业在汹涌
波涛中稳健前行的“定海神针”。
慕藤光致力于“构建微观世界之美”,以专业智慧发展
光学技术,造福社会发展 ;秉持着成为“智能成像光学系
统引领者”的宏伟愿景,引领发展,始终用技术创新突破,
牢牢把握每一个稍纵即逝的发展窗口期,顺势而为、乘势
而上。“破卷求生”,同样永无止境,需持之以恒、久久为功。
对于 2025 年,童建满怀信心 :“千帆弄潮、奋楫者先,
祝我们在新的一年积极生活,拥抱时代。”
童建,江苏慕藤光精密光学仪
器有限公司董事长
海康机器人:看重3D视觉、高光谱成像应用场景的深入拓展
海康机器人国内营销副总裁蔡
化表示,海康机器人自 2016 年成
立以来,始终保持持续稳定的发展。
2023 年实现营业总收入 49.4 亿元,
同比增长 26.16%。业绩增长主要来
自于汽车汽配、3C 电子、光伏、锂
电等行业。
回顾 2024 年,蔡化分享了海康
机器人的市场应对策略。他认为,首
先要有对市场的敏锐洞察力和灵活适应性,善于发现市场需
求,并能迅速调整战略应对。其次,要具备创新能力,能够
持续进行技术、产品方案的创新。在此方面,海康机器人构
建了机器视觉和移动机器人两大技术平台,在算法设计、软
件设计和硬件设计等核心技术领域拥有自主知识产权,打造
了一支拥有丰富的跨学科知识储备与行业实践经验的研发团
队。再次,具备完善的服务体系,能够及时响应客户需求。
海康机器人已在国内设立 10 余家区域分公司,下设 30 余家
办事处,同时建立 40 余家售后服务网点,研发及技术支持
服务区域化下沉,为客户提供及时高效的响应服务。
展望 2025 年,蔡化认为,在制造业智能化升级、机器
视觉技术的进步催生新需求的双重推动下,机器视觉市场
将迎来显著增长。例如 2.5D 视觉能够仅凭单光源有效去除
背景干扰和表面反光影响,以更高的对比度呈现划伤、凹凸、
脏污等一系列缺陷,将广泛应用于新能源、3C 电子、汽车
制造、光学元器件、金属加工、面板薄膜等行业。随着 2.5D
视觉与人工智能、大数据和云计算等先进技术的融合,其
应用场景也将进一步扩大。
对 AI 技术在机器视觉应用领域大规模落地,蔡化认
为当务之急是收集高质量的训练数据集,提升数据预处理
和增强技术,但目前面临工业领域数据终端不开放,技术、
数据不能同时收集的难点,同时工业数据的存储因数据量
大也未完全普及。
海康机器人在 2025 年将更看重应用场景的深入拓展。
在 3D 视觉方面,将聚焦 3D 测量、3D 抓取。在高光谱
成像方面,2024 年推出了小尺寸低功耗版的 SWIR 相机,
2025 年会持续针对客户实际需求继续打磨产品方案。
蔡化,海康机器人国内营销副
总裁
Market Trends 市场风向标
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 13
虽然 AI 技术与机器视觉的融合
持续深入,其在自动化、质量检测
等诸多领域显示出了巨大潜力,但
是 AI 在机器视觉应用领域的大规模
落地,并非一帆风顺。
“实际落地应用仍然面临着诸
多挑战,包括服务周期长、部署成
本高、AI 与传统算法未能很好地结
合、客户对 AI 的理解存在观念误区
认为 AI 是万能的、应用领域较窄且缺乏 AI 生态系统平台
等等。”Teledyne Dalsa 工业视觉系统中国区业务拓展经理
彭传宝表示,“针对上述挑战,Teledyne Dalsa 专门开发了
彭传宝,Teledyne Dalsa工业视
觉系统中国区业务拓展经理
Teledyne Dalsa:Sherlock8软件平台与BOA3 AI智能相机加速AI应用落地
Sherlock8 软件平台,其采用标准化和模块化设计,减少每
个项目的定制化开发时间和成本 ;集成了传统算法、AI 和
3D 算法,能提供更加灵活和高效的解决方案 ;通过模块化
的架构设计,可以让不同的算法模块(如传统的图像处理、
AI 模型、3D 图像分析)灵活协作,系统更易于升级和维护,
并且能适应不同的应用场景 ;能自动培训,节省开发者的
时间和精力 ;提供半自动化的数据标注工具,减少客户工
作负担 ;集成红外、X 光、声呐、3D 激光等多种传感器的
数据,并利用 AI 分析这些数据,大大提升机器视觉系统在
复杂环境下的表现,并拓展 AI 技术在机器视觉领域的应用
范围。”
另外,针对那些对速度和实时性要求较为宽松、并且
思特威:推动AI在CMOS图像传感器领域的发展与应用落地
思特威电子科技高级销售总监
宗翔认为,目前图像传感器在技术
层面的性能提升,主要有以下几大
趋势:更高的像素、更好的感光性能、
更高的动态范围。高像素能看清更
微小的细节,满足应用对细节捕捉
的严苛要求 ;背照式(BSI)、堆栈
式(Stacked)像素架构能显著提升
图像传感器的感度,实现夜晚等低
照度环境下的清晰影像 ;更高的动态范围能有效保留画面
明暗细节,避免局部过暗或过曝,抑制运动伪影。
另外,面向高速拍摄应用,全局快门技术通过一次性
对所有像素曝光并输出,能有效消除图像失真。思特威的
全局快门技术 SmartGSTM-2 Plus,基于全局快门下 BSI 像
素架构设计,能有效抑制运动形变,实现清晰、准确、无
畸变成像,显著提升物体识别准确性和避障成功率,可广
泛用于工业机器视觉(数量、缺陷检测等)、消费机器视
觉(扫地机 / 无人机避障、扫码器)、车载(舱内监测)等
领域。
当下,几乎各行各业都在与蓬勃发展的 AI 技术相融
合,图像传感器领域也不例外。AI 为 CMOS 图像传感器的
技术升级带来了新契机。将 AI 功能集成到 CMOS 芯片中,
能更好地满足机器视觉领域的特定需求,例如,提供准确
的图像信息采集和识别能力,实现更高精度的避障、拍摄、
识别、检测等功能。然而,将 AI 功能集成到 CMOS 芯片中,
不仅要考虑芯片设计、算法优化、电路设计等方面的技术
难点,而且要考虑数据传输存储、硬件兼容、功耗等方面
的挑战。“思特威致力于先进成像技术的研发,持续探索和
推动 AI 技术在 CMOS 图像传感器领域的发展与应用落地,
携手产业链上下游协同发展,共同加速智能影像时代的到
来。”宗翔说道。
对于 AI 技术在机器视觉应用领域大规模落地,宗翔
也分析了当前面临的一些挑战。首先是数据的获取与标注:
目前特定场景下的数据收集难度大,一些工业生产环境
中的缺陷样本数据稀缺,难以满足模型充分训练的需求 ;
数据标注耗时费力,且极易出错,影响模型的准确性与
可靠性 ;不同行业、不同应用的数据标准难以统一,数
据通用性和复用性较差,增加了数据准备的成本和复杂
性。其次,算法的运算效率还远无法满足对实时性要求
极高的高速自动化生产线场景,执行高精度任务时仍存
在误报率、漏报率较高及处理速度慢的问题 ;算法的泛
化能力较弱,针对某一特定场景训练好的模型,用在稍
有差异的新场景时性能大幅下降,这也限制了大规模落
地。最后是成本控制,AI 对硬件计算资源要求更高,如
何在保证运算性能的同时降低成本,也是 AI 大规模落地
面临的一个关键问题。
宗翔,思特威电子科技高级
销售总监
市场风向标 Market Trends
14 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
北京微视:研发、市场、成本控制、战略合作多管齐下,逆势成长
“2024 年机器视觉市场的确出现
了不同以往的诸多变化,”北京微视
新纪元科技有限公司产品总监兼营
销副总监刘伟表示,“首先是技术层
面,机器视觉与 AI 技术的融合更加
深入,3D 视觉技术不断进步并得到
更广泛的应用,以及边缘计算技术
的发展和应用,都为机器视觉系统
在智能化、精确化和实时性方面赋
予了强大力量。其次,从市场和竞争层面看,国产替代加速,
下游应用领域不断拓展,这也使得进入该领域的企业增多,
并且出现了互联网企业、AI 企业的跨界竞争。”
这些变化导致市场竞争加剧、企业生存环境压力重重:
首先必须持续投入研发跟上技术发展步伐 ;其次还要应对
客户的多样化需求和日益加剧的价格战 ;同时还要兼顾供
应链稳定和成本控制。
尽管面临诸多挑战,但刘伟仍然对 2025 年的业绩增
长持乐观态度。“从大环境来看,受到制造业转型升级、
质量控制要求提高、AI/3D 视觉技术创新、应用向新能源
汽车 / 光伏 / 锂电等新兴领域拓展、劳动力成本上升、政
策支持等多重因素的驱动,预计 2025 年机器视觉市场的
整体规模有望进一步扩大。”刘伟表示,“结合 2025 年公
司的新品研发和推广计划、运营效率提升和成本控制策
略以及与上下游企业、科研机构、高校等建立战略合作
关系,预计 2025 年我们的市场份额将不断扩大。从行业
细分应用市场来看,芯片制造、药品生产与包装、医疗
器械制造、食品加工与质量检测、饮料包装检测、农业
作物生长监测、果实采摘与分拣、航空航天领域的零部
件制造与检测以及复合材料检测,这些领域都会带来新
的市场机会。”
“另外,AI 与机器视觉的融合将越来越广泛深入。”刘
伟说,“但 AI 技术要在机器视觉领域大规模落地应用,仍
然有很多问题需要解决,最明显的包括获取高质量数据样
本、数据的高效精准标注、高算力硬件与成本权衡、软件
模型精度与效率平衡、模型泛化能力及小样本学习能力、
系统兼容性与部署维护、数据安全与隐私、降低功耗与散
热等。解决这些问题,不仅需要机器视觉领域的专业人才,
更需要跨越 AI、视觉技术、甚至应用行业的复合型人才 ;
而这类人才是非常稀缺的。”
目前充满不确定性和“内卷”加剧的市场环境,已经
令众多厂商苦不堪言,继续“卷”下去,只会让利润下滑、
技术创新受阻甚至是产品质量参差不齐、业务扎堆导致市
场竞争格局失衡。“重视技术创新,聚焦细分领域形成差异
化竞争优势,严格把控产品质量与服务水平,培养专业人
才和复合型人才,与产业链上下游合作共赢,才是企业的‘破
卷求生’之道。”刘伟总结道。
刘伟,北京微视新纪元科技有
限公司产品总监/营销副总监
也需要借助 AI 技术的应用场景,AI 智能相机应运而生。
Teledyne Dalsa 的 BOA3 AI 智能相机,内嵌 AI 分类、目标
检测等功能,通过集成的 AI 芯片和处理器,能以较低的功
耗和成本完成特定的图像分析任务。AI 智能相机不仅减少
了对外部硬件的依赖,还降低了系统的复杂性,特别适用
于算力要求低、成本有限的工业检测应用。
彭传宝还表示,边缘计算和端侧 AI 硬件的发展,将
为机器视觉在工业自动化领域开辟新的应用场景,特别
是在提升生产效率、降低成本、实时监控和智能决策方面。
潜在的应用场景包括实时质量检测与缺陷识别、对信息
保密和数据安全要求严格的应用、高速流水线和大数据
应用场景、品种繁多的柔性生产场景、以及一些离线应
用场景。这些应用场景要求本地化的高速数据处理与分
析能力,不依赖云端就能处理海量数据并实现低延时反
馈,以及具备灵活调整的 AI 模型以适应品种繁多的柔性
化生产等。
“Teledyne Dalsa 的 Sherlock8 AI 生态平台,集成了边
缘计算能力和 AI 功能,可为制造企业提供高度集成的本地
视觉检测系统,从而在端侧提供强大的 AI 算力,支持多相
机并行处理高像素图像,并实现高效、低延迟的数据反馈,
适用于高速流水线和大规模数据处理的应用。BOA3 AI 智
能相机灵活且易于部署,支持快速模型更新和现场调整,
适用于柔性生产和小型制造商。”彭传宝继续说,“Teledyne
Dalsa 已经在端侧 AI 方面大力投入数年,持续丰富产品矩
阵,满足不同的需求,极大地助力 AI 技术在机器视觉应用
领域的大规模落地。”
技术趋势
Technology Trends
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 15
CoaXPress视觉标准
CoaXPress 标准是一种先进的非
对称串行高速视觉标准。在机器视觉
应用中,主要采用 CoaXPress 标准作
为相机和图像采集卡之间高速图像数
据传输的数字接口。该标准于 2008
年首次作为设计概念推出,并于 2011
年由日本工业成像协会(JIIA)作为
正式的视觉标准发布。
CoaXPress 作为新一代高速视觉
标准,具有不同于其他视觉标准的特
点和优势,见表 1。
在当前的 CoaXPress 2.1 规格中,
传输速率提高到了 12.5Gbps。在相机
或者采集卡的设计中,通过 4 个通道
的数据聚合,可以实现 50Gbps 的传
输带宽。这是目前所有机器视觉传输
标准中实现的最高带宽。50Gbps 的
带宽使用户可以获得更高的图像分辨
率、帧率或更快速的图像采集和传输,
也成功地将机器视觉的应用效率提高
了数倍以上。
CoaXPress-over-Fiber及
CXP-25速率
对于 CoaXPress 标准的未来,以
Euresys 为代表的 CoaXPress 技术委
员会有着更为远大的设想。视觉标准
的基石是传感器、计算机硬件、计算
CoaXPress 的 CXP-25 速率开启
100G 传输带宽新时代
文/范福永,Euresys 中国区销售及技术支持经理
接口标准
CoaXPress-over-Fiber技术解决了CoaXPress向CXP-25/50/100甚至更高速率发展
所遇到的瓶颈问题。
机视觉以及计算机通讯技术。这些技
术都处在高速的升级和发展中。带宽
达 100G/200G 的传感器已经批量出货
并且迫切需要图像传输标准,以释放
传感器的全部潜力,常用的 CPU 和
GPU 的算力都达到了 TFLOPS 的级
别,而计算机通讯的带宽已经实现了
400G 的广泛应用。所有这些技术的
高速发展,都为视觉技术和标准升级
提供了技术可能性。
在机器视觉应用领域,有多种
应用可以通过更高的相机分辨率、更
快的帧率来提高检测速度和效率,比
如光伏中的硅片 / 电池片检测、锂电
传输特性 解释
高速图像传输 CoaXPress 2.1版,最高支持12.5Gbps单路传输速率
简单的组包机制 采用点对点传输
稳定的传输机制及硬件卸载 采集卡带有Frame buffer,数据传输不需占用主机资源
低延迟、低抖动 触发抖动精度可以达到± 2ns
可靠的通讯机制和数据质量 提供CRC和冗余校验,以及FEC
链路聚合和带宽扩展 通过n条链路的聚合,可实现总带宽n倍的扩展
控制以及供电 通过数据电缆可提供相机控制和供电以及外设控制
GeniCAM支持 支持GenTL、GenApi、SFNC和GenDC
可靠的物理连接 牢固的同轴电缆连接、支持热插拔
长距离传输 在CXP-12速率下可以实现40m的传输距离
统一的事件时间戳 Device、Host和软件事件采用统一时间戳
表1:CoaXPress标准传输特性列表
图1:以太网与CoaXPress-over-Fiber物理层结构对比,左为以太网,右为CoaXPress-over-Fiber。
技术趋势
Technology Trends
16 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
中的隔膜检测、平板
显示和电子制造中的
AOI 检测、纺织印刷
品的表面缺陷检测等。
而另一些应用却亟需
更高的传输带宽来真
正满足对检测速率的
要求,或者实现更高效的系统设计,
比如半导体晶圆缺陷检测、先进封装
中的 AOI 和 3D 检测等。
以上这些因素都促进了
CoaXPress 的继续发展。引入更高级
的技术,设计更高规格、更有优势的
下一代标准,提供更好的性价比是
CoaXPress 标准发展的目标。在这一
设定下,CXP-25 的传输速率已被正
式推出。CXP-25 可以实现单一数据
通道上 25Gbps 的传输带宽,将 CXP-12
的速率提高了一倍。
虽然 CoaXPress 标准所基于的各
种技术都在更高的规格上成熟运用,
但实现 CXP-25 的信号传输的设计时,
却遇到了电缆传输距离缩短的问题。
随着传输带宽的增加,同轴电缆的信
号衰减加剧。通常使用的 75Ω 同轴
电缆,在 12.5Gbps 的速率及 50Gbps
(12.5Gbps×4)的传输带宽下,可以
实现 40m 距离的可靠信号传输。但
是当传输速率翻倍至 25Gbps、传输
带宽达到 100Gbps 时,可靠传输的
距离(最长电缆长度)因为信号衰减
而显著缩短,失去了长距离传输这一
优势。如果速率和带宽继续提高至
50Gbps 和 200Gbps,同轴电缆已经不
能满足传输需要了。
对于这一问题,Euresys 的工程
师引入了光纤作为更高 CXP 速率和
传输带宽下的传输媒介。在数据中心
类的商业应用中,光纤传输已经实现
了 400G 的传输带宽,其直接传输距
离则可以实现数百米甚至几十公里。
另外,光纤具有更好的抗噪能力以及
更经济的制造成本,是同轴电缆的一
种很好的替代方案。
重新设计“将 CoaXPress 数据调
制为光信号”的模块,成本巨大,会
降低 CoaXPress 的经济性。工程师们
采用了另一种更为聪明的办法,利用
以太网数据链路层和物理层的接口
nGMII 与 CoaXPress 数据层和物理层
接口具有近似性的特点(见图 1),将
CoaXPress 的数据层通过转换,链接
到以太网的物理层,实现 CoaXPress
的数据在以太网光纤上的传输。这样,
CoaXPress 的传输媒介可以利用市场
上大量使用且具有经济性的光模块和
光纤,同时解决了带宽增长带来的同
轴电缆衰减和传输距离下降问题。
这个转换是通过对 nGMII 和
CoaXPress 的 K-Codes 的映射完成的,
工程师将其命名为 CXP-PHY Bridge,
接入了光纤以后 CoaXPress 升级成为
CoaXPress-over-Fiber。
CoaXPress-over-Fiber 通 过 CXPPHY Bridge Device 和 CXP-PHY
Bridge Host 来实现发送和接收两个方
向的映射,可以实现从数据发送到接
收的完整链路(见图 2)。
图2:CoaXPress-over-Fiber从发送到接收的完整链路闭环。
图3:CoaXPress-over-Fiber多链路数据通道设计结构图。
技术趋势
Technology Trends
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 17
CoaXPress-over-Fiber 仍然可以
实现多链路数据传输,并且具有链路
扩展和聚合特性。图 3 显示了具有 4
路数据链路的设计结构。根据产品设
计需要,还可以扩增链路数量。
需要指出的是,CoaXPress-over-Fiber
上传输的数据仍然遵循 CoaXPress 标
准,从而保证了图像信号传输的安全性、
低延迟等优点。CoaXPress-over-Fiber
技术解决了CoaXPress 向CXP-25/50/100
以及更高速度发展的瓶颈。2021 年,
JIIA将其发布为CoaXPress的扩展标准。
基于CoaXPress-over-Fiber
的新一代产品
Euresys 将 CoaXPress-over-Fiber
技术应用在了新一代 FPGA IP 核以
及 图 像 采 集 卡 中, 推 出 了 CXP-25
FPGA IP 核以及 100G 带宽的采集卡
Coaxlink QSFP28。
FPGA IP 核是指相对独立的某一
些功能的 FPGA 电路设计。这些设计
被封装成 IP 核后,可以实现设计复
用,从而提高基于 FPGA 的产品开发
进度,降低产品开发难度。在机器视
觉中,FPGA IP 核也被广泛使用。其
中,可以标准化并且使用最多的是视
觉标准 IP 核。Euresys 的 FPGA IP 核
业务由其子公司 Sensor to Image 负
责。Sensor to Image 针 对 CoaXPress
标准提供了 CXP Host/Device IP 核
以及 CXPoF Bridge IP 核,可以实现
CoaXPress-over-Fiber 产品的设计。
Sensor to Image 的 CXP IP 核提供
CoaXPress 数据发送和接收的接口设
计。可以支持 AMD 和 Intel 两大主流
厂商的多种 FPGA 型号,提供 CXP-6/
CXP-12 以及 CXP-25 的传输速率支持。
CXP 发送端(Device)IP 核主要负责
接收来自传感器的图像数据,对其进
行 CXP 格式的组包操作,并且通过
收发器接口发送到 CXP 的物理层上。
CXP 接收端(Host)IP 核主要通过收
发器接口从 CXP 物理层接收 CXP 组
包数据,并对其进行解包,然后将
其发送至图像处理单元。CoaXPress
FPGA IP 核结构见图 4 所示。
CXPoF Bridge IP 核实现的是
CXP-PHY Bridge 转换映射层的功能。
它提供了发送端或者接收端的 CXP
和以太网 nGMII 接口层之间的映射
功能,见图 5。CXPoF Bridge 和以太
图6:基于Sensor to Image FPGA IP核进行产品开发的流程。
图5:CXPoF Bridge IP核及基于CoaXPress-over-Fiber的产品设计架构示意图,上图为发送端,下图为接收端。
图4:CoaXPress FPGA IP核结构,左图为发送端,右图为接收端。
技术趋势
Technology Trends
18 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
网的 PCS/PMA 直接连接,支持 10G
和 25G 的带宽,分别实现对应 CXP-12
和 CXP-25 速率的映射工作。
Sensor to Image 不仅能提供
CoaXPress 核心的图像传输和接口功
能,而且也提供整体的相机(不含图
像处理功能)参考设计,或者嵌入式
图像采集卡(不含 PCI/e 接口以及图
像处理功能)的参考设计。这些参考
设计为用户的产品开发提供了一个大
致的框架和流程标准(见图 6)。在此
基础上,用户可以依照图 6 的步骤有
序地完成自己的参考设计。除此之外,
Sensor to Image 还可以为用户提供前
期的确认产品设计规格和架构、选择
硬件平台的咨询,以及后期的设计和
制作产品原型、开发配套软件的可选
功能和技术支持。
Euresys 基于 CoaXPress-over-Fiber
和 CXP-25,还推出了一款新的图像
采集卡 Coaxlink QSFP28(见图 7)。
该采集卡通过对四路 CXP-25 数据通
道的聚合,首次实现了 100G 的传输
带宽。这也是机器视觉行业的首款
100G 采 集 卡。 该 卡 继 承 了 Euresys
Coaxlink 系列产品的优势和功能设计
特点,包括板载预处理、线扫支持、
相机同步等,支持 eGrabber 图像采集
驱动和开发套件以及 Memento 事件
记录工具。
图7:首款100G带宽的CoaXPress图像采集卡Coaxlink QSFP28。
Coaxlink QSFP28 还提供了更多的
相机连接拓扑结构。这些连接拓扑使
得该卡不但可以和 100G 带宽的相机配
套使用,还可以通过单张采集卡,连
接多个甚至混连多个 25G 或者 50G 的
相机(见图8)。多相机连接的拓扑结构,
可以节省主机的空间和总线资源。
CoaXPress和CoaXPressover-Fiber未来应用探讨
随 着 CoaXPress-over-Fiber 技 术
的采用,CXP 传输速率和距离不断提
高,这不仅使现有应用视觉系统和设
备设计规格升级以及提高检测效率,
还会使未来一些新的应用快速发展。
当前的 3D 应用,多数都集中在
2.5D 测高以及精度要求较低的物件抓
取等应用场景,真正的基于 3D 图像
应用和检测的场景仍然比较少。3D
图8:Coaxlink QSFP28所支持的单相机和多相机连接拓扑结构。
图像采集和传输会产生巨大的数据
量,这是 3D 图像应用受到限制的直
接原因之一。随着数据传输瓶颈的突
破,3D 测量、识别、匹配等需要完
整 3D 信息及高精度检测的应用将得
到发展。一些会产生巨大数据的检测
应用,如超幅宽的材料、巨大型工件、
汽车车身、建筑和道路等,以前需要
采用多相机甚至多系统来检测,现在
采用新的 CoaXPress-over-Fiber 相机和
采集卡,可以大幅简化系统的复杂性。
在非质检类应用中,CoaXPressover-Fiber 还可以用来捕捉大型空间
现场的图像,利用其低延迟、长距离、
高带宽的传输特性产生沉浸式影像场
景,为 AR/VR 应用中的体育赛事、
现场演出、互动游戏等提供实时的现
场影像。另外,诸如卫星 / 空中测控、
农林业监控、气象检测等应用,都可
以在 CoaXPress-over-Fiber 提供的更
高规格的传输特性和更具性价比的系
统方案的基础上,进一步发展。
参考文献
1. CoaXPress Version 2.1 JIIA CXP-001-
2021, JIIA.
2. CoaXPress over Fiber Bridge Protocol
Version 1.0 JIIA CXPR-008-2021, JIIA.
技术趋势
Technology Trends
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 19
随着工业 5.0 时代的到来,机器视觉作为连接物理世
界与数字世界的桥梁,正扮演着至关重要的角色,推动着
工业自动化和智能制造的迅猛发展。在新兴市场,VR 和
AR 设备的需求正呈现爆发式增长。先进的手持式二维码
扫描仪、复杂精密的门禁系统、自动化机器人运动控制和
协作机器人协同作业等应用已逐渐普及,为各行各业带来
了高效与便捷。而这一切,都离不开小巧、节能的光学模组。
艾迈斯欧司朗图像传感器系列
作为全球知名的光学解决方案供应商之一,艾迈斯欧
司朗拥有面阵、近红外增强面阵、线阵三大类不同系列的
图像传感器(见图 1)。这些传感器具有高帧率、高分辨率、
高灵敏度等特点,可提供出色的图像质量 ;具有全局快门
和卷帘快门,速度从 58~300fps、80~120klines/s 不等 ;具
有不同的像素大小、光学尺寸,可满足不同应用对尺寸和
面向空间受限且低功耗应用的
全局快门传感器
文/艾迈斯欧司朗
图像传感器
Mira系列全局快门图像传感器,为可穿戴和移动设备等空间受限且追求低功耗的
应用带来全新可能。
分辨率的要求。
针对可穿戴和移动设备这样空间受限且追求低功耗
的领域,为了向可穿戴和移动设备的创新设计提供更多可
能,艾迈斯欧司朗推出了 Mira 系列全局快门图像传感器。
Mira全局快门图像传感器的系列分类及性能
特征
目前,艾迈斯欧司朗的 Mira 产品主要分为 Mira220、
Mira050 和 Mira016 三大系列,其中数值分别代表 220 万、
50 万和 16 万像素。Mira 产品的(PLS NIR)近红外曝光
效率可达 -95dB,并且支持 0°~ 30°的主光角(CRA)。
Mira 产品三大系列具体性能征如下(见图 2):
• Mira220 : 其 光 学 格 式(1/2.7 英寸)和尺寸
(5.5×5.5mm²),适合需要高分辨率和优异图像质量
的应用。其睡眠模式的功耗为 4mW,在全分辨率和
图1:艾迈斯欧司朗产品系列。
技术趋势
Technology Trends
20 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
85fps帧率的工作条件下功耗为343mW。内部测试显示,
Mira220 在很多 2D 或 3D 传感系统使用的 940nm 近红
外波长下具有高信噪比和高量子效率,最高可达 36%。
• Mira050 :封装尺寸相对较小,光学格式为 1/7 英寸,
芯片大小为 2.25×2.75mm²,具备出色的功耗控制能
力,待机功耗低至 60µW。在全分辨率和 120fps 帧率
的条件下,功耗为 47mW。Mira050 还具有高量子效率,
在近红外光谱中,940nm 时量子效率为 36%,850nm
时 为 55% ;在 可 见 光 范 围 内,550nm 时高达 93%。
Mira050 非常适合对尺寸和功耗有严格要求的场景,
例如智能眼镜、VR 头盔等。
• Mira016 :尺寸最小,光学格式为 1/11.6 英寸,芯片大
小为 1.79×1.79mm²,功耗也是该系列中最低的,待机
功耗仅为 0.3mW。即使在极低功耗下,仍能提供较高
的分辨率和帧率,适合对功耗要求极为严格的应用场景。
艾迈斯欧司朗的 Mira 产品拥有以下优势 :
(1)第三代全局快门技术能够实现所有像素的同时曝
光,适用于捕捉和冻结快速移动的物体,避免运动伪影,
特别适合于需要处理运动和脉冲照明的场景。
(2)传感器在近红外区域具有超过 36% 的量子效率
(QE)和高信噪比(SNR),显著减少了对照明功率的需求,
同时满足眼睛安全限制,更有助于简化热设计。基于电池
的解决方案由于低功耗设计,具有更长的使用寿命。
(3)在 940nm 处的量子效率(QE)使其在小型化设
计中表现突出,每平方毫米具备高像素密度。采用堆叠技
术进一步减小了传感器的占地面积,而 2.8μm 的像素大小
保证了其在空间受限的应用中仍能保持高灵敏度。
(4)传感器通过量子效率(QE)的优化实现了低功耗
设计,在近红外光谱范围内提供高灵敏度,降低了在低光
条件下的能耗。Mira050/016 两个系列具备片上功耗管理功
能,并支持检测模式,进一步优化了功耗和应用的适配。
Mira系列的技术创新性
众所周知,每个传感器都由许多单独的像素组成,它
们以矩阵布局的形式排列。每个像素由一个微透镜、一个
光电二极管和一个读出晶体管组成。在正面照明的传感器
中,晶体管矩阵放置在光电二极管前面,光线在到达透镜
之前必须穿过复杂的电路和晶体管网格,这可能会部分阻
碍光线的传播。
而 Mira 系列所采用的背照(BSI)技术实现芯片的堆
叠,有效地调换了光电二极管和电路层的位置,使得电路
不会阻挡光线的进入。这种设计大大提高了传感器的光收
图2:Mira220、Mira050和Mira016三大系列主要性能。
技术趋势
Technology Trends
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 21
集效率,从而增强了其灵敏度,改善了全方位的图像质量,
包括提升了动态范围和低光条件下的表现能力(见图 3)。
Mira050 和 Mira016 引入了一种片内独特的像素内背
景减除技术,能够在像素内部有效地消除背景光,从而显
著节省能量和时间。得益于该技术,Mira050、Mira016 传
感器具有以下显著优势 :首先,它能在单帧内快速生成点
阵图案 ;其次,通过仅需单次图像数据读出时间,使读出
时功耗降低 50%,大幅减少了功耗。相比之下,竞争对手
需要读取两帧才能提供相同的点阵图案,需要两次 ADC
和 MIPI 读出操作,因此功耗更高。此外,竞争对手还需
要进行外部处理,进一步增加了系统的功耗需求。
Mira050 和 Mira016 还增加了芯片事件检测功能,
启用该功能时使用的帧率为 1fps,相较于正常模式的
200fps,大幅降低了能耗,
在事件检测模式下功耗仅为
3mW。该模式的分辨率可编
程,最大可达 600×800。在
这一模式下,通过标记感兴
趣区域(ROI)中的移动物体,
实现低功耗的持续监控和检
测,从而在能耗和处理时间
上节省资源。
此外,Mira 系列还具备
直方图功能,可以在 3mW
事件检测模式下生成 32 个
灰度级别范围的直方图,提
供对 ROI 的快速灰阶分析,
便于控制曝光、照明或增益设置。这些特性显著减少了数
据读取频率,降低了系统整体功耗,使电池供电的解决方
案更加持久,同时保持了对事件的快速响应能力。
Mira系列开发板、评估工具和平台
为以方便用户评估测试 Mira 系列的性能和测试,艾
迈斯欧司朗提供了一系列开发板、评估工具和平台。目前,
基于 Mira050 传感器开发的第一代产品(Gen 1),其具
有灵活调整分辨率及 ROI 位置功能,并安装在传感器板
EVK 上。该版本使用手动对齐的 WLO 镜头,优化了位置
和图像质量,适用于 850nm 波长,视场角为 75°。
基于 Mira016 传感器开发的第二代产品(Gen 2),也
使用手动对齐的 WLO 镜头,但相较于第一代产品,性能
图3:像素的构成和不同的技术。
图4:树莓派(Raspberry Pi)评估系统。
技术趋势
Technology Trends
22 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
有所提升,具备抗反射结构和杂散光抑制功能,适用于
940nm 波长。2024 年下半年推出的第二代 Mira016 WLO
传感器模块,采用自动主动对齐技术,适用于 940nm 波长,
具有更大的视场角,并且具备回流焊接能力。
与此同时,艾迈斯欧司朗为开发者和工程师提供了
一个高效的树莓派(Raspberry Pi)评估系统,该系统
使用了树莓派 4 型号 B,搭载 Broadcom BCM2711 四核
Cortex-A72(ARM v8)处理器,提供了一个用于演示和
评估的套件。评估系统配备了 S 型安装的镜头,并通过
USB3(带 GUI)和 HDMI 接口连接,便于用户进行操作
和图像捕获。用户可以通过图形用户界面(GUI)进行图
像传感器的控制和设置,实时查看视频反馈,并捕捉图像。
该评估系统还包含了详细的支持包,包括电路图、固件、
图形用户界面和用户指南,为用户提供全面的评估和开发
支持。
此外,还有传感器配置工具——I
2
C 配置助手。这个
配置工具支持多项传感器设置,用户可以通过直观的 GUI
界面方便地进行各项设置,例如数据速率、CSI2 数据类
型(8 位、10 位或 12 位)、垂直和水平 ROI 参数后,直
接生产响应的寄存器列表。该工具不仅简化了传感器配置
的复杂性,还提高了开发和调试效率,是一个强大的传感
器配置管理工具。
应用场景
综上所述,Mira 系列全局快门图像传感器具有最
新的 2D 和 3D 传感系统所需的低功耗和小尺寸的特点。
Mira 系列全局快门图像传感器不仅能够满足可穿戴和移
动设备的需求,还能够满足其它工业和消费类应用的需求,
包括家庭机器人、无人机、条码扫描、访问控制和安防、
增强现实 / 虚拟现实、工业机器人、眼动追踪、计算设备、
智能家电、家庭和楼宇自动化、工厂自动化等等。
艾迈斯欧司朗的 Mira 系列传感器为可穿戴和移动设
备的机器视觉应用提供的解决方案,助力客户实现智能制
造,推动了产业升级。随着技术的不断发展,Mira 系列
传感器将会提供更优秀的性能和更丰富的功能,推动机器
视觉技术在各领域的广泛应用。
Bopixel 多重反射抑制 3D 成像的革新与应用
博视像元 Bopixel 多重反射抑制 3D 成像模组,具备
卓越的检测精度,在 XY 平面上,其分辨率可达 3.9μm,
Z 轴方向精度 500nm。这种亚微米级精度水平,不仅满足
了如先进封装 3D 测量的要求,更为其质量控制提供了坚
实保障。
该技术结合 Bopixel 自身独有的低功耗超高速
CoaXPress 相机的优点,可以实现每秒 50cm2 的检测速度,
是传统 3D 成像检测速度的 4 倍,在保持高精度的同时大
幅提升生产效率。
传统 3D 检测在面对反光表面时往往难以获得准确数
据,而 Bopixel 的多重反射抑制 3D 成像技术通过创新的
光学设计和算法处理,完美解决了这一行业难题。配合全
方位视角采集系统,确保检测过程中不存在死角,获得完
整的立体数据。
多重反射抑制 3D 模组采用独特的光学架构,颠覆性
地将 DMD 数字投影技术和 CoaXPress 相机实现同轴垂直
投影,可实现高达 2716×1600 的分辨率,是目前主流数
字投影的 2 倍之多,数字投影分辨率是提高整个 3D 成像
精度的核心因素之一,这也意味着能轻松应对晶圆级封装
的高精度 3D 成像难题,将垂直数字条纹投影技术与四视
角 CoaXPress 高速相机同步采集系统完美结合。博视像元
标准型多重反射抑制 3D 模组整体成像分辨率达 1 亿像素,
定制款最高可以达 3.25 亿超高分辨率。这种创新设计不
仅提升了检测精度,更保证了数据的完整性和可靠性。配
合博视像元的专用的图像融合算法和简单易用的标定算
法,系统能够快速处理和整合多角度采集的数据,生成精
确的 3D 模型。
适用于从晶圆级封装的 wafer bump 3D 检测,到封装
领域的 IC 芯片 3D 检测,以及 SMT 贴装检测和焊膏检测,
能极大提升生产效率和产品质量,100% 全检确保没有任
何缺陷遗漏,帮助客户获得显著的效益提升。
技术趋势
Technology Trends
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 23
接触式图像传感器(Contact Image Sensor,CIS,又
名宽幅线扫相机)已经取得了长足的进步。最新一代的
CIS 技术提供了比其前一代产品更高的速度、分辨率和动
态范围。
这些改进使得 CIS 适用于空间受限的机器视觉环境
中的检测和测量类任务,例如电池生产和印刷产品线。在
这些应用场景中,精度和效率至关重要。
本文将探讨电池检测和印刷材料检测所面临的挑战,
以及 CIS 技术如何为这些应用提供最佳解决方案。
与传统的线扫相机相比,CIS 技术的一个优点是其紧
凑的外形。传统成像系统通常需要 250~500mm 的工作距
离,但 CIS 的工作距离仅为 10~20mm。这使得 CIS 非常
适用于空间受限的在线自动光学检测(AOI),实现 AOI
对于实时、高通量的质量控制至关重要。
高度集成的 CIS,将相机、镜头和照明组合成一个单
元,这不仅简化了系统设计,还能加快安装速度。由于这
些优点,CIS 正越来越受到机器视觉应用的青睐。
提高锂电池产量: CIS在精密自动化生产中的作用
全球清洁能源计划正在推动从燃油汽车向电动汽车
(EV)的过渡。这需要扩大锂离子电池(LiBs)的生产能力,
而锂离子电池正是电动汽车技术的核心。自动化在实现锂
离子电池生产所需的规模经济方面,发挥着关键作用。
锂离子电池生产中最重要的环节之一是电极制造。电
极制造工艺涉及涂层、压延、切割、卷绕、包装等多个
阶段,具体取决于电池的类型(如圆柱体、棱柱体或软
包)。通常电极制造的产线速度为 50~80m/min,薄膜厚度
为 50~100um(变化范围 ±5~25um),常见的视场大小为
400mm、700mm、800mm 和 1500mm。
电极制造过程中,通常需要使用分辨率为 15~30um
的光学检测系统,来检测电极上的针孔、裂纹、划痕、分层、
下一代接触式图像传感器改进电池和印刷
品检测质量
文/何星飞,Teledyne DALSA高级产品经理
图像传感器
接触式图像传感器(又名宽幅线扫相机),非常适用于空间受限的机器视觉应用场景中的检测和计量任务。
泄漏等缺陷。此外,还需要测量薄膜的厚度、宽度、边缘
和定位等,以便向控制回路提供反馈。所有这些任务都可
以使用适合生产机器中有限空间的小型 CIS 模块来完成。
具备 120kHz 频率和 900dpi 分辨率的先进 CIS 技术,已经
成为当今电极制造过程实时质量控制的推动者。高动态范
围成像,也有助于捕获涂覆在高反射铜箔上的深色石墨材
料的清晰图像。
照明是视觉系统的另一个重要组成部分,可以使用集
成照明或外部照明。许多应用使用明场照明,与垂直于卷
材的轴成 ±30°的角度,以实现所需的图像质量。闪光灯
照明也可用于捕获多场景图像,有效地帮助识别某些缺陷。
印刷品检测:利用CIS技术实现紧凑的高精度
系统
印刷品检测是另一个受益于 CIS 技术的应用场景。
尺寸紧凑的印刷检测系统,正越来越多地在标签和包装印
刷领域获得普遍应用。这些小型印刷检测系统不能使用带
有线扫相机的传统视觉方案,而 CIS 恰好为它们提供了一
种理想解决方案,这类应用通常需要 50~250μm 的相对较
大像素尺寸的色彩检测。常见的视场为 500mm、600mm
和 1100mm。
最新的 CIS 技术使用涂有基于染料的 RGB 滤色器的
三 CMOS 传感器。三线传感器以 60kHz×3 的最大线速率
图1:电池涂层工艺。
技术趋势
Technology Trends
24 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
捕获真彩色 RGB 图像。为了将三种颜色组合成全彩图像,
需要进行空间校正。即使采用交错传感器架构,空间校正
也会在模块中自动完成,通常是通过缓冲第一和第二通道
以匹配第三通道。所有这些因素结合在一起,最终形成能
够捕捉每一个细节的高保真彩色图像。
同样地,照明在印刷品检测系统中也是一个关键部
分。为了检测微弱的颜色,可以选择具有强烈黄色成分的
白色 LED 光源。对于 LED 光源,使用黑体辐射模型的色
温效果不佳。因此,最终用户需要具体说明适合印刷中所
用油墨的光谱特性。
以高速和高分辨率提高系统吞吐量
在视觉系统中,速度和分辨率是两个非常重要的性能
指标,但是它们往往限制了当前 CIS 产品的能力。为了克
服这些挑战,下一代 CIS 技术必须提高成像性能。例如,
在电池生产线中,自动光学检测系统需要高速和高分辨率
来满足吞吐量需求。通过将更小的像素尺寸与更快的线速
率集成在一起,CIS 技术可以确保高质量检测能力,同时
保证系统的吞吐量。
更高的分辨率不仅提高了可检测性,还提高了测量
精度。图 2 显示了 45µm/ 线和 500µm/ 线上黑白线对目标
测量的调制传递函数(MTF)、平均值和标准偏差的差异,
比较了 900dpi 和 600dpi 的不同。虽然 600dpi 是大多数
CIS 模块的标准,但使用 900dpi 时精度提高了近 50%。
实现动态范围的另一种方法,是在单色模式下使用具
有独立曝光控制的双线传感器。这种方法通过对每条线实
施不同的曝光,能在一次扫描中捕获亮区和暗区。捕获的
两个图像可以单独处理,也可以组合成一个 HDR 图像用
于进一步分析。这种方法已被证明是有效的,特别是在对
高反射金属卷上的暗电极进行成像时,能够大大提高在不
同光照条件下的可检测性。
计量:在不丢失像素的情况下实现高精度
使用 CIS 技术的一个关键优势是其远心自聚焦透镜,
除了缺陷检测外,它还可以确保无失真的 1:1 光学放大倍
数,用于精确测量(True Metrology)。目前市场上的许多
CIS 模块都依赖于(一字型芯片对接设计)来连接单个的
硅芯片。这种方法通常会导致芯片之间出现无法控制的小
间隙不断叠加放大,从而导致测量失真。为了解决这个问
题,通常会使用插值,但这一过程可能会导致数据不准确
和传感器宽度不一致,特别是在制造工艺不理想的情况下。
更好的方法是使用交错 CMOS 传感器架构(品字形
staggered 设计结构)。这种设计消除了不同 CIS 传感器芯
片之间的间隙,确保了视场(FOV)的完全覆盖,不会
遗漏像素。模块内的图像处理将来自每个芯片的图像对齐
并消除任何重叠,从而实现了具有精确水平测量的真正计
量应用。校准后,在 20℃的环境温度下,该设置可以在
800mm 的视场内实现约 50µm 的精度。
与传统的线扫相机不同,CIS 的位置非常靠近被检测
物,因此防尘至关重要。必须为检测系统选择 IP60 等级
的 CIS,以防止检测环境中的灰尘污染。
总结
虽然 CIS 最初是为打印机和扫描仪等消费电子产品开
发的,但现在 CIS 技术已经在机器视觉应用中找到了自身
位置,并且其应用领域正在不断扩展。随着行业需求的增加,
CIS 技术将不断发展,以实现更快的速度和更高的分辨率。
此外,对更长工作距离和更深景深的需求将会增长,
从而允许更先进的多场照明。对于某些材料,多光谱成像
也将变得越来越重要。通过整合这些先进功能,成像系统
将能够应对更复杂的挑战,从而为广泛的应用提供更高价
值的解决方案。
图3:双线传感器的高动态范围(HDR)成像,非常适合深色和反射性材料。
图2:黑白线对目标的MTF、均值和标准偏差。
28µm (900dpi) 42µm (600dpi)
MTF (target 45µm/line) 40.9% 27.6%
测量
(target 500 µm/line)
平均值 501.2µm 504.8µm
标准偏差 5.928µm 13.33µm
应用与解决方案 Applications & Solutions
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 25
2024 年 11 月 8 日,为期三日的
NEPCON ASIA 2024 亚洲电子展圆满
收官!本次展会盛况空前,累计吸引
专业观众人数达 64,035 位,其中包
含了 1,546 名海外采购商远道而来参
观交流,为行业打造一场集产业推动、
商业促进、国际交流于一体的电子制
造行业盛会。
创新与活力并存打造产业集群盛会
众多行业翘楚与新展商齐聚
NEPCON ASIA 2024 亚洲电子展,纷
纷展示了各自的明星产品和前沿技
术,吸引了无数专业观众及采购商
蜂拥而至,场面热烈!本届展会有
YAMAHA、HANWHA、FUJI、 凯
格、德森、OMRON、KOH YOUNG、
Parmi、ERSA、Rehm、劲拓、日东、
Nordson、彼勒豪斯、JBC、安达、矩
子、神州视觉、轴心、快克等知名企
业参与;阿童木机器人、捷智通、美陆、
舰长科技、优傲、铟泰、博瑞、佳乐、
逻辑自动化、励精化工等近百位新展
商首次亮相。本次展会上,展商贴合
市场需求,差异化展示应用于新能源、
汽车电子、光伏、半导体、智能手机、
电脑等不同领域的技术与产品,推动
各行各业产业发展与革新,为全球经
济的发展贡献更多力量。
同 时,NEPCON 首次打造的
IGBT & SiC 模块封测工艺示范线,
感谢每一位“星”光见证者,
NEPCON ASIA 2024 亚洲电子展圆满收官!
融合SiC固晶银烧结、IGBT锡片固晶、
绑线与塑封 / 灌胶除胶等三大关键工
艺段,精彩呈现了正实、思立康、宝创、
诺顶、松下、中科同志、路远、铭沣、
诚联恺达、山木、奥特维、锐铂自动化、
安达、广林达等数十款高品质国产化
设备,打造一场创新与活力的产业集
群盛会,助力行业迈向新高度。展会
期间,络绎不绝的人流纷纷前来围观
打卡更是充分展示了功率半导体行业
的无限潜力!
40 场论坛活动前沿与智慧交响演绎
本次展会累计举办 40 场论坛活
动,华为云、中兴通讯、铟泰、麦德
美爱法、工信五所、松下、快克、美
的等数百位行业领袖、专家及领军企
业出席演讲,主要涵盖电子制造质量
与可靠性、焊接技术和材料、先进封
装技术、热门领域的半导体技术应用、
零碳制造、人工智能等热门议题,前
沿科技与智慧的交响演绎,吸引了无
数行业精英的广泛关注,深入了解行
业现状、技术革新以及未来趋势,为
电子制造行业精同仁提供前瞻性思考
与借鉴。
五大特色展区共展全球商机
IGBT & SiC 模块封测工艺示范
线、电子制造展示区、电子精品集市、
印度尼西亚电子制造国家展团、FBC
日本展团五大特色展区惊艳亮相,为
观众提供了一个高效对接业务需求、
发现合作新机遇的平台。其中两大国
家展团——FBC 日本展团与印度尼西
亚电子制造国家展团的加入,带来了
各自领域的最新趋势和前沿技术,深
度打开国际市场,为观众提供了一个
与国际接轨的合作窗口。此外,本届
展会特别组织了一系列面向海外买家
的组团参观交流活动,精准邀约泰国、
越南、韩国、日本、印尼、马来西亚
等海外买家,与展商积极互动,热烈
探讨合作机会,真正实现中国制造走
出国门,与国际接轨,从而拓展全球
电子制造市场新商机。
展会期间,NEPCON ASIA 共接
待美的、TCL、创维、富士康、华为、
比亚迪、格力等诸多知名企业组团参
观交流,促进了参展企业和观众之间
的深度交流与合作,为双方创造出更
多商业价值。
在此,感谢今年参与各论坛活动
的演讲嘉宾,感谢每一位展商的辛勤
努力以及观众的信任与支持,让我们
共探电子制造业的精彩未来!下一站
2025 年 4 月 22-24 日,上海展见。
(广 告)
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 25
应用与解决方案 Applications & Solutions
26 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
部时,在焊接区域的下侧会出现一个
光滑的孔洞,称为 FPH。这一特征具
有以下关键作用 :
• 焊接深度的指示器 :FPH 的形成
与焊接深度直接对应,通过实时
监测 FPH 的动态变化,可以精确
评估焊接状态。
• 反馈控制依据:FPH 是否出现,
可以作为控制系统调整激光功率
的直接反馈信号,实现动态调节
和闭环控制。
(2)FPH 的检测难点
• 高动态性 :FPH 的形成和关闭过
程极为迅速,通常在毫秒级别,
需要高帧率的视觉系统实时捕获
其动态变化。
• 图像特征复杂性 :FPH 在热成像
中通常表现为焊接区域中温度较
低的冷点,但其形状、大小和亮
度会受到焊接条件(如材料、功率)
随着工业自动化和智能制造的不
断推进,传统机器视觉系统正面临越
来越大的挑战。新兴工业场景(如高
速生产线检测、实时焊接控制和无人
系统导航)对图像采集和处理提出了
更高的实时性、灵活性、集成化和小
型化等要求。
为满足这些需求,犀灵视觉推
出了像素级感存算智能视觉传感器芯
片——飞虹 及其集成平台——飞瞳
智能相机系统。这些技术不仅显著提
升了图像处理性能,还通过创新的架
构重新定义了工业视觉系统在实时性
和智能化上的可能性。
本文将深入探讨这一技术如何在
激光焊接等实时视觉检测和闭环控制场
景中展现其强大的性能和优势,并详细
比较其与传统智能工业相机的差异。
背景与动机
激光焊接作为一种高效、精准的
工业加工技术,在汽车制造、航空航
天和消费电子等行业广泛应用。激光
突破超高速工业检测瓶颈 :
嵌入式智能相机系统的革新与应用
文/ 冉亮,犀灵视觉
焊接监控
飞虹像素并行处理阵列传感器和飞瞳智能视觉系统的闭环控制技术,为激光焊接实时监控提供强大支持。
焊接凭借焊接速度快、焊缝深且窄、
热影响区小等优势,广泛应用于高质
量、高效率的工业生产场景。然而,
实际应用中仍面临以下关键挑战 :
• 质量控制困难 :焊接过程中,熔
池和焊缝的形态可能会因材料特
性、激光功率波动、环境条件等
因素而发生变化,影响焊接质量。
• 缺乏实时反馈与控制 :传统焊接
系统往往采用预设参数,无法实
时响应材料或工艺条件的动态变
化,导致焊接缺陷的发生。
• 高动态性要求 :焊接过程中的关
键特征(如熔池形态、焊缝深度)
变化迅速,需要毫秒级甚至微秒
级的检测和反馈能力。
为了解决这些问题,闭环控制成
为提升激光焊接质量的核心方向。在
闭环控制中,通过实时监测焊接过程
的关键参数,并将其作为反馈调整激
光功率或其他工艺参数,可以显著提
高焊接的稳定性和质量。而“完全穿
透孔(Full Penetration Hole,FPH)”作
为焊接深度的重要图像特征,为实现
这种闭环控制提供了可靠的监测依据。
FPH 图像特征:激光焊接质量
控制的核心技术
(1)FPH 的定义与作用
FPH 是激光焊接过程中形成的一
个重要图像特征。当激光穿透焊件底
图1:飞瞳智能相机系统。
图2:激光焊接场景。
应用与解决方案 Applications & Solutions
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 27
的影响,检测难度较大。
• 噪声干扰 :焊接过程中存在高温
熔池、蒸汽和光反射等多种干扰,
增加了准确识别 FPH 的难度。
(3)解决方案 :超高帧率 FPH
检测
为了应对上述难点,犀灵提出了
一种超高帧率图像检测方案。该方案
通过“飞瞳”系统中的“飞虹”像素
级感存算智能视觉传感器芯片实现,
具有以下技术特点 :
• 高帧率实时处理 :飞虹支持高达
100kHz 的帧率,能够精准捕捉
FPH 的快速动态变化。
• 图像处理流程 :
o 图像增强 :对焊接区域的热图
像进行对比度增强,突出 FPH
特征。
o 二值化与形态学处理 :通过全
局 / 局部阈值化和形态学操作
提取 FPH 的边界。
o 噪声过滤:移除伪影和噪声,
只保留真实的 FPH 特征。
• 实时输出 :FPH 的检测结果直接
作为闭环控制信号,用于调整激
光功率。
(4)FPH 的实际意义
FPH 的成功检测和闭环反馈,不
仅显著提高了焊接过程的稳定性,还
通过实时视觉反馈有效替代了传统的
人工监测与离线检测,极大提升了生
产效率与自动化水平。系统不仅适用
于钢材焊接,也可成功应用于铝材等
高反射率材料的焊接。
总之,通过飞虹与飞瞳系统,
FPH 检测方案突破了传统方法的性能
瓶颈,实现了高精度、低延时的实时
闭环控制,助力工业焊接质量全面提
升。
传统智能工业相机的架构以及在
类似应用场景中的痛点
传统的普通智能工业相机架构,
通常包括图像传感器、数据传输接口
和后端处理器(运行图像处理算法,
如边缘检测、模式匹配)这几大部分。
在高动态实时应用中,这种传统
智能相机架构存在以下显著问题 :
• 高延迟 :图像数据传输和后端处
理的时间叠加,导致响应延迟。
• 带宽瓶颈 :图像传感器和 CPU 之
间的数据传输存在瓶颈,尤其在
处理高分辨率图像、实时检测和
大规模数据时,带宽成为性能的
限制因素。
• 计算瓶颈 :通用 CPU 对图像处理
任务效率低,难以满足实时性要
求。样样都做,样样低效。
• 功耗问题 :CPU 通常会长时间保
持高负载,导致高功耗问题,尤
其在工业环境下需要长时间稳定
运行的场景中,功耗和散热成为
瓶颈。
• 缺乏灵活性:在嵌入式场景中,
后端处理能力有限,难以实时完
成复杂任务。
• 尺寸大 :高速相机尺寸庞大,在
紧凑的工业生产线上使用有一定
局限性。
飞虹、飞瞳的原
理、功能和性能
特点
飞虹是一种集
图像采集、存储与
并行计算于一体的智能视觉传感器芯
片,其具备以下核心优势 :
• 像素级并行计算架构 :每个像素
点都集成了计算单元,支持实时
的并行计算。每个像素单元不仅
负责图像采集,还能进行局部图
像处理(如边缘检测、图像滤波、
阈值处理等)。这种设计使得图像
处理更加高效,避免了将大量数
据传输到中央处理单元的延迟。
• SIMD 模式 :SIMD(单指令多数
据)模式指的是在同一时刻对多
个数据执行相同的指令,特别适
用于图像处理中的像素级并行计
算,极大提高了处理速度。
• 低功耗设计 :飞虹通过模拟计算
电路降低了能耗,相比于传统数
字计算,它在进行图像处理时能
够保持更低的功耗。
• 高帧率支持 :飞虹能够支持每秒
数万帧的高速图像采集,适应高
速动态场景中的实时检测和分析
需求。
飞瞳系统是基于飞虹的智能视觉
解决方案,主要包含飞虹传感器芯片、
MCU(负责系统控制、任务调度以
及复杂的图像分析任务)和集成式接
口(支持与多种工业设备无缝连接)。
飞瞳系统能实现多层次处理,从
传感器级别的特征提取到系统级别的
决策支持 ;灵活的可编程设计,适应
不同的应用需求 ;鲁棒性好,能在复
杂环境下保持高稳定性和可靠性。
飞虹和飞瞳解决了传统架构的如
下痛点 :(1)带宽瓶颈 :飞虹传感器
通过像素级并行计算,减少了数据传
输过程中的延迟,避免了传统架构中
图像传感器和 CPU 之间的数据带宽
瓶颈。(2)高效计算 :并行架构消除
图3:飞瞳系统示意图。 了后端计算瓶颈。(3)实时响应 :毫
应用与解决方案 Applications & Solutions
28 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
秒级甚至微秒级延迟,满足闭环控制
需求。(4)紧凑的尺寸 :飞瞳系统模
块仅 6cm×6cm×3cm,远远小于传
统高速相机系统,满足诸多场景对尺
寸的严苛要求。
图像处理算法
犀灵提出的 FPH 图像检测算法,
是实现激光焊接闭环控制的核心技
术,旨在从复杂的焊接热图像中实时
提取 FPH 特征,并生成反馈信号以
调整激光功率。以下是该算法的详细
步骤和技术特点。
FPH 检测算法基于高帧率热图像
数据,结合飞虹片上嵌入式处理器阵
列进行分层图像分析。具体流程如下:
(1) 图像预处理
• 目标 :提高图像的对比度和清晰
度,突出 FPH 的特征,抑制噪声。
• 方法 :
o 图像锐化 :对原始灰度图像进
行增强,通过加权叠加高频分
量使图像边缘更清晰。
o 动态范围调整 :调整图像的灰
度范围,增强焊接区域(尤其
是 FPH)的可见性。
(2) 二值化处理
• 目标 :将 FPH 从复杂背景中分离
出来,形成一个二值化图像。
• 方法 :
o 全局阈值法 :通过设定一个全
局阈值,将温度较低的 FPH 区
域标记为白色(1),其他区域
标记为黑色(0)。
o 自适应调整 :根据焊接材料和
环境条件动态调整阈值,确保
对不同类型焊接的适应性。
(3) 形态学操作
• 目标 :连接断裂的边界,移除小
伪影,优化 FPH 的二值化形状。
• 方法 :
o 膨胀操作 :扩展白色区域,使
FPH 的边缘更加连贯。
o 腐蚀操作 :移除边缘噪声,避
免伪影被误识别为 FPH。
o 闭合操作 :填补 FPH 内部的小
孔洞,确保检测结果完整。
(4) 噪声过滤
• 目标 :消除由焊接过程中的光学
反射、热扰动等引入的噪声。
• 方法 :
o 面积过滤 :去除小于某一面积
阈值的伪影。
o 圆形掩模 :通过对检测区域应
用预定义的圆形掩模,确保只
保留符合 FPH 形状特征的区
域。
o 动态跟踪 :跟随激光焊接头位
置移动掩模,确保焦点始终集
中在焊接区域。
(5) 特征提取与分类
• 目标 :最终确认检测到的区域是
否为 FPH,并生成反馈信号。
• 方法 :
o 面积计算 :计算检测到的区域
面积,如果面积超过阈值,则
判定为 FPH。
o 逻辑判断 :结合多帧检测结果,
通过逻辑判断(如像素计数、
形状特征等)提高检测的鲁棒
性。
(6) 输出反馈信号
• 目标 :将检测结果转换为闭环控
制的反馈信号,用于实时调整激
光功率。
• 方法:如果检测到 FPH,则输出“1”
信号,减少激光功率;否则输出“0”
信号,增加激光功率。
基于上述处理流程,FPH 检测算
法展现了以下性能特点 :
(1)高速实时性:算法能以
>10kHz 的帧率完成 FPH 的检测和处
理 ;结合飞瞳系统的 MCU,整体延
迟仅为微秒级,满足激光焊接的高动
态实时需求。
(2)高检测精度 :通过全向算法
的形态学操作和噪声过滤,有效减少
了由焊接环境干扰引起的误报 ;针对
铝材和钢材的测试结果表明,FPH 检
测准确率超过 90%。
(3)适应性与鲁棒性 :自适应阈
值和动态掩模跟踪技术使算法能适应
不同材料(如铝材、钢材)的焊接条
件 ;面对焊接速度、材料厚度和激光
功率的变化,检测结果保持稳定。
FPH 检测算法是一种集成了多种
先进图像处理技术的解决方案,专为
实时激光焊接闭环控制优化,所有运
算都在飞虹传感器芯片上实现,其核
心能力离不开飞虹特有的技术架构。
应用优势
基于飞虹像素并行处理阵列传感
器和飞瞳智能视觉系统的闭环控制技
术,为激光焊接等工业应用场景提供
了强大的技术支持,展现了革命性的
改进。
首先,在实时性与高帧率处理能
力方面,飞虹传感器通过嵌入式像素
级并行计算,支持高达 >10kHz 的帧率。
激光焊接过程中,FPH 的形成和变化
通常发生在毫秒级别,传统架构由于
数据传输和后端处理延迟,无法捕捉
这种快速动态 ;而飞虹能在微秒级内
完成图像采集、处理和反馈,满足了
闭环控制的高实时性需求。另外,即
使在高速焊接(如焊接速度 > 5m/min)
的条件下,系统仍能稳定追踪 FPH
的动态变化,确保焊接质量。
其次,在高精度与稳定性方面,
应用与解决方案 Applications & Solutions
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 29
通过结合飞虹的图像处理算法和飞瞳
系统的闭环控制逻辑,实现了高精度
激光功率调节。这使得闭环系统能动
态调整激光功率,确保焊缝深度一致
性,深度误差可控。面对材料表面氧
化或环境光干扰,FPH 检测算法通过
形态学处理和噪声过滤,有效减少了
误报率和漏报率。实验表明,闭环系
统焊接的熔池形态和焊缝质量显著优
于传统开环控制。
最后,在动态适应能力方面,飞
虹和飞瞳系统能够快速适应焊接条件
的动态变化,例如焊接速度、材料厚
度和表面特性的变化。在焊接速度变
化的情况下,系统通过实时反馈调整
激光功率,确保焊缝深度不受影响。
对于不同厚度的材料,系统响应延迟
低于 100ms,能够快速调整至新稳态,
避免因功率不足或过剩导致焊接缺
陷。铝材和钢材等多种材料的实验表
明,系统对不同材料的光学特性有良
好的适应性,尤其在铝材表面氧化导
致光反射干扰的场景下表现优异。
系统内置算子与功能模块
飞瞳提供了丰富的内置算子,包
括 :
• 图像感应 :线性和宽动态模式
• 存储功能:最高 7 幅灰度图、13
幅二值化图
• 算数功能 :灰度图像加法、减法
和除法
• 滤波功能 :具有可编程带宽频率
的低通、高通、带通和阻带空间
滤波器
• 卷积功能 :灰度图像卷积
• 移动功能 :灰度图到二值化图转
换,二值化图到灰度图转换 ;
• 阈值操作 :支持全局或局部操作
• 二值化运算 :组合和顺序执行
坐标功能 :主动像素检测、基于
ROI 的处理
• 复杂功能 :空间滤波操作、形态
学操作、统计操作、Blob 分析、
特征提取等
易用性与API支持
犀灵为开发人员提供了一个简
洁、易用的 API 接口,旨在帮助工程
师快速集成和开发图像处理应用。无
论是基础图像处理任务,还是复杂的
图像分析和 AI 推理任务,都可以通
过 API 接口高效完成。
(1)便捷的接口文档
为确保开发人员能够高效上手,
系统提供了详细的接口文档,包括函
数描述、示例代码、常见问题解答等。
开发者可以快速参考文档,进行开发
和调试。
(2)多种编程语言支持
支持 C/C++ 和 Python 等主流编
程语言,开发者可以选择最适合的语
言进行开发。
(3)直观的调试工具
提供了图像调试工具,可以实时
查看图像处理结果,帮助开发人员验
证算法效果,并进行调试和优化。
系统的模块化扩展与未来升级
(1)数字协处理器模块的扩展
尽管系统的架
构没有集成数字协
处理器模块,犀灵
计划在后续的产品
中,片上集成数字
协处理器模块进行扩展,以满足更复
杂的图像处理需求。协处理器专门用
于高效的几何变换和矩运算,能够加
速图像的几何分析,适用于实时性要
求更高的应用。
几何变换加速 :通过协处理器的
硬件加速,可以实现更复杂的仿射变
换、投影变换等,大幅提升图像变换
速度,适用于动态视频处理等实时应
用。
矩运算加速 :协处理器模块专用
于矩运算的硬件加速,如一阶矩和二
阶矩的计算,适用于目标定位、形状
分析等任务。
(2)集成 NPU 的能力
犀灵还计划片上集成 NPU,以
加速深度学习推理任务,尤其是在目
标检测、图像分类、图像分割等计算
密集型应用中。
深度学习推理:使用外部 NPU
进行卷积神经网络(CNN)的加速,
使得深度学习推理能够在实时场景中
高效执行。通过硬件加速,NPU 能够
减少计算延迟,提高推理速度,支持
更复杂的视觉任务。
AI 应用扩展 :外部 NPU 可以帮
助系统完成更多 AI 应用,如自动化
质量检测、缺陷识别等,提升系统的
智能化水平。
总结
犀灵的智能视觉系统以“异构集
成”为核心设计理念,将飞虹传感器、
MCU、数字协处理器及 NPU 高度融
合,构建了从感知、计算、决策到控
制的完整闭环架构。
这一多单元协同设计突破了传统
智能相机的性能瓶颈,凭借高实时性、
强扩展性和高效计算能力,为超高速
图4:犀灵的智能视觉系统构建了从感知、计算、决策到控制的完整闭环架构。 工业检测提供了革命性的解决方案。
应用与解决方案 Applications & Solutions
30 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
PCB 保护涂层是一种特殊配方
的化学物质,它被均匀地涂覆于 PCB
表面及其组件之上,形成一层薄而透
明的屏障。这种涂层能够紧密贴合电
路板上的所有细节部分,包括焊点、
引脚和其它暴露在外的部分,从而提
供全方位的防护。PCB 涂层具有增强
电气性能、防潮防腐蚀、抗化学侵蚀、
提高物理强度、延长使用寿命等作用
与优势,被广泛应用于汽车工业、航
空航天、工业自动化等需要面对极端
天气、高强度辐射或存在腐蚀气体等
恶劣环境的应用领域。
PCB质量控制的挑战
合理选用并正确应用电路板保护
涂层,不仅能够显著改善电子产品的
性能表现,还能大幅降低维护成本并
延长其服务寿命。
在 PCB 生产中,需要根据应用
和 PCB 所在位置使用不同的保护涂
层。通常,保护涂层以喷涂方式涂覆
至 PCB 表面,确保涂层厚度的均匀
分布是保证质量的关键。有些涂层在
在当今世界中,印制电路板 (PCB)
无处不在,它是构成各种电子产品的
核心组件之一,也是许多电器的功能
保障。为了提高 PCB 板的耐用性和可
靠性,确保 PCB 上的敏感元件在不同
环境下稳定运行,采用适当的保护措
施变得至关重要。其中,为 PCB 涂覆
保护涂层是解决方案之一。
使用高光谱相机改进 PCB 质量控制
文/陆成,Specim
高光谱成像
探讨使用高光谱相机监测PCB板上的涂层厚度及其均匀分布,以改进PCB质量控制。
图1:托盘上准备好用于测试的PCB样品。
图 2:PCB的伪色彩RGB对光谱的影响(反射数据)。
应用与解决方案 Applications & Solutions
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 31
(2)光谱分析
图 2 显示了涂层对光谱的影响,从图中可见 :
• 两种涂层都具有独特的光谱曲线,这意味着它们可以
彼此区分。
• 涂层层越厚,相关光谱峰越深。可以根据此结果建立
回归模型,按涂层层数对样品进行分离。
(3)建模 -PLS(偏最小二乘)回归分析
在图 2 结论的基础上,为每种涂料类型创建 PLS 回
归模型(见图 3),并根据涂层数来分离样本。回归变量
称为“涂层”,范围从 0 到 5(对应于涂层的层数)。值得
注意的是,使用 Specim INSIGHT 软件,可以仅根据样本
构建回归模型,而无需考虑背景。
结论
综上所述,Specim FX17 是监测 PCB 上保护涂层的
均匀性和厚度的理想工具,也是准确量化涂层层数的相关
相机。由于 PCB 广泛应用于各种电器中,其质量至关重要。
高光谱相机为测量这些涂层的厚度和均匀性提供了卓越的
解决方案,从而提高了其整体可靠性和性能。
图 3:“涂层”回归模型的预测性能。
紫外线下发出荧光,通常可以利用这一特性来检
测其分解情况,但无法提供有关涂层厚度的信息
(涂层厚度应优化在 25~ 75µm 之间)。另外,并
非所有涂层在紫外线下都是可见的,这使得检查
过程变得更加复杂。
本文将探讨如何使用高光谱相机监测涂层
厚度及其均匀分布,以改进 PCB 质量控制。
高光谱成像简述
高光谱成像 (HSI) 是一种结合了机器视觉和
光谱学的先进技术。它可以捕获物体光谱的详细
信息,为各个行业提供广泛的应用可能性。
人眼只能感知三种颜色波段(红、蓝、绿)
的光,而高光谱相机可以捕捉数百个光谱波段,
使不可见的事物变得可见。高光谱相机从单色相
机、RGB 相机、多光谱相机发展而来,它可以
根据物体及其化学成分对物体和物体的各个部分
进行精确分类,并以伪色显示出来。它们提供数
十到数百个光谱带,通常直接相邻且均匀分布。
这使得高光谱系统能够应用成熟的光谱技术,如
导数光谱、化学计量学等,成为化学检测、分析
和基于传感器的分类等各种应用的多功能工具。
高光谱线扫描相机通过分析反射光的波长来捕捉材
料的光谱特征,从而创建三维高光谱数据立方体。这些相
机提供了一种非侵入性和非破坏性的材料分类方法,使其
特别适用于自动质量控制和高要求的分类应用。
使用高光谱相机检测防护涂层的厚度
Specim FX17 是 Specim 公司的一款线扫描高光谱相
机,它的工作范围为 900~1700nm 的近红外(NIR)区域。
Specim 测试了 Specim FX17 相机监控 PCB 上保护涂层厚
度的适用性。
以喷塑 PRF 202 和 Electrolube SCC3UL(UV 清漆)
这两种类型的保护层为研究对象,并将这些涂层以 1-5 层
的形式涂覆在 5 张 PCB 上,然后测试 PCB 上保护涂层厚
度的适用性。
(1)研究材料准备
对于每次测量,准备如图 1 所示的材料 :
• 5 块 PCB,从上到下分别为 1、2、3、4、5 层。
• 1 个参考样品(右上),没有任何涂层。
应用与解决方案 Applications & Solutions
32 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
取代手动扫描条形码而开发。亚马逊表示,在配送中心使
用 AR-ID 后,附近员工手中包裹上的条形码标签会被以
120fps 运行的独立摄像头系统自动扫描。员工不再需要像
以前那样,一只手拿着包裹,另一只手抓着条形码扫描仪,
而是可以用双手处理包裹。对于车内应用程序,AI-ID 可
以在处理周围环境时实时定位和破译多个条形码。
亚马逊的视觉辅助包裹检索工作原理
亚马逊的开发人员训练了机器学习模型,以在各种照
明条件下特别是在车内环境中识别不同的标签和包装。亚
马逊在新闻稿中表示,这些模型已被纳入 VAPR。它的技
术系统使用专门设计的汽车灯光投影仪和摄像头。软件和
硬件组件被集成在一个安装在货车货物区的定制外壳中,
并与货车的导航系统集成在一起。
Machine Vision Source(美国北卡罗来纳州索尔兹伯
里)的创始人、机器视觉专家 David Dechow 表示 :“我认
为,识别系统、云包裹列表和司机路线之间的交互是一项
非常大的成就。软件与货车的导航系统相连,系统知道在
某个地点需要交付哪些包裹。”
Dechow 指出,该应用程序的自动代码读取功能并不
新鲜,在行业中使用光投影仪来辅助拣选操作也很常见。
亚马逊开发出一种计算机视觉辅助包裹检索(VAPR)
解决方案,它可以自动识别需要交付到每个站点的包裹,
从而节省司机的时间和精力。
亚马逊(美国华盛顿州西雅图)的一份新闻稿显示,
司机到达交货地点后,VAPR 将需在该站交付的包裹上显
示绿色的“O”,在其它包裹上显示红色的“×”。这种方
式不再需要司机按站点归整包裹、读取标签或识别其他信
息,也不再需要他们用手动扫描条形码的方式确保该包裹
地址在应交付范围。
货车司机在交付包裹前,要先停留在每个站点的货物
区。在为该站点找到相应的包裹后,VAPR 系统会发出蜂
鸣声或在货车的导航屏幕上出现绿色圆圈。通过查看屏幕,
司机还可以看到在该站点需交付的包裹数量。
亚马逊拥有 39 万多名司机,每天运营 10 万多辆货车,
运送数百万个包裹。
根据测试该技术的司机反馈,亚马逊预测这项新技术
可使司机的每次停车时间节省 2~5 分钟,每条路线总共节
省 30 分钟。预计到 2025 年初,亚马逊将在 1000 辆新电
动货车上安装 VAPR。
VAPR 使用亚马逊机器人识别(AR-ID)。这是一种
涉及计算机视觉和机器学习的扫描能力,最初为配送中心
亚马逊协助司机送货的计算机
视觉解决方案
文/Linda Wilson
自动化流程不再需要按站点归整包裹、读取标签和手动扫描条形码。
图1:亚马逊使用带摄像头、汽车投影仪和机器学习的视觉辅助系统检索包裹。
图2:视觉辅助包裹检索系统站点交付的包裹上显示绿色的“O”,在其它包
裹上显示红色的“×”。
应用与解决方案 Applications & Solutions
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 33
他还提到,虽然“瞄准投影的机制很复杂”,但是许多供
应商仍然提供了解决方案。
Dechow 推测了系统的工作原理,他说,最初的处理
层可能会识别和隔离包装上的标签。据报道,它使用“经
过训练的机器学习模型”完成,但目前尚不清楚这在技
术上到底意味着什么。他说 :“假设分割部分算作深度学
习是实际可行的,那么其它经过训练的识别模型也是可行
的。”Dechow 又补充说 :“视觉过程的最终目的是读取每
个标签上的条形码。读取部分可能使用的是标准视觉算法,
也可能是深度学习。”
亚马逊表示,开发人员使用两种商用工具为 VAPR
构建了软件层,一种是用于构建、训练和部署机器学习模
型的软件服务——SageMaker,另一种是帮助开发人员为
边缘设备创建软件的云服务——IoT Greengrass。
亚马逊的视觉辅助包裹检索系统运行情况
亚马逊快递公共关系团队的 Maya Vautier 解释说,若
干包裹被包装成一个提袋并装载到货车上,司机将它们放
置到多个站点。“每个提袋内的包裹数量不一,每条路线
上的提袋数量也不一样。”
亚马逊配送服务合作伙伴 Bloomfield Logistics(美国
马萨诸塞州哈弗希尔)的司机 Bobby Garcia 一直在测试
VAPR。对于新系统对他的日常工作的影响,Garcia 解释说:
“以前清空一个提袋并装好下一站的包裹可能需要 2~5 分
钟。在使用 VAPR 后,整个过程只需要一分钟左右。”
帮助司机的其他人工智能解决方案
另一份新闻稿称,亚马逊也在实施其它技术以帮助
司机,例如在路线规划系统中使用考虑天气和步行距离等
因素的机器学习模型。该公司还使用预测模型来识别司机
路线上的安全风险,例如未铺砌的道路或铁路道口。到
2024 年底,亚马逊预计将识别 2 亿个风险特征,并通过
APP 为司机提供 1800 万个安全提示。
亚马逊运输服务副总裁 Beryl Tomay 在新闻稿中说 :
“我们一直在研究通过数字信号处理器使司机的日常工作
体验更安全、更简单的新方法。”
图3:亚马逊的路线规划系统使用的机器学习模型考虑了天气和步行距离等因素。
高输出 UV LED 紫外光照明系列
VS Technology 的高输出 UV LED 紫外光照明系列,
包括环形光(VFR 系列)、条形光(VBA 系列)和同轴光
(VCO 系列),标准波长为 365nm,可根据需求定制尺寸
和波长,适应多样化的工业检测需求。
产品特色 :
(1)业界领先的输出功率,确保图像清晰,细节精准。
(2) 365nm 波长,专为激发荧光物质发光设计。
(3)多种光形设计,
适应不同检测场景的需
求。
(4)配备防紫外光滤
镜,进一步增强图像清晰
度,减少紫外光干扰。
(5)提供定制服务,精准匹配特定应用需求。
应用案例 :
• 齿轮润滑剂检测 :UV LED 照明能够清晰显示润滑
剂的荧光特性,帮助快速判断其质量。
• 信封和罐底特殊墨水检测 :在 UV LED 照明下,特
殊墨水荧光清晰显现,便于快速识别和检查。
产品撷英 Products Highlights
34 Dec 2024/ Jan 2025 视觉系统设计 Vision Systems Design China
在线3D测量和检测软件工具Z-Trak 3D Apps Studio
Teledyne DALSA 推出在线 3D 机器视觉应用开发的
软件工具 Z-Trak™ 3D Apps Studio。该工具与 Teledyne
DALSA 的 Z-Trak 系列激光扫描仪配合使用,可简化生产
线上的 3D 测量和检测任务。Z-Trak 3D Apps Studio 能够
处理具有不同表面类型、尺寸和几何特征的物体的 3D 扫
描,适用于电动汽车(电动汽车电池、电机定子等)、汽车、
电子、半导体、包装、物流、金属制造、木材等众多行业
工厂自动化应用。
Z-Trak 3D Apps Studio 不仅具有简化的工具,还有锚
定和数据增强功能。Teledyne 的 Z-Trak 系列激光扫描仪
可以使用多传感器拓扑结构,以在保证测量高度和分辨率
的同时增强视野、克服遮挡或为检查和测量提供物体的
360°视图。Z-Trak 3D Apps Studio 具有 3D 可视化功能,
并且可以同时采集、处理和分析3D扫描和2D灰度图像(反
射率数据)。
Teledyne DALSA,www.teledynedalsa.com
CXP-12接口线阵相机MV-CL084-91Y2M
海康机器人的 CXP-12 接口线阵相机 MV-CL084-
91Y2M,搭载 8192×4
线 CMOS 传感器,配
备两路 CXP-12 数
据 传 输 接 口, 总 带
宽 25Gbps,满分辨
率下最大行频可达
200kHz ;配套线缆采
用 HD-BNC 接头,接头自带锁扣,插拔方便 ;相机采用
4 线 COMS 传感器,可支持至多 4 灯分时或 4-TDI 成像,
也可实现两灯分时叠加 2-TDI 成像 ;不同 CXP 接口数量
的配套采集卡,可支持 1 拖 1、1 拖 2、1 拖 4 等多种连接
方式;支持多重曝光、分时频闪及 TDI 功能,提高图像质量,
用于多种类型缺陷同步捕捉的复杂场景。
该相机还可以通过减少所需的相机工位数,降低整体
视觉检测方案的成本。
海康机器人,www.hikrobotics.com
匹配16K 3.5μ像元的线扫镜头ML-LU6040-58V70
茉丽特专门匹配 16K 3.5μ 像元的新款线扫镜头 MLLU6040-58V70,其工作参数
如 下 :在 0.07x 时, 工 作 距
离仅为 820mm ;适配相机为
16384×3.5μ、倍率 0.1x、后截
距 12mm、接口 M72 ;在完全
匹配 3.5μ 像元的情况下,工
作距离仅为 600mm ;搭配接
圈 ML-LU6040-EXR-V70V74 及 CA-V74M72-M72-12.0 ;
支持在近红外波段使用。
它适用于低倍率、短物距、高分辨率的应用场景,如
PCB 板、晶圆缺陷、锂电涂布及玻璃缺陷检测等应用。
茉丽特,https://cn.moritex.com
激光3D轮廓测量仪GTS-8200和GTS-8560
光图智能 GTS 系列激光 3D 轮廓测量仪新增 GTS8200 和 GTS-8560 两款产品,基于激光三角测量原理,对
物体实现非接触式高精度测量
/ 检 测, 主 要 优 势 如 下 :(1)
微米级精度 :X 轴分辨率最高
可达 8μm,Z 轴重复测量精度
最高可达 0.1μm ;(2)超高扫
描速度 :最高测量速度可达
40000 轮廓 / 秒,能轻松应对
各种高速检测场景。(3)超高
分辨率 :每条轮廓提供 2048 个数据点,超高分辨率提供
高精度的轮廓形态。(4)2D+3D :可同时输出 2D 深度图
+ 校准的 3D 点云数据,实现不同视觉功能。
该系列轮廓测量仪可满足不同行业各种场景下高精
度 3D 数据采集需求,可广泛应用于汽车制造、3C 电子、
半导体、锂电池组件、橡胶轮胎以及航空航天、医疗器械
领域的精细几何尺寸测量及表面缺陷检测。
光图智能,www.oi-smart.com
产品撷英 Products Highlights
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 35
高速背照式全局快门 CMOS 图像传感器
GSPRINT5514BSI
长光辰芯推出高速背照式全局快门 CMOS 图像传感
器 GSPRINT5514BSI,其基于先进的背照式工艺,并
对像素尺寸、读出噪声以及量子效率三个重要参数进行
了优化 :采用 5.5μm 的大像素设计,有效分辨率为
4608(H)×3072(V),相比同等光学尺寸的已有 GSPRINT
系列,像元面积提升了 50%。先进的电荷域全局快门像素
设计,使其读出噪声在全速模式下小于 2e。先进的背照
式生产工艺使其峰值量子效率可达 86%。
以上性能的提升,极大提升了芯片的响应灵敏度,降
低了在工业场景下的光源强度,减少光污染。其具备高速、
低噪声、高动态范围等特性,适用于 3C 电子、半导体、
SMT 等诸多行业的应用升级。
长光辰芯,www.gpixel.com
嵌入式机器视觉主机Oncilla
Active Silicon 专为严苛使用环境打造的嵌入式机器视
觉主机产品 Oncilla 系列,具有三款产品 :搭载 CoaXPress
或 Camera Link 图
像采集卡以及超小
尺寸的 Oncilla Mini
机型。
Oncilla 嵌入式
主机集成了 Active
Silicon 最新的 FireBird 图像采集卡产品。在兼顾硬件结
构紧凑的同时,提供高性能的图像采集功能。内嵌最新
的 Active Silicon 图像采集卡驱动及 SDK,以及图形化的
集成测试软件 ActiveCapture,提供一站式主机解决方案。
Oncilla Mini 版支持 GigE 及 USB3 视频传输,整体尺寸仅
为 150mm×105mm×52.3mm。
Oncilla 系列搭载 Intel Alder Lake 处 理 器、16GB
DDR5 运行内存以及多种控制及扩展接口,最大程度减少
频繁的硬件更新或升级需求,适用于自动化、工业生产、
医疗及国防等行业。
Active Silicon,www.activesilicon.com
LMI Technologies发布
Gocator®
2500和2600系列多款红光版本
LMI Technologies 最新发布 Gocator®
2540/50 和
Gocator®
2629/30/40智能3D线激光轮廓传感器的红光版本。
在扫描深色材质(例如黑色橡胶轮胎)以及偏红色材
质(例如铜)时,红
色激光可提供更快的
速度、更优异的灵敏
度和信号质量。
用户将红光和蓝
光 版 本 线 激 光 组 网,
使双传感器和多传感器的系统速度得到提升,不必采取异
步曝光的方案。
红光版本的应用场景包括 :
Gocator 2540/50 红光版本适用于橡胶和轮胎行业的
高速应用以及高速组网系统,不必采取异步曝光的方案 ;
Gocator 2629/30/40 红光版本适用于汽车行业的中视野检
测应用。
LMI Technologies,www.lmi3d.com
工业级智能图像生成软件AIDG
阿丘科技推出工业级智能图像生成软件 AIDG,这是
一款基于 Stable Diffusion 框架的数据生成平台。它可解决
AI 落地工业检测的过程中,因图像数据不足导致的模型
训练及验证困难、模型指标不佳等问题,主要优势如下 :
(1)生成样本真实度高 :基于工业缺陷检测领域多年实践
的预训练模型+Stable Diffusion框架,可适应复杂结构缺陷、
背景变化、缺陷边缘处理等多样场景,高度还原真实缺陷
纹理、立体度和色彩细节,可直接用于模型开发。(2)生
成方式灵活高效:只需 1~5 张的真实样本,支持批量生成、
自动生成、参数生成,支持对多个缺陷类型进行组合,保
障样本丰富均衡。(3)支持缺陷素材沉淀入库 :支持缺陷
素材沉淀、迁移复用 ;提供在线素材库,内置丰富的行业
有效缺陷素材,缩短数据获取周期,甚至0样本也可以使用。
阿丘科技,www.aqrose.com
观点 VIEW
工业 AI AI IN MANUFACTURING WWW.AIM-MAG.COM Dec 2024/ Jan 2025 37
安森美亚太区应用工程技术总监
Hector Ng 先生
在智能感知技术上,安森美多种应用
于工业 AI 的智能感知产品,包括高速工
业检测方案、最新的 iTOF 运动深度感知
方案、低功耗相机方案、8K 摄像机方案、20MP 工业检
测方案、近红外方案以及双目立体相机方案等,不仅提高
了工业检测的速度和精度,还为工业机器人、物流、安
防监控等领域提供了精准的深度感知能力和优质的成像效
果。而在智能可穿戴、智能家居乃至不断衍生出的新兴的
AI 等细分应用领域,安森美 Hyperlux LP 系列传感器功耗
超低,还支持内置的运动侦测功能,可以只需要在侦测到
运动物体时快速唤醒系统工作,进一步优化了系统的功耗,
内部采用了堆栈式架构设计,能最大限度地减少产品体积,
最小型号小如一粒米。
以 AR0822 传感器为例,内置了高动态范围融合算
法和运动物体捕捉算法,在保证图像质量的同时,降低系
统资源的消耗,支持多种多次曝光合成线性化拟合功能—
DLO 以及 SCMAX 智能拟合,这种模式降低了多次曝光
合成时的亮度临界区域的噪声,实现了 120dB 的图像数
据输出,减少了后端处理器的接收数据和处理时间,提升
了图像细节的呈现效果。此外,AR0822 还具备增强的近
红外灵敏度和像素合并 / 开窗输出等精密的摄像功能。
针 对 AI 数 据 中 心 应 用, 安 森 美 最 新 一 代 T10
PowerTrench 系列和 EliteSiC 650V MOSFET 的组合能够
支持大算力的人工智能基础设施建设,提供高效的能量转
换能力,支撑 5G 通信基础设施和人工智能计算平台中的
高速数据传输和复杂算法处理。
莱迪思亚太地区应用工程高级总监
谢征帆 (Frank Xie) 先生
随着 AI 技术的兴起,有着“万能芯片”
之称的 FPGA 芯片成为支持这些新场景应
用的优先选择。在 AI 席卷千行百业的当
下,莱迪思通过其 FPGA 芯片正帮助越来越多客户实现
AI 应用。
莱迪思对 AI 领域的兴趣与投入可以追溯到 2019 年,
当时公司在投资者日上发布了 sensAI 解决方案集合,标
志着其正式进军 AI 市场。此后,AI 技术逐渐融入莱
迪思的多个产品线中,成为推动公司发展的重要动力。
2021 年莱迪思专门收购了一家 AI 软件公司 Mirametrix,
进一步提升了公司在 AI 领域的研发实力和市场竞争力。
人工智能赋能新型工业化,是推动中国制造业加速向数字化、网络化、智能化发展的重要途径。工业
和信息化部在10月份发布2024年前三季度工业和信息化发展情况显示:前三季度规上工业增加值同比增长
5.8%,工业投资连续8个月呈两位数增长。近几年累计培育421家国家级智能制造示范工厂,建成万余家省级
智能工厂,13家中国企业入选全球“灯塔”工厂,中国“灯塔”工厂总数达到72家,占全球42%。中国初步
构建了较为全面的人工智能产业体系,相关企业超过4500家,核心产业规模已接近6000亿元人民币,产业链
覆盖芯片、算法、数据、平台、应用等上下游关键环节。
伴随着2025新年的脚步,回顾2024年中国智能制造行业的发展,各家企业曾经推出哪些新技术、新产
品、新方案投身中国智能制造的洪流中,对即将到来的2025又有怎样的期待与希望。从他们的回复中,我们
相信2025年中国智能制造将继续阔步向前!
中国智能制造 阔步向前
2024 年,公司在工业 AI 领域有怎样的进展?
观点 VIEW
38 Dec 2024/ Jan 2025 工业 AI AI IN MANUFACTURING WWW.AIM-MAG.COM
2023 年底,莱迪思更是与英伟达宣布在边缘 AI 市场展
开合作,共同推出了针对使用英伟达 Jetson Orin 和 IGX
Orin 平台的 AI 应用的传感器桥接设计,旨在加速边缘
AI 应用的开发。经过几年的努力,莱迪思在 AI 领域的
收入已经取得了显著增长。截至 2023 年,公司在 AI 方
面的收入已经超过了 1 亿美金,充分证明了其在 AI 市场
的强大竞争力。
莱迪思现有的工业 AI 产品:随着边缘人工智能 (Edge
AI) 的日益普及,相机在工业和自动化行业中的部署速度
和规模正在呈现大幅增长态势。集成 USB 器件功能的莱
迪思 CrossLinkU-NX FPGA 产品系列更好地赋能工业和
自动化行业。给工程设计人员提供一款具备高度可扩展
性、低价格、低功耗,且提供灵活互连、支持各种 I/O 标
准和协议的解决方案。CrossLinkU-NX FPGA 基于莱迪
思 Nexus 平台,其原生版本 CrossLink-NX FPGA 结合了
28nm FD-SOI 技术和优化的 FPGA 架构,减少了 100 倍的
软错误率,功耗降低达 75%,两个硬核 4 通道 MIPI D-PHY
收发器速率为 10Gbps/PHY。采用小尺寸 WLCS 封装,
最小仅为 4mm x 4mm。CrossLinkU-NX FPGA 通过硬核
USB 控制器和物理层 (PHY)、独特的低功耗待机模式和
一整套参考设计,加速设计配备了 USB 的系统并简化散
热管理。
2024 年,莱迪思也为小尺寸 FPGA 产品中再添一款
逻辑优化的全新莱迪思 Certus-NX FPGA 器件。新产品包
括两款新器件,即 Certus-NX-28 和 Certus-NX-09,拥有
多种封装选项,可提供低功耗、小尺寸和可靠性以及灵活
的迁移选项。这些器件旨在加速广泛的通信、计算、工业
和汽车应用。
瑞萨电子全球销售与市场副总裁、
瑞萨电子中国总裁赖长青先生
为推动 AI 在各个领域的发展,瑞萨
成立了专门的人工智能中心,帮助嵌入式
工程师学习和开发边缘 AI 应用,该中心
能够提供成熟的开发工具、模型和算法,方便工程师快速
上手,从而推动 AI 在工业领域的创新应用。依托人工智
能中心,瑞萨提供从底层到应用层的软硬件支持,覆盖基
于信号的实时分析、视觉、声音等多种应用场景,从而使
客户更轻松的开发产品。在实际应用落地方面,瑞萨成功
地将 AI 技术应用于光伏 / 储能设备的拉弧检测、电机运
行平衡感知、暖通设备的预测性维护、电网电能质量诊断、
机械设备链条磨损及电机健康状况评估等场景,解决应用
痛点,帮助用户减少维护和管理的成本。
XMOS 亚太区市场和销售负责人
牟涛先生
正在快速发展的人工智能、物联网和
边缘计算等技术正在全面改变我们的生活
和工作,也给 XMOS 在近年来带来了许多
新的机会,例如基于我们 xcore 处理器的智能多通道音频
技术,不仅可以带来更完美的高品质音乐和更易用高效的
人机界面,而且还在现代远程会议和协同领域成为了行业
事实标准,所以类似我们 xcore 这样的边缘智能带来的变
化才刚刚开始。在 2024 年,XMOS 和我们的客户及合作
伙伴携手合作,利用我们的 xcore 边缘计算平台器件,以
更智能的机器、更高效的运行和更实用的维保为目标,在
消费电子以外的工业和汽车等重要智能物联市场中,开发
了市场所需的各种智能化解决方案,包括智能音频数据的
监测设备、精度极高的电机控制、先进的传感器连接及数
据处理等许多全新功能。XMOS 正在全球快速扩大的智
能制造领域中,用基于我们 xcore 平台的软件定义 SoC 去
创新更大的生态。
研华(中国)嵌入式物联网平台事业群
总经理许杰弘先生
2024 年,研华科技在工业 AI 领域取
得了显著的进展。我们不仅在 Edge AI 技
术上实现了突破,还推出了一系列创新的
边缘计算解决方案,以满足不同行业的运算需求。
在边缘计算领域,研华已完成全面布局,致力于根
据不同设备及场景控制需求,提供多元化的计算方案。
研华深知,Edge AI 的发展离不开软硬件的深度整合。因
此,我们针对不同行业的算力需求,与英特尔、AMD、
恩智浦、瑞芯微等全球领先的芯片厂商深度合作,结合
他们在处理器内核技术方面的优势,为各种嵌入式和
AIoT 应用注入强大动力。同时,我们也在积极推进 Edge
AI 的布局和发展,通过启动与 AI 相关的项目和投资,加
速工业企业的数字化和智能化进程。
观点 VIEW
工业 AI AI IN MANUFACTURING WWW.AIM-MAG.COM Dec 2024/ Jan 2025 39
ADI 首席 AI 官
Rashmi Misra 女士
我认为工业 AI 在制造业中会发挥更
关键的作用,推动效率提升、创新和增强
竞争力。我们会看到更多 AI 技术的无缝
集成,同时更加关注伦理问题、卓越运营,并利用 AI 进
行产品开发。
工业 AI 有望显著改变制造业,并将更深地融入生产
运营,提高效率和生产力。其应用包括预测性维护、质量
控制和供应链优化。例如,AI 驱动的预测性维护能够预
测设备故障,减少停机时间和维护成本。此外,AI 支持
的质量控制系统可以实时检测缺陷,确保更高的产品质量。
我预计,边缘 AI 将通过越来越专业化的边缘 AI 芯
片推动应用发展和提升效率,这些芯片能够以更低的功耗
执行任务。像 TinyML 和模型量化这样的 AI 技术将继续
进步,使更复杂的 AI 算法可以在资源有限的设备上运行。
我们可以期待在小型边缘设备上看到更多实时语音识别、
计算机视觉和预测性维护的应用,以及更多本地数据处理。
目前的边缘应用大多使用预训练模型,但未来设备上
实时训练和微调将变得更加普遍。这意味着边缘设备可以
随着时间的推移根据本地数据变化进行学习和调整,从而
在无需依赖云端重新训练的情况下提升性能和个性化。
安森美亚太区应用工程技术总监
Hector Ng 先生
随着技术的不断进步及其在各行各业
中的深化应用,AI 已成为推动经济增长和
社会转型的关键力量。从技术角度看,AI
正向着更加智能化、个性化和人性化的方向发展,能够处
理更加复杂的任务,并且通过与大数据、云计算、物联网
等其他前沿技术的融合,创造出前所未有的解决方案。特
别是在自动驾驶、医疗诊断、智能制造、智慧城市等领域,
AI 技术的应用正在改变传统行业的运作模式,提高生产
效率和服务质量,同时也为全球经济创造新的增长点。
安森美期望通过持续的研发投入,在智能电源管理和
智能感知技术方面保持领先,特别是在工业 AI 领域,利
用碳化硅、图像传感器和其他关键组件方面的技术优势,
提供更高效率、更可靠、更智能化的解决方案,以满足工
公司对 2025 年工业 AI 的发展有怎样的愿景?
业自动化和智能制造日益增长的需求。例如结合深度学习
和神经网络技术的图像传感器设计正引领着智能感知的新
浪潮,这些传感器通过集成或紧密配合专用的AI处理单元,
能在边缘侧直接执行复杂的目标识别、分类甚至预测任务。
为了在更复杂多样的环境中更精准、快速的输出场景信息,
安森美的图像传感器未来将会集成更高分辨率,更快速率,
嵌入更多的智能算法甚至深度算法、以及非可见光波段的
检测等,为边缘智能带来更精美、更细致的图像。
瑞萨电子全球销售与市场副总裁、
瑞萨电子中国总裁赖长青先生
当前,人工智能正以惊人的速度融入
我们的工业体系之中,随着算法的不断优
化、算力的持续提升以及应用场景的不断
拓展,AI 将在智能制造、智能物流、智能运维等多个环
节发挥关键作用,开启工业 4.0 乃至更高阶段的新篇章。
对于工业智能化的布局,瑞萨的部署可分为两类 :
● 基于信号的实时分析,通过 Reality AI 工具及解决
方案,可进行机器学习模型开发,同时生成可解释性 + 硬
件分析,为客户提供解决方案 + 参考设计。在边缘节点上
Reality AI 融合了先进信号处理和机器学习功能,也非常
适合工业物联网应用。
● 机器视觉,依托内置瑞萨专用 AI 加速硬件(DRPAI,Helium 矢量加速器)的 MCU/MPU,我们提供 e-AI
模型转换工具。配合瑞萨 RZ/V2 系列 MPU 或 RA8 系列
MCU,可为客户提供一个覆盖 AI 性能要求的 MCU/MPU
平台。并且通过搭载瑞萨自有的 DRP-AI,客户可以完成
端到端 AI 推断,无需 CPU 介入处理。
XMOS 亚太区市场和销售负责人
牟涛先生
XMOS 非常看好工业领域的发展,我
们的产品也非常适合应用于新一代的智能
制造场景和更先进的工业控制中。具体来
说,XMOS 的 xcore 平台软件定义 SoC 芯片在工业领域的
以下三个应用场景中已经取得了突破 :
● XMOS 的 xcore 器件有类似于 FPGA 的多核并发处
理架构,而且可以实现恒定的低延迟,从而被完美地应用
观点 VIEW
40 Dec 2024/ Jan 2025 工业 AI AI IN MANUFACTURING WWW.AIM-MAG.COM
ADI 首席 AI 官
Rashmi Misra 女士
在工业领域,生成式 AI 已从理论研
究逐渐转向实际应用。企业正在利用这些
模型改进产品设计、优化制造流程、快速
定位工厂车间的故障原因,并提升供应链管理。
AI 与机器人技术的融合使机器更加智能、适应性更
强,能够执行复杂任务。随着大型语言模型为机器人应用
注入新的活力,这种进步更为显著,加速了机器人前沿模
型的发展,使其部署更快速、更灵活。
莱迪思亚太地区应用工程高级总监
谢征帆 (Frank Xie) 先生
更多行业正加入到应用人工智能浪潮
当中来,包括服务器、边缘、工业相关人
工智能计算,汽车、高级驾驶辅助系统、
车内监测等等。
莱迪思也在拓展 AI 功能在更多垂直领域的落地,例
如 AI 在农业领域的应用。所谓的农业智能机器,就是色
选机方案,完成对花椒的筛选。“当落下来一批固体时,
这个机器先要把和花椒形状一致的东西挑选出来,下面的
过去一年工业 AI 行业发展的热点问题、新概念、新进展
于多轴、高精度电机控制,以及电机之间的协调和并行处
理,完美体现了 XMOS 产品超强的多任务运动控制能力 ;
● xcore 平台还可以灵活地配置 I/O 硬件,同时还具
有多功能多核操作和缓冲,精确的时钟和高效的序列化功
能。这些功能在工业场景中不仅可以方便地同时连接多种
传感器,而且还使软件设计人员能够把时间关键型 I/O 处
理从主处理器上卸载,以为复杂的实时应用程序创建高速、
确定和低延迟的接口,并进行数据格式整理、传感器数据
融合甚至在边缘就进行处理 ;
● xcore 的嵌入式 AI 处理能力,使工业用户可以开发
各种各样的固定式或者便携式制造或者维保工具,实现产
品缺陷在线监测和预测性维护等工具性创新。凭借 xcore
的 AI 推理能力,结合工业光学监测、麦克风声音检测、
电磁环境监测等配件功能,通过对工业现场出现的异常图
像和声音 / 电波谐波进行分析,从而进行免安装、可配置
的实时产品和设备检测和监测。
凭借十多年来在各种工业场景中的优异性能,xcore
平台器件已经赢得了全球工业客户的信任,提供了制造场
景所需的确定性和低延迟 ;特别是内生具有的实时性能和
精确的控制能力,小小的 xcore 平台器件能够创建强大的
工业应用产品。
研华(中国)嵌入式物联网平台事业群
总经理许杰弘先生
展望 2025 年,研华科技对工业 AI 的
发展充满了期待。我们坚信,随着技术的
不断进步和应用场景的不断拓展,Edge AI
将在工业自动化、智慧城市、智慧医疗等多个领域发挥更
大的作用。在 Edge Computing & Edge AI 引领的工业革命
中,研华嵌入式物联网事业群将以技术服务为核心,提供
创新的软硬件整合方案,协助充分调用 GPU 资源来满足
市场深层需求。
喷嘴进一步识别,如果发现不是花椒,喷嘴就会提供气流
把东西吹掉。”谢征帆介绍说,“传统色选机精度较低,很
多客户开始采用 AI 方案来实现。AI 会对花椒的物体形状
进行标注,然后放到神经网络里训练,训练之后把参数放
到机器中,就可以实现筛选功能。美国也有类似的方案,
比如农业除草机,下面有传感器来判断是杂草还是作物,
如果是杂草,就通过激光除掉。”
安森美亚太区应用工程技术总监
Hector Ng 先生
过去一年,边缘智能在工业 AI 领域
取得了显著进展,特别是在性能优化、安
全性和实时性方面,具有广泛的潜在应用
价值,例如工业自动化领域实现智能制造提高工厂设备的
效率和可维护性,在智能交通领域实现高级驾驶辅助与道
路环境监控,医疗保健领域实现远程健康监护,等等。
此外,随着人口老龄化,用户对智能化诊疗体验需求
的不断提升,个性化医护设备如助听器的设计不再是简单
的音频放大组件,而需要变得更为专业及智能,从而进化
为集成了高级数字信号处理、人工智能算法与低功耗管理
的微型计算平台。安森美拥有 30 多年的助听器芯片设计
观点 VIEW
工业 AI AI IN MANUFACTURING WWW.AIM-MAG.COM Dec 2024/ Jan 2025 41
ADI 首席 AI 官
Rashmi Misra 女士
数据质量和可访问性仍是工业 AI 面
临的主要挑战。工业 AI 依赖于大量来自
传感器、机器和生产线等不同源头的数据,
但这些数据往往分散在不同部门内部,或者存储为不兼容
的格式,导致数据整合困难。此外,工业数据可能存在噪
声、不完整或不平衡的问题,特别是在老旧设备或传统系
统中。要获得准确的 AI 见解,必须对数据进行清理和标
准化,这是一项耗时耗力的工作。
确保工业环境中的智能系统稳定可靠同样至关重要。
罕见但不可忽视的事件(如设备故障)在训练数据时可能
无法得到充分体现,从而限制了 AI 系统有效处理这些状
况的能力。
工业应用通常需要实时处理和决策,比如缺陷检测和
设备监控。实时运行复杂 AI 模型所需的算力会增加边缘
工业 AI 的未来将面对怎样的技术与应用挑战?
经验,打造了一系列先进的专业数字助听器 /OTC 辅听方
案,包括 Ezairo 7160、Ezairo 8300/8310、J10/J20 低功耗
蓝牙无线 OTC 等平台。其中,Ezairo 8300/8310 在常规处
理基础上,扩展到了 6 核解决方案,处理能力提升了一倍
以上,内置了一颗 NNA 神经网络加速器,可解决 AI 离
线计算的需求,在低功耗状态下能够进行语音唤醒、调整
音量、基本参数调整等本地处理,结合用户使用助听器的
习惯,通过深度学习的算法来实现自动适配功能。
瑞萨电子全球销售与市场副总裁、
瑞萨电子中国总裁赖长青先生
其实近两年的热点话题一个是生成式
AI,另一个是边缘 AI。虽然边缘 AI 不算
新的概念,但其在过去一年发展迅速。边
缘 AI 是指将 AI 技术部署在设备的边缘端,即靠近数据
产生的源头进行处理和分析。这种技术可以降低数据传输
的延迟和成本,提高数据处理的实时性和安全性。瑞萨电
子在边缘 AI 领域进行了大量投入,除了强大的硬件支持
外,软件方面,公司推出了面向边缘 AI 的一站式开发平
台 Reality AI,帮助开发者在云端构建专属的模型,并在
本地边缘节点上完成部署。同时,瑞萨还联合超过 250 家
生态合作伙伴合作,共同打造完善的边缘 AI 生态系统,
为客户提供丰富的软件库和解决方案。
而生成式 AI 利用机器学习技术,从训练数据中学习
到“思考”的模式,能够创造具有原创性的输出。这种技
术具有自主学习、跨模态理解、推理抽象思维和人类社会
理解等特征优势,为工业领域的创新提供了强大驱动力。
此方面,虽然瑞萨没有直接部署相关的技术,但是公司旗
下的电源和模拟相关器件都在此领域发挥重要作用。
研华(中国)嵌入式物联网平台事业群
总经理许杰弘先生
在过去的一年里,工业 AI 行业涌现
出了许多热点问题和新概念。其中,Edge
AI 作为新兴的技术趋势,正以其独特的数
据处理能力和实时响应优势,受到越来越多的关注。此外,
随着生成式 AI 技术的不断发展,AIGC 边缘 AI 也成为了
行业内的热门话题。在这一背景下,研华科技紧跟技术潮
流,不仅在传统自动化边缘 AI 领域取得了显著成果,还在
AIGC 边缘 AI 领域进行了积极探索和实践。我们推出了针
对图像识别技术的工业 AI 解决方案,以及知识库和数据处
理软件等,为行业提供了更为丰富和多样化的产品和服务。
设备的负担及延迟。另外,运行高级 AI 模型(特别是深
度学习)往往需要消耗大量能源。在工厂环境中,效率和
可持续性至关重要,因此最大程度地降低 AI 的能耗很关
键。开发低功耗模型和优化 AI 运营以提升能效将是实现
工业 AI 可持续发展的重点。
安森美亚太区应用工程技术总监
Hector Ng 先生
工业 AI 包括工业数字孪生应用往往
伴随着大规模数据处理和高功耗数据中
心,这对服务器电源的能效比提出了更高
要求,因此,如何为 AI 数据中心部署高能效高功率密度
的电源方案显得尤为重要,也成为行业亟待破局的一大痛
点。安森美在服务器和数据中心领域提供了一系列先进的
技术和产品,旨在满足这些高性能计算环境的需求,包括
高、中、低压功率分立器件、先进的功率模块方案、智能
观点 VIEW
42 Dec 2024/ Jan 2025 工业 AI AI IN MANUFACTURING WWW.AIM-MAG.COM
安森美亚太区应用工程技术总监
Hector Ng 先生
过去一年,中国工业 AI 行业取得了
显著的发展,企业技术创新的加速以及市
场需求的持续增长,推动了制造业的数字
化转型和智能化升级。同时,中国企业在智能感知、大数
据分析、机器学习等领域取得了进步,特别是在 5G、物
联网等新一代信息技术的支持下,工业 AI 的应用场景不
断拓展,为提升生产效率、降低成本、提高产品质量等方
面带来了巨大潜力。
如何看待过去一年中国工业 AI 行业发展?面临怎样的挑战?
功率级、数字多相控制器及热插拔智能保险丝、负载点
DC-DC 稳压器、LDO 产品等。随着市场对高能效的 AI
服务器电源解决方案的需求日益增长,为降低 AI 数据中
心的整体运营成本并符合环保标准,安森美也将基于 SiC
MOSFET 等技术,研发适合 AI 服务器使用场景的更高转
换效率、更强稳定性的电源方案,实现精细化、动态化的
电源分配和能效优化,推动 AI 的发展。
另一方面,安森美认为在工业 AI 中,嵌入式应用和
图像传感技术是接下来比较重要的方向,结合 AI,机器
视觉也会发生革命性的变化。作为智能感知技术领袖企业,
安森美致力于为客户提供更好的人工智能感知方案,当前
广泛实用的 CMOS 图像传感器分为全局曝光和卷帘曝光
两大类,安森美完全掌握了这两种技术并且有广泛的产品
方案,我们认为,未来的图像传感器依然会追求高分辨率,
高画质,低成本,这也是安森美图像传感器不断推陈出新
的目标。此外,安森美收购了 SWIR Vision Systems,显
著增强公司的智能感知产品组合,扩展安森美在支持下一
代成像系统的深度感知和 3D 成像方面的能力,并为工业、
汽车等关键市场的进一步发展铺平道路,尤其是监控、机
器视觉、食品检测、自动驾驶等领域。
瑞萨电子全球销售与市场副总裁、
瑞萨电子中国总裁赖长青先生
对于任何领域的 AI 来说,最关键的
是三个方面 :语音、视觉和基于信号的实
时分析。首先,语音识别和控制技术已经
越来越成熟,可以应用于各种终端设备和商业化场景。这
种技术的发展使得人们可以通过语音来控制各种设备,提
高工作的便利性和效率。其次,机器视觉也是工业 AI 的
关键所在。它可以用来做故障检测,或者实现生产过程的
筛选,提高产能的质量。另外一个重要的技术,就是信号
实时分析。其通过感知各种传感器的数据,进行实时分析,
从而提高决策的准确性和效率。
以往人工智能技术依赖于云端,所有的大数据、管理、
决策都是集中在云端,这可能会导致数据延迟和隐私泄露
风险。在这种情形下,将计算和数据处理下沉到边缘端是
一个很好的办法。基于这一思考,瑞萨将关注如何帮助传
统的嵌入式工程师将设计规格转换为基于大数据的人工智
能设计,因此公司建立了更多的样例和模型,这些模型可
以转化为更智能的迁移学习、甚至转化为新语言的代码,
从而加快智能设计,让工程师从零开始,把嵌入式开发转
化实现为人工智能开发。
研华(中国)嵌入式物联网平台事业群
总经理许杰弘先生
我们清醒地认识到,工业 AI 的未来将
面临着诸多技术挑战。例如,如何更好地
解决算力差异化需求的问题,如何实现软
硬件的深度融合和定制化设计,以及如何确保边缘设备的
安全性和能效等。这些挑战都需要我们不断地进行技术创
新和突破。因此,研华科技将继续加大在技术研发和人才
培养上的投入,不断提升自身的技术实力和创新能力。同
时,我们也将积极与行业内外的合作伙伴开展合作与交流,
共同应对技术挑战,推动工业 AI 技术的不断进步和发展。
然而,随着产业应用的加深加速,中国工业 AI 行业
也面临着一些挑战。应用场景日益细分,市场竞争日趋激
烈,企业和研究机构需要不断投入资源,跟踪最新技术动
态,以保持竞争优势。例如智能感知的工业 AI 应用场景
例如工业 AI 检测、工业扫码及机器人等,其中图像传感
器作为 AI 视觉系统的眼睛,如何在更复杂多样的环境中
更精准、快速的输出场景信息至关重要。因此,图像传感
器有赖于更高分辨率、像素、景深、非可见光检测等核心
能力。工业检测对精度和细节越来越高,新兴行业如新能
源、光伏、锂电等需要检测的项目越来越多,随着算法的
观点 VIEW
工业 AI AI IN MANUFACTURING WWW.AIM-MAG.COM Dec 2024/ Jan 2025 43
在工业AI的生态系统中,公司提供怎样的解决方案?发展愿景?面临哪些挑战?如何解决?
ADI 首席 AI 官
Rashmi Misra 女士
未来,多模态 AI 将通过整合多种互
补传感器输入,提供更深入的洞察,帮助
系统实现更优且更具针对性的操作。这将
推动传感器的大量广泛应用,为我们广泛的信号链和电源
产品组合带来显著的增长动力。
在声学领域,我们正与客户合作,通过开发带有嵌入
式神经网络的 5 纳米数字处理器,优化机器学习算法,从
而打破传统噪声消除技术的局限。这项核心技术将使我们
能够在完整的系统解决方案中进一步优化信号链和电源。
我们的 AI 技术将在听力优化、路噪消除、语音意图识别
等应用中产生积极影响。
在电源领域,我们利用 AI 解决数据中心电源调节的
难题,应对不稳定的电力需求。
我们的解决方案简化了系统设计,将原本需要数周的
工作压缩至数小时,帮助客户降低成本,缩短上市时间。
机器人技术也将进一步发展,自主机器人将与人类并
肩协作,提高生产率与安全性。AI 驱动的质量控制将实
现实时缺陷检测,确保产出一致性,这在对质量标准具有
严格要求的行业中尤为重要。
进一步强大,大分辨率逐渐成为一个新的成长需求。此
外,工业 AI 应用场景越来越细分,如何满足多元化的场
景需求也是挑战,例如安森美各种图像传感器可以做双目
或者配合结构光得到 3 维数据,有配合激光实现的 dTOF
即 SiPM, SPAD 解决方案来满足远距离的应用需求,以及
smart iTOF 的解决方案结合背照式全局快门的像元技术满
足短距离的应用需求,无论是用在服务机器人、物流仓储,
工业测量检测,帮助客户满足对应的技术挑战。
瑞萨电子全球销售与市场副总裁、
瑞萨电子中国总裁赖长青先生
现阶段中国制造业智能化转型
升级的本质就是从解决可见问题到解决和
避免不可见问题的过程。因此如何利用工
业大数据和人工智能技术预测生产系统中不可见的问题是
一项重要挑战。在此方面,瑞萨正积极探索并应用先进的
软硬件解决方案,以提前预警潜在的生产故障,减少日
常维护成本。例如,瑞萨的 RealityCheck Motor 嵌入式 AI
电机预测性维护方案,这是一个实际应用 RAI 技术的例子。
我们知道在构建整体解决方案时,要选择正确的传感器,
收集适当的数据,并选择最有效的模型。而 RAI AutoML
工具能够自动构建最有效的模型,帮助用户解决从传感器
的选择和放置,甚至完全消除传感器,到数据收集的每一
步问题。如果客户没有很好的数据集,瑞萨有一个完整的
硬件 - 软件框架专门用于数据收集。
在此方案中,AI 仅仅使用电子信号信息,没有任何
传感器辅助条件下,可以预测一个不平衡负载状况。并
且方案能在广泛的频率和速度范围内运行,推理时间非常
快,仅需约 3.5 毫秒,并且只占用 20KB 的 Flash 和 9KB
的 RAM。这样,在 M33 内核上就留下了足够的带宽来完
成核心电机控制功能和其他任务。
莱迪思亚太地区应用工程高级总监
谢征帆 (Frank Xie) 先生
首先,芯片研发的复杂性极高。这包
括构建和优化 FPGA 的架构,确保它能够
高效地处理各类数据应用,同时还涉及到
软件工具的开发与持续进化。这一过程不仅需要深厚的技
术底蕴,还与大量经验积累紧密相关,因此投入巨大。若
缺乏足够的业务量支撑,技术上的突破将变得异常艰难。
其次,市场和销售方面的挑战同样不容忽视。FPGA 的发
展路径在于不断开拓新的应用领域和技术边界。然而,一
旦这些应用或技术变得成熟,成本更低的 ASIC 往往会迅
速取代 FPGA。这就要求 FPGA 开发者必须不断创新,在
性能和硬件技术上持续探索,以确保在未来 5 到 10 年内
保持竞争力与发展潜力。
展望未来,莱迪思将继续加大在AI领域的投入。一方面,
公司将持续投资并推出新一代的更小型 FPGA,以满足 AI 应
用不断增长的算力需求。另一方面,莱迪思也将关注下一代
中档 FPGA 的发展,并不断丰富其软件工具和解决方案集合,
为客户提供更加完善的 AI 开发平台。同时,莱迪思也透露
后续产品迭代的方向包括低功耗、先进且灵活的连接性以及
针对新兴应用优化的计算能力,并且安全性贯穿其中。
观点 VIEW
44 Dec 2024/ Jan 2025 工业 AI AI IN MANUFACTURING WWW.AIM-MAG.COM
安森美亚太区应用工程技术总监
Hector Ng 先生
安森美的战略是聚焦加速发展的大趋
势,专注于可赋能颠覆性创新的高度差异
化智能电源和智能感知产品,赋能并支持
可持续的生态系统。在工业 AI 生态系统中,智能电源具
有不可忽视的重要价值。安森美拥有先进的 SiC、IGBT
和栅极驱动技术及持续创新的封装,在 SiC 领域具有独特
的优势。安森美这样拥有数十年硅制造技术,在将 SiC 以
最佳性能和质量、合适的成本大批量推向市场方面走在前
列,提供从衬底 / 外延、晶圆、裸片 / 器件、模块到系统
的一条龙应用支持,和垂直整合的生态系统以降低价格并
加快上市时间,在整个 SiC 供应链全部环节,包括基板衬
底到最终产品到封装相关的技术都会进行比较大的投入,
以支持我们与客户达成的战略合作。此外,安森美还积极
保持与客户密切沟通,从而为客户提供专门配套的 IC 和
参考设计,乃至创建高度定制的系统方案,使客户能充分
利用 SiC 的优势,推动 SiC 的应用和发展。
传感器作为工业 AI 生态系统的数据入口,安森美是
智能感知技术全球领袖,我们的智能感知技术赋能工业
4.0,实现更智能的工厂、楼宇和家居。我们的优势是长
期的投入,提供最全面的产品方案,例如工业 AI 中的图
像传感器方案集成硬件安全模块、安全启动视频认证和控
制加密,确保网络安全。安森美智能传感引领工业 AI 应
用中的发展趋势,例如在工业 AI 的图像传感器领域,从
紧凑经济型的全局快门,星光级的卷帘快门,到针对平板
显示器市场、工厂自动化等的超高分辨率,技术上也会进
一步提高全局快门像元性能、低功耗设计及增大动态范围。
XMOS 亚太区市场和销售负责人
牟涛先生
XMOS 一直在追求让各行各业的客户
能够仅用软件编程的方式,自己就能定义和
实现高性能、高确定性和智能化的软件定
义 SoC 解决方案,使客户和伙伴的工程师能够充分地发挥
其创造性,同时他们开发的解决方案还能够更完美地适用
于每一个场景,无论应用是消费产品和工业应用,还是智
慧城市、先进农业和协作机器人。为了适用于无边无际的
应用场景,xcore® 系列平台化软件定义SoC拥有完善的架构,
可提供高性能的可配置 DSP、边缘 AI、控制功能和 I/O。
XMOS 已向市场推出了三代 xcore 技术,既可以完
成像 MCU 的控制功能,也可以实现像 FPGA 的标准时
序,更能满足像 DSP 的复杂数据运算处理,可谓集 MCU、
FPGA 和 DSP 于一身。其早已被广泛用于开发多元化的应
用,实现了从具有最高音质的音频系统到最高精度的电机
控制,从车牌识别到工厂自动化等等先进功能,这些应用
都通过在相同的、现成可用的芯片上加载不同软件来实现。
XMOS 能够有效满足工控对智能化、高精度、低延迟
的要求,而且功耗也非常低。可根据客户需要进行定制化,
即将多核集群中的其中一个核设定为客户需要的核。其多样
化的可配置 xcore 多核微控制器使集成化和差异化的物联网
解决方案能够完全通过软件来打造,并在消费电子、工业和
汽车等重要领域内,用支撑性的物联网技术来赋能智能设备。
研华(中国)嵌入式物联网平台事业群
总经理许杰弘先生
随着 AI、物联网、5G 等技术的飞速
发展以及智能终端设备的广泛部署,我们
迎来了数据量爆炸式增长的全新时代。在
此背景下,边缘计算逐渐崭露头角,成为了推动各行各业
变革的重要力量。作为工业物联网领域的嵌入式解决方案
服务商,研华将继续以 Edge Computing 和 Edge AI 为核心,
深化技术创新和应用落地。我们将继续加大在 Edge AI 领
域的投入和布局,推动技术的创新和应用落地。同时,我
们也将积极扩展生态圈和合作伙伴网络,共同探索 Edge AI
的无限可能,为行业的未来发展贡献更多的智慧和力量。
研华新一代机器人控制系统 AFE-R770 闪亮问世
研华面向机器人市场推出的专用系统 AFE-R770,该
系统集成了激光雷达、摄像头、IMU、车辆和电池等重要
组件。它还配备了专用实时操作系统、驱动程序、ROS2
环境、AI 工具、仿真功能、SLAM 和导航工具,为开发
人员提供了一个快速和友好的硬件和软件开发环境。
AFE-R770 产品特点 :支持 Intel 12th/13th/14th Gen
Core i3/i5/i7/i9 处理器 ;机器人专用 I/O : 4 x 2.5GbE,
4 x USB 3.2,2 x CANBus,4 x RS-232/422/485,16-bit
DIO ;9-36 VDC,电池连接可支持切换点火 /PC 开机模
式 ;支持 Xsens IMU/AHRS 传感器;ESD 防护 :高达
8KV 接触 ESD 防护,15KV 隔空 ESD 防护 ;支持 -20 ~
65°C 宽温 ;支持带实时补丁的 Ubuntu 22.04 和研华面
向 ROS2 的 Robotic Suite 开发套件。
技术荟萃 TECHNICAL CLUSTER
视觉系统设计 Vision Systems Design China Dec 2024/ Jan 2025 45
应链中的任何潜在干扰。它还能实现产品定制,满足客户
的个性化需求,使零售商能够适应不断变化的消费者期望。
想象一下这样一个世界 :顾客进入零售商店,通过
SD-WAN 或宽带互联网等高速技术无缝连接到商店的应
用程序。他们会收到个性化的欢迎信息,并根据自己的喜
好即时获得产品推荐。在整个购物过程中,利用蓝牙低功
耗(BLE)和位置跟踪技术的智能信标将顾客引导至相关
通道,创造个性化的购物体验。然后,顾客使用智能镜子
等创新零售技术,根据自己的喜好选择可视化服装,而无
需实际试穿。在做出选择后,他们在无摩擦支付系统的帮
助下进行结账,从而无缝、高效地完成购物之旅。
边缘计算正在塑造零售业的未来,它能在更接近互动
点的地方处理数据,确保实时响应,并实时提供超个性化
服务和身临其境的购物体验。
数据编织的力量
无论哪个行业,边缘计算和云技术都需要一个可靠、
可扩展的全球超级互联网络—数字架构—来为企业带来运
营和创新优势,并为客户创造新的价值和体验。数字架构
在塑造基础设施的未来方面至关重要。它通过支持预期激
增的网络流量、满足不断增长的连接需求和解决复杂的安
全要求,确保企业能够充分利用边缘和云技术的潜力。
随着数字环境变得越来越复杂,网络安全威胁变得越
来越复杂,一个精心设计的网络结构至关重要。它提供了
必要的弹性和灵活性,以保护敏感信息不被泄露,确保数
据完整性并保持业务连续性。通过促进边缘和云系统之间
的无缝集成,数字结构不仅能提高系统的整体性能,还能
丰富汽车和零售等不同行业客户的体验。
边缘计算和人工智能的未来
随着边缘计算的不断发展,在边缘集成人工智能处理
功能将重新定义数据管理和运营效率。通过让先进的人工
智能算法直接在边缘设备上运行,企业可以获得以前无法
实现的实时洞察力和响应决策能力。
在当今的数字化环境中,连接和数据是推动业务增长
和成功的关键。信息的无缝流动和全球网络的即时连接能
力彻底改变了企业的运营、沟通和创新方式。随着这些技
术的不断发展,各行各业都在眨眼间发生着变革。
这种变革背后最重要的进步之一就是边缘计算 --一
种重塑数据处理和利用方式的模式,它不仅标志着技术的
进步,也标志着数据处理方式的转变。与依赖集中式数据
中心的传统云计算不同,边缘计算的数据处理方式更接近
数据产生的地方,即网络的“边缘 ”或附近。在互联日益
紧密的世界中,积极拥抱这一转变的公司将有望提高运营
效率、推动创新并保持竞争优势。
驱动未来: 边缘计算如何促进车联网的发展
想象一下自己坐在全新的互联汽车中,汽车配备了实
时导航、增强型信息娱乐系统、无缝空中更新以及高级驾
驶员辅助系统(ADAS),可实现防碰撞和自适应巡航控
制等安全功能。
所有这些功能都是通过边缘计算实现的。
传感器等边缘计算设备可持续监控汽车的性能,并将
数据发回云端进行实时分析。这样就能及早发现潜在问题,
降低故障发生的可能性,实现主动维护。因此,车辆的可
靠性和效率更高,停机时间更短。
每个传感器都依赖于一个超级互联网络,该网络通过
从边缘到云的连续性无缝集成了数据驱动的智能、实时分
析和洞察力,这是一个跨越各种环境的不同云服务和技术
的互联生态系统。通过在车内边缘处理数据,减少了传输
到云端的数据量。这就优化了网络带宽,减轻了网络压力,
降低了制造商和用户的连接成本。
边缘计算正在重塑汽车的运行、通信和驾驶体验。
利用边缘计算引发零售业革命
在边缘计算的推动下,零售和消费品行业也正在经历
一场变革。这项技术通过实时数据分析,为企业提供量身
定制的建议和有针对性的广告,管理库存,并识别复杂供 (下转第48页)
边缘计算的变革潜力
文/Dino Trevisani TATA通信高级副总裁兼美洲区负责人
技术荟萃 TECHNICAL CLUSTER
46 Dec 2024/ Jan 2025 工业 AI AI IN MANUFACTURING WWW.AIM-MAG.COM
随着物联网设备在各个工业领域越来越普遍的应用,
这些设备所产生的数据量也快速增长。例如传感器、执行
器和连接的机器,实时收集关于环境、工业设备和工业过
程的数据。这些数据往往基于固定的时间间隔产生,通常
带有一个时间戳标识数据产生的时间,因此称为时间序列
数据(在下文中简称时序数据)。
时序数据在工业环境中尤为重要。它提供了变量随
时间变化的历史视角(图 1),使得趋势分析、异常检测
和预测分析成为可能。各行业可以利用这些数据来监控绩
效、检测模式、识别低效,并预测未来事件。然而超大体
量的数据对传统的集中式的云计算范式带来了挑战,将物
联网设备采集到的数据全部传输到云端再进行存储和分析
的方案无论是延迟、成本还是可扩展性方面都无法满足需
求,因此在数据来源之处对这些数据进行分析和存储势在
必行。本文将介绍如何通过在边缘端部署时序数据库应对
这些挑战,以及边缘端时序数据库的技术难点和解决方案。
边缘计算场景中构建时序数据库
文/黄磊 格睿时代(杭州)信息科技有限公司
挑战和解决方案
数据量和资源限制的冲突
即使在边缘端场景中,接入的设备量也是不可小觑
的,例如在一条现代化的水泥生产流水线上,会有上千个
传感器用于检测产线各个流程的温度、压力、液位、流量
等参数 ;此外随着工艺要求的提高,这些传感器采集的频
率也越来越高,在有的行业中,甚至需要微秒级的数据采
集频率。这两者叠加就带来了超大规模的数据写入需求。
而边缘端场景不具备集中式云计算服务所能提供的近乎无
限扩展的算力,并且往往有着较为严苛的功耗和资源限制,
这是边缘数据库的的关键挑战之一,而应对方法就是采用
针对高吞吐写入优化的存储架构设计,例如 LSM 树。
主流的 OLTP 数据库(如 MySQL 和 PostgreSQL 等)
通常采用 B 树(及其变体),其为了保证查询性能需要保
持树的平衡,从而在每次数据写入的时候都有可能导致叶
节点分裂影响写入性能,因此比较适合对读性能(尤其是
点查性能)要求较高的场景。而 LSM 树是一种采用写入
优化策略的数据结构,主要由两部分组成 :内存中的写入
缓冲区(称为 Memtable 或 Write Buffer)和磁盘上的多个
层(Level)。数据首先写入内存中的结构,然后通过后台
进程以合并和重写的方式周期性地将其刷新到磁盘。尽管
LSM 树也需要 WAL(Write-Ahead Log)来保证数据可靠
性,但 WAL 的写入基本都是顺序 IO,对高吞吐写入的场
景更为友好。
即使采用了 LSM 树,其各个组件的设计也需要精心
设计才能满足边缘计算的需求。边缘端设备的可用内存通
常不大,即使是高端的工控主机的内存也往往在 2~16GB
之间,和服务器所搭载的动辄上百 GB 的内存不可同日而
语。因此 LSM 树的写入缓冲的数据结构对于降低数据库
整体内存开销极为重要。通常写入缓冲使用的数据结构
为 BTree 或者 SkipList,而这两者在面对高基数的数据写
入时,会出现由于 Key 的数量过多导致内存膨胀严重的
问题。而且其数据结构自身的开销也不可忽略,从而导致
出现真实内存占用远远超过用户所设定的阈值的情况。因
图1:时序数据提供了变量随时间变化的历史视角
技术荟萃 TECHNICAL CLUSTER
工业 AI AI IN MANUFACTURING WWW.AIM-MAG.COM Dec 2024/ Jan 2025 47
此针对边缘端的场景需要设计一种更加紧凑的内存数据表
示,例如图 2 所示,采用 Apache Arrow 这一类的列式内
存数据结构,并且通过字典编码、时间线合并等手段进一
步降低 Key 部分的内存开销。
除了内存方面的优化,为了适配嵌入式环境有限的计
算资源,在 CPU 资源占用方面也有大量的优化工作需要
完成。LSM 树这样的数据结构往往需要借助 compaction
任务对写入的数据进行整理,从而获得更好的查询性能。
当数据量较大的时候,并发执行的 compaction 任务会占
用大量的 CPU 和 IO 资源,从而影响其他任务的运行,因
此需要一套合理的任务调度框架来管理这些后台任务。
数据的压缩和存储优化
采集海量物联网数据时,边缘端设备的存储空间往往
会成为瓶颈,而无限提高设备的存储空间往往会带来难以
承受的成本,因此需要使用特定的压缩算法对采集到的数
据进行压缩。
传统的面向行的存储格式,如 JSON/CSV 等,往往
只能采用一些通用的压缩算法,如 Gzip 和 Zstandard。虽
然这些压缩算法的压缩率较高,但其带来的额外的 CPU
开销也较大,并且其无法识别数据的类型和格式从而针对
性的进行压缩。在这种场景下往往列式存储格式能够获得
更好的压缩效果。
图 3 给出了同样一组数据在行式和列式格式中的存储
方式。在面向行的文件格式中,相同一行的不同列的数据
被存储在一起 ;而在面向列的文件格式中,不同行的相同
列的数据被存储在一起。
由于不同行中相同列的数据往往具备较强的相关性,
因此可以采用一些特殊的手段进行编码从而降低数据大
小。比如对于上图的中 region 这一列,我们可以采用字
典编码,在文件头部的元数据字典中将 us-west-2 编码为
0x00,这样 region 的数据就从 [\"us-west-2\", \"us-west-2\",
\"us-west-2\"] 变成了 [0x00,0x00,0x00],从而降低了占用
空间。对于 timestamp,由于其基本上是单调递增的,我
们可以采用 delta 编码,只记录第一行的 1729407625,而
其余行则记录其与第一行的差值即可,从而可以编码
成 [1729407625, +01, +01] 即可。而对于浮点数(float 和
double 类型),则可以使用 Gorilla 编码获得针对浮点数的
更优的压缩效果。
在针对这些不同类型的编码之后,我们还可以进一
步进行 Gzip 或者 Zstandard 压缩从而进一步降低文件大
小,从而利用边缘端有限的存储能力应对海量的数据采
集需求。
与云端湖仓的联动与同步
数据在边缘端采集之后,最终还需要汇总到云端进
行分析并产生最终的报表或决策动作。在传统的解决方案
中,需要边缘端设备将采集到的数据编码成传输格式(如
Protocol Buffer 等)再上传到云端。云端往往会部署一个
集群来解析边缘端上传的数据再存入数据仓库或者数据湖
中进行 BI 分析。而当数据量极速膨胀时,边缘端编码和
云端解析的开销都会变得难以承受,而且云端解析带来的
数据延迟也会越来越大,从而影响数据的实时性。
图2:采用 Apache Arrow 这一类的列式内存数据结构。
图3 :同样一组数据在行式和列式格式中的存储方式
技术荟萃 TECHNICAL CLUSTER
48 Dec 2024/ Jan 2025 工业 AI AI IN MANUFACTURING WWW.AIM-MAG.COM
图6 :边云联合查询中,可以将 ORDER BY ... LIMIT 1
下发到边缘端,由每个边缘端的时序数据库计算出局部
的结果,再将这一行结果返回给云端服务器
在原来的查询模式中,需要将所有边缘端
的设备数据全部上传到云端数据仓库中之后才能
获取最终的结果。而在边云联合查询中,可以将
ORDER BY ... LIMIT 1 下发到边缘端,由每个边
缘端的时序数据库计算出局部的结果,再将这一
行结果返回给云端服务器(见图 6)。在这种方案
下,从边缘端上传到云端的数据量将会从全量数据降低到
常数级,从而在不影响云端分析结果准确性的前提下大大
节约上传数据的流量成本。当然要实现这样的效果必须要
求边缘端数据和和云端数据库具备一定的联动分析能力。
Greptime 边云一体方案
Greptime 边云一体化解决方案立足于 GreptimeDB 的
原生架构,针对物联网场景下的边缘存储与计算需求进行
优化设计,成功应对物联网企业在数据量呈几何增长下的
业务挑战。通过将多模态边缘数据库与云端 GreptimeDB
企业版的紧密结合,该方案显著降低了企业在数据传输、
计算和存储上的总体成本。同时,它还增强了数据处理的
实时性和业务洞察能力,为物联网企业提供了更为敏捷和
高效的数据管理方式,推动了从数据到决策的快速闭环。
总结
本文介绍了海量物联网数据采集和分析场景对边缘端
时序数据库所造成的挑战,包括计算存储资源的限制、海
量数据的压缩、边缘端和云端联动查询等方面,以及如何
通过合理的数据结构和存储架构设计、灵活高效的压缩算
法、零解析的数据同步机制和边云一体联合查询来解决这
些问题。随着新场景和新需求的涌现,物联网数据采集、
同步和分析的技术和架构也需要持续迭代,从而充分发掘
和利用埋藏在海量物联网数据中的价值。
因此更为高效的解决方案则是在边缘端和云端使用
相同的文件格式,从而无需文件解析,让云端的数据分析
工具能够直接使用边缘端采集到的数据文件,这就对边缘
端数据库的选型提出要求,其必须能够支持主流的数仓所
使用的数据格式。目前的 GreptimeDB 和 IOTDB 均能实
现类似的无解析、零拷贝的边云数据同步。
而在某些特定环境中的边缘场景,其由于地理位置限
制并不具备有线网络接入的条件(如海上风力发电厂等),
因此依赖移动网络流量上传。在这种场景下即使有各类压
缩算法的支持,上传明细数据的代价也会变得难以承受,
因此需要能够在边缘端做一些过滤和聚合操作,甚至需要
能够将云端的查询下发到边缘端执行。
比如在云端执行如下的查询语句 :
图4:数据在边缘端采集之后,需要汇总到云端进行分析并产生最终的报表或决策动作
图5:更为高效的解决方案则是在边缘端和云端使用相同的文件格式,无需文
件解析
SQL
SELECT * FROM sensor_data
ORDER BY BY temperature DESC LIMIT
这种转变不仅提高了数据处理的速度和准确性,还减少了
对集中式云基础设施的依赖,以满足即时数据需求。
展望未来,边缘计算与云系统之间的协同作用将继续
变得越来越无缝。边缘设备将与云应用程序和后台系统协
作,创建一个混合设置,以提高数据处理能力和灵活性,
而在边缘本地处理的数据将与云同步,以便进行长期存储、
详细分析以及与更大的系统集成。这种连接性将确保企业
从两全其美中获益 :边缘处理的即时性和效率与人工智能
云环境的可扩展性和广泛功能相结合。( 译自 Embedded
Computing Design)
(上接第45页)