3D视觉+AI，打破药盒盲文OCR读取难题

———访Teledyne DALSA视觉软件部门高级技术工程师黄明

近年来，随着医药行业的快速发展，上游的制药装备行业也愈来愈受重视，一系列利好政策和相关标准不断落地。制药装备业作为医药行业整体发展的重要抓手，将在国家医药卫生水平整体进步的过程中发挥更重要的作用。前几年席卷全球的新冠病毒流行，更是助推了国内整个制药装备行业将由中低端向高端方向转型，制药设备产业结构升级势在必行，提升自动化、数字化、智能化仍是接下来制药设备行业发展的主要方向。

机器视觉技术在医药行业整体的升级转型中有着不容忽视的地位。机器视觉技术在医药行业具体有哪些应用？Teledyne DALSA在该领域有哪些助力？面对中国机器视觉网记者的问题，Teledyne DALSA视觉软件部门高级技术工程师黄明进行了详细解答。

Teledyne DALSA视觉软件部门高级技术工程师黄明

相比于其他行业，医药及医疗行业一直都有着更高的行业标准，尤其在医药制造业。一直以来在整个医药制造流程，对医药质量控制、跟踪和追踪过程都至关重要，新冠疫情大流行凸显了疫苗质量作为一个全球卫生问题的重要性。

在制药行业，机器视觉检测的典型应用与其他行业大抵相同，但每一项特定任务都需要制定更加严格的标准和规范。因此，作为质控的一环，制造商必须确保生产的每一个步骤，从产品密封到胶囊型号再到瓶子印刷的批号，都需要确保在规定的标准范围内，特别是安全和保障方面的标准规范。

机器视觉在整个医药制造的各个环节中的应用：

1、存在和缺失检测

存在和缺失检测旨在检查某种特定属性以及视觉系统是否能够看到该属性，此类检测常用于药品或医疗器械的包装。制造商需要确保每件产品包装妥当，每个部件放置到位，无一遗漏。制造过程中就会用到存在和缺失检测，以确保恰当的安装每件产品。检测可采用图像匹配方式验证是否存在训练后目标。另一应用实例是使用计数工具清点零件并记录零件所在位置。

2、缺陷检测

表面缺陷检测工具可识别玻璃和金属等表面的划痕和裂纹。此类检测对医疗器械检测十分有用，提前发现缺陷可以节省生产成本。缺陷可以通过瑕疵形式进行识别，例如小瓶或药瓶中的灰尘或污垢的规格。

3、验证—一维码、二维码的读取和OCR（光学字符辨识）

读码与OCR在医药行业是十分重要的一个角色，由于印刷质量差，对于大多数传统OCR算法而言，很难保证读取每个字符的准确性。OCR读取属于人工智能的应用场景之一，可以利用工具模型进行人工智能推理，基于大量图像进行学习优化分类、异常检测、目标检测、分割、降噪等任务。OCR与人工智能技术集成后，无需对系统进行所有字符的训练，就可圆满完成检测任务。

美国FDA发布的“条码标签要求”中要求产品采用国家药品代码（NDC）标识符编码所采用的一维条码进行贴标。FDA颁布的《药品供应链安全法案》中要求药品采用含产品NDC的一维条码进行标记。该法令还要求产品采用带有NDC、序列号、批号和有效期的数据矩阵条码进行标记。

为确保这些信息印刷清晰可读，采用读取一维条码和二维码（例如QR码）或执行OCR的扫描工具读取标签上的字母和数字。通常，配备这些工具的机器是集成视觉解决方案的重要组成部分，可检测一维码和二维码，从而确保有效期正确、印刷清晰、位置正确。这些扫描工具用于制药行业的追溯、分类和过程控制，对于产品日期、批次代码、包装单元和剂量代码的验证以及满足整个制药供应链的跟踪和追踪要求并符合FDA制定的《联邦规章典集》第21篇（21 CFR）第11部的规定均十分重要。

4、测量

几乎所有行业都会使用机器视觉作为质量检测工具，而在制药行业中也是各种应用均需要进行准确测量，例如测量医用针头或外科手术刀的尺寸。因此，需要利用机器视觉来精确测量一个零件的形状和尺寸。如果任何零件的测量结果超出规定范围，其后果可能危及生命。测量工具也可用于确定药瓶或疫苗注射器的灌装液位高度，或者验证是否存在安全密封。

5、机器人引导

除了检测物体外，机器视觉还可通过机器人引导对其进行定位。这个过程包括定位和验证机器人引导抓取应用的零件，对装配线上的零件进行定位。在制药行业中，定位工具可以对药瓶瓶盖进行正确对位或正确放置注射器中的橡胶密封圈。

Teledyne DALSA机器视觉软硬件，直面医药领域新挑战

Teledyne DALSA公司有42年以上为机器视觉行业提供部件和解决方案的历史，有着完备的相机产品线，从智能相机到视觉软件，从面阵相机到线扫相机。在面阵相机方面，DALSA主要集中在高端高分辨率的面阵相机譬如，譬如5G接口，Cameralink接口的高达86M面阵相机，分辨率从30w 到8600w 像素。

Teledyne DALSA的线扫描相机追求更好的图像质量以及更高的相机分辨率，从1k到32K，从技术到应用属于全球前列水平，满足了不同视觉项目的选型。同时在满足高分辨率的前提下，又要提高相机的采集频率，Teledyne DALSA针对不同型号的相机使用不同的传输接口，以满足更高的传输带宽需求。

黄明说：“视觉软件在整个视觉项目中更像是人的大脑，负责处理图像，和外设通讯的作用。” 强大的视觉软件是所有视觉方案的基石。Teledyne DALSA的iNspect和Sherlock，基于几十年在工业自动化各个制造领域的沉淀积累，建立了强大的客户群体。

iNspect是一款简单易用的机器视觉检测软件，无需编程与培训，简单直接的设置过程让用户能够快速配置和实施应用，提供了一整套可随时应用于大批量检测任务的工具，例如定位、测量、识别、验证和瑕疵探测，对于精度计量到医药包装等多种应用领域十分友好。

Sherlock主要针对视觉工程师能够应对更为负责的视觉项目，是更强大高级机器视觉软件。包含2D图像的处理工具，3D点云图像的处理，同时集成了人工智能AI工具来应对更负责的项目。

3D+AI，打破药盒盲文OCR读取难题

药品容器上印刷质量差的药品说明书可能会让患者面临巨大风险，比如错过续药日期、吞错药片或服用过期药物。这些风险对盲人来说更具挑战性，他们必须阅读盲文才能理解处方名称、剂量说明和其他标签信息等。

从本质上来说，盲点很难阅读。一般的盲文高度只有0.2毫米，在已印刷的字符表面形成凸点，对大多数视觉技术来说，检测盲文质量极具挑战性。此外，在字符背景下读取盲文使问题更加复杂。

Teledyne DALSA开发了一种特殊的盲文视觉检测系统，该系统使用带有面扫描摄像头的VICORE智能视觉系统的形状阴影技术，以及Sherlock形状阴影算法，从背景复杂的盲文中获取对比度较高的3D效果图像。然后，Sherlock应用预处理程序优化盲文点的残缺形状，从而使OCR算法能够读取盲文字符。

随着3D技术及AI技术的深入发展，Teledyne DALSA也发布相关的人工智能AI软件及3D相机，开始应用到医疗的各个应用环节，比如人工智能AI 利用工具模型进行人工智能推理。如分类、异常检测、目标检测、分割、降噪等任务都可以基于大量图像进行学习优化，其中一个应用场景是支持OCR读取。例如，由于印刷质量差，对于大多数传统OCR算法而言，很难保证读取每个字符的准确性。OCR与人工智能技术集成后，无需对系统进行所有字符的训练，就可圆满完成检测任务。

Teledyne DALSA的图像传感器、相机、智能相机、图像采集卡、软件和视觉解决方案是全球多个行业的数千个检测系统的核心。医药行业在在产品识别、分类和验证方面，是要求最高的行业应用之一，生产、包装或对追溯方面的质量检测错误可能会造成人员伤害或死亡。这些都凸显了使用最佳检测工具和方法的重要性。