摘要：简要介绍机器视觉系统的构成，机器视觉系统图像处理与模式识别的基础、研究进展，最后通过实例分析机器视觉系统的应用。
关键词：机器视觉；模式识别；图像

Abstract: This paper describes the machine vision system briefly, including the theories and basis of the image processing and pattern recognition. Also the research development is introduced. In the last part, an application system is analyzed.
Key words: Machine vision; Pattern recognition; Image

1  机器视觉基础概述

    机器视觉是研究计算机模拟生物宏观视觉功能的科学和技术，即用摄像机和计算机等机器代替人眼对目标进行测量、跟踪和识别，并加以判断。主要应用于如工业检测、工业探伤、精密控制、自动生产流水线、邮政自动化、粮食优选、显微医学操作，以及各种危险场合工作的机器人等[1]。机器视觉，是人工视觉，又可称作工业视觉，或计算机视觉，与人类视觉或动物视觉有着本质的不同。也有人认为机器视觉是计算机视觉工业应用的一个分支。但无论怎样理解，机器视觉系统主要有三个部分：图像获取、图像分析和处理、输出显示或控制，如图1所示。

图1  机器视觉系统模块构成

1.1  图像获取
    图像的获取，是任何机器视觉的基础，实际上是将被测物体的可视化图像和内在特征转换成能被计算机处理的一系列数据。场景中设置的摄像机提供了一维的或二维的图像信息，调制后提供给图像采集装置，在计算机中形成为数字图像信息或数据。图像获取装置主要是由摄像机、图像传输变换系统和图像的计算机采集装置等构成。从所使用的摄像机来分类，则主要由CCD[3]、CMOS等光学敏感原理构成的图像传感器构成，从图像获取的形式来看，主要有线阵、面阵两种类型。
    图像获取，由三部分组成：照明系统、图像聚焦光学系统、图像敏感元件和视频调制。
    照明和影响机器视觉系统输入的重要因素，因为它直接影响输入数据的质量和至少30%的应用效果。通用的机器视觉照明设备难以形成，在工业应用中，针对每个特定的应用场景，选择相应的照明装置。最初的机器视觉系统用可见光作为光源，常用的可见光源是日光灯、水银灯、白炽灯和钠光灯。但是，这些光源的一个最大缺点是光能不能保持稳定，且环境光将改变这些光源照射到物体上的总光能。以日光灯为例，在使用的第一个100小时内，光能将下降15%，随着使用时间的增加，光能将不断下降。对于某些要求高的工业检测任务，常采用X射线、超声波[2]等不可见光作为光源，单波长的激光也已得到大量应用，不过价格较高。
    图像聚焦光学系统，即被测物的图像通过一个光学系统，透镜聚焦在敏感元件上。机器视觉系统使用CCD、CMOS等图像传感器来捕捉图像，传感器将可视图像转化为电信号，便于计算机处理。
    图像敏感元件是一个光电转换装置，将传感器所接收到的物体成像，转化为计算机能处理的电信号。现代工业、民用主要使用CCD、CMOS等摄像机。主要将在成像单元上形成的光学信号转换为电信号，成像单元可以线阵列或面阵列构成，通过按一定顺序每个单元的电荷输出，实现将成像单元上的光信号转换成电信号的目的。输出的像元序列电荷，可以直接调制成标准的PAL、NTSC等制式的电视信号，即视频信号，视频信号可传输到标准的电视接收机显示或通过图像采集装置把视频信号变换为离散的阵列数字信号，存入计算机中，进行后续处理。
    在某些工业应用中，使用摄像机阵列，形成多摄像机或双摄像机的多目或双目视觉系统，从而得到绝对的深度信息。
1.2  图像分析和处理
    机器视觉系统中，主要强调用计算机实现人的视觉功能，视觉信息的分析与处理技术主要使用图像对象。所以机器视觉需要运用图像分析、处理以及图像理解方法这三个层次的多种技术手段，它包括图像增强、数据编码和传输、平滑、边缘锐化、分割、特征抽取、图像识别与理解等内容。经过这些处理后，输出图像的质量得到相当程度的改善，既改善了图像的视觉效果，又便于计算机对图像进行分析、处理和识别。在建立视觉信息系统，用计算机协助人类完成各种视觉任务方面，图像理解和视觉都需要用到摄影几何学、概率论与随机过程、人工智能等理论。例如，它们都要借助两类智能活动：① 感知，如感知场景中可见部分的距离、朝向、形状、运动速度、相互关系等；② 思维，如根据场景结构分析物体的行为，推断场景的发展变化，决定和规划主体行动等。最终，完成工业控制的目的。
1.3  输出显示或控制
    视觉信息处理的目标往往围绕一定的工业控制进行的，在对距离、尺寸、形状、姿态、颜色、速度等做出判别后，进而根据判别的结果来控制现场的设备动作。如，姿态调整、零件剔除、速度调节等。实现控制，是机器视觉的根本目标。

2  机器视觉的研究和发展动态

    机器视觉的研究、发展和应用还远没有达到成熟的程度。机器视觉从诞生到今天才只有短短的三十多年时间，在机器视觉中承担“大脑”作用的图像分析处理、图像理解和模式识别理论和技术基础还非常不完善[4]。甚至，机器视觉的图像获取系统也存在许多局限，比如高速图像采集实现困难、价格过高，图像分辨率、灵敏度等不高，敏感元件的制造困难，视觉系统的体积较大，自适应的图像获取无法实现等。
本文从这几个方面介绍机器视觉的最新发展情况：图像获取、图像处理与模式识别理论。
2.1  图像获取技术的最新发展
    图像获取技术的发展迅猛，CCD、CMOS等固体器件已经变成成熟应用的技术。首先来看，线阵图像敏感器件，像元尺寸不断减小，阵列像元数量不断增加，像元电荷传输速率得到极大提高。如表1所示，为一种高性能线阵CCD器件的参数[5]。从中可以看到，目前的线阵器件的性能和参数发生了根本的变化，主要表现在像元数和数据率得极大提高，而且器件设计集成了新的功能，具有可编程能力，如增益调整、曝光时间选择、速率调节，以及维护等。在机器视觉中，高速器件应用的场合在不断拓展，如高速扫描图像获取，在集成电路检查、零件姿态识别、快速原型中的逆向工程、纺织、色选等，都是高速器件的用武之地。

表1   线阵CCD参数

    在线阵器件性能提高的同时，高速面阵图像器件性能也在快速提高。某种超高速面阵CCD器件，允许的最大分辨率达1 280×1 024像素，最大帧率1MHz时可采集4帧图像，且像素灵敏度达12bits。
    在提高诸如分辨率、速率、灵敏度等性能的同时，也在发展一些用途和使用场合特殊的器件，如对红外敏感的或微光摄像机，对其他射线和超声波敏感的器件等。
    此外，其他类型的图像获取器件的研究也展露头角，比如，光纤视觉传感器，结合其他光电技术，以及构成阵列器件已经有报道。
    作为图像获取装置的组成部分，嵌入式系统、DSP对图像获取起着图像采集与时序控制的作用。大量的工业图像处理系统中采用嵌入式系统或DSP，也有部分系统采用工业PC机作为主控机器，完成图像采集、处理和识别，并完成控制的功能。嵌入式系统或嵌入式微控制器（Embedded MCU）芯片技术发展迅速，主要的工业应用采用8位、16位芯片，高端应用已经采用32位芯片。在高精度的运动检测和控制领域，32位嵌入式微控制器应用报道也不鲜见。在机器视觉系统中，对嵌入式系统性能的要求比一般的工业控制、机器人控制等场合要高。如，某种32位嵌入式微控制器芯片，内嵌大容量的Flash ROM和SRAM，其主频达到700MHz，带丰富的DSP指令系统，高速并行接口、通信接口齐备，提供可视化编程，支持汇编、ANSI C以及Visual C++等语言编程，支持在线仿真和调试等，使得开发应用的周期大大缩短。
2.2  图像处理、图像理解与模式识别理论研究及最新发展
    前面已经述及，机器视觉是针对工业应用领域。但作为视觉系统，所采用的图像处理、图像理解与模式识别的基础理论和技术是相同的。
    数字图像处理、图像理解与模式识别，这是当今计算机视觉研究的热点。这既表明，图像处理与模式识别在现代信息技术中的重要作用，同时也说明，该研究领域仍然存在大量没有解决的研究难题。
    图像的增强、图像的平滑、图像的数据编码和传输、边缘锐化、图像的分割等在不同的研究目标和应用中会采取不同的方法，也在不断出现新的研究成果，本文不述及。作为机器视觉能否得到应用，关键在于图像的识别。
    图像的模式识别过程实际上可以看作是一个标记过程，即利用识别算法来辨别景物中已分割好的各个物体，给这些物体赋予特定的标记，它是机器视觉系统必须完成的一个任务。什么是模式和模式识别？广义地说，存在于时间和空间中可观察的事物，如果可以区别它们是否相同或相似，都可以称之为模式；狭义地说，模式是通过对具体的个别事物进行观测所得到的具有时间和空间分布的信息；把模式所属的类别或同一类中模式的总体称为模式类（或简称为类）。而“模式识别”则是在某些一定量度或观测基础上把待识模式划分到各自的模式类中去[6]。
    模式识别的方法，即数据聚类、神经网络、统计分类和结构（句法）模式识别方法。用于图像识别的方法主要分为决策理论和结构方法。决策理论方法的基础是决策函数，利用它对模式向量进行分类识别，是以定时描述（如统计纹理）为基础的；结构方法的核心是将物体分解成了模式或模式基元，而不同的物体结构有不同的基元串（或称字符串），通过对未知物体利用给定的模式基元求出编码边界，得到字符串，再根据字符串判断它的属类。这是一种依赖于符号描述被测物体之间关系的方法。
    广泛应用于统计模式识别中密度估计的方法之一是基于混合密度模型的。根据期望最大（EM）算法得到了这些模型中有效的训练过程。按照共享核函数可以得出条件密度估计的更一般的模型，类条件密度可以用一些对所有类的条件密度估计产生作用的核函数表示。提出了一个模型，该模型对经典径向基函数（RBF）网络进行了修改，其输出表示类条件密度。与其相反的是独立混合模型的方法，其中每个类的密度采用独立混合密度进行估计。提出了一个更一般的模型，共享核函数模型是这个模型的特殊情况。
   在20世纪70年代，波兰学者Pawlak Z和一些波兰的逻辑学家们一起从事关于信息系统逻辑特性的研究。粗糙集理论就是在这些研究的基础上产生的。1982年，Pawlak Z发表了经典论文Rough Sets，宣告了粗糙集理论的诞生。此后，粗糙集理论引起了许多科学家、逻辑学家和计算机研究人员的兴趣，他们在粗糙集的理论和应用方面作了大量的研究工作。1991年，Pawlak Z的专著和1992年应用专集的出版，对这一段时期理论和实践工作的成果作了较好的总结，同时促进了粗糙集在各个领域的应用。此后召开的与粗糙集有关的国际会议进一步推动了粗糙集的发展。越来越多的科技人员开始了解并准备从事该领域的研究。目前，粗糙集已成为人工智能领域中一个较新的学术热点，在模式识别、机器学习、知识获取、决策分析、过程控制等许多领域得到了广泛的应用。
    参考文献[7]提出了一种模式识别理论的新模型，它是基于“认识”事物而不是基于“区分”事物为目的。与传统以“最佳划分”为目标的统计模式识别相比，它更接近于人类“认识”事物的特性，故称为“仿生模式识别”。它的数学方法在于研究特征空间中同类样本的连续性（不能分裂成两个彼此不邻接的部分）特性。文中用“仿生模式识别”理论及其“高维空间复杂几何形体覆盖神经网络”识别方法，对地平面刚性目标全方位识别问题作了实验。对各种形状相像的动物及车辆模型作全方位8 800次识别，结果正确识别率为99.75％，错误识别率与拒识率分别为0与0.25％。
    在特征生成上，发展出许多新的技术，包括基于小波、小波包、分形的特征，以及独立分量分析。其他研究，也都取得了长足的进展，诸如关子支持向量机，变形模板匹配，线性以及非线性分类器的设计，包括贝叶斯分类器、多层感知器，决策树和RBF网络，独立于上下文的分类，包括动态规划和隐马尔科夫建模技术。
2.3  机器视觉领域应用的拓展
    机器视觉的应用研究，已经拓展到几乎每个可能的工业领域。最主要的应用行业，为汽车、制药、电子与电气、制造、包装/食品/饮料、医学等。在现代工业自动化生产中，涉及到各种各样的检查、测量和零件识别应用，例如汽车零配件尺寸检查和自动装配的完整性检查、电子装配线的元件自动定位、饮料瓶盖的印刷质量检查、产品包装上的条码和字符识别等。这类应用的共同特点是连续大批量生产、对外观质量的要求非常高。这种带有高度重复性和智能性的工作，过去是靠人工检测来完成。人工执行这些工序，在给工厂增加巨大的人工成本和管理成本的同时，仍然不能保证100%的检验合格率（即“零缺陷”）。0.1%的缺陷的存在，对企业在市场上的竞争也是极为不利的。有些时候，如微小尺寸的精确快速测量、形状匹配、颜色辨识等，用人眼根本无法连续稳定地进行。机器视觉的引入，代替传统的人工检测方法，避免了人眼的视觉疲劳。由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，因此，在现代自动化生产过程中，机器视觉系统广泛地应用于工况监视、成品检验和质量控制等领域。机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术，极大地提高了投放市场的产品质量，提高了生产效率。典型的线径的在线检测与控制，如被加工工件的直径测量、铜线的拉线线径测量与控制，传统的接触式测量方法存在缺陷，人工在线测量是不可能的。采用线阵CCD线径测量方法，是较早期机器视觉成功应用的例证。机器视觉的特点是自动化、客观、非接触和高精度，与一般意义上的图像处理系统相比，机器视觉强调的是精度和速度，以及工业现场环境下的可靠性。机器视觉极适用于大批量生产过程中的测量、检查和辨识。线阵CCD在连续、扫描在线测量中的应用非常具有优势，如面积测量[8]，不仅得到的结果准确，而且实时、快捷。再如，零件装配完整性、装配尺寸精度、零件加工精度、位置/角度测量、零件识别、特性/字符识别等。在零售业界，POS的终端设备，如条码识读机，也是线阵CCD在机器视觉上的典型应用。连续流动流体测量，如，透明管道水的澄清度、异物测量，为自来水、工业污水水质测量与控制，江河污染监测；此外，如在线食用油品油质监测，为保证生产出合格的油品提供保障。
    随着图像处理和模式识别理论研究的进展，采用二维图像的机器视觉系统在最近几年得到了成功应用。如指纹、掌纹、虹膜和人脸等食物特征识别的机器视觉系统，已经在机场、车站安检、考勤、门禁认证、海关通关等场合使用；在恐怖主义威胁下，不仅对人的识别更加重视，货物运输中也逐步考虑使用更加先进的机器视觉系统，如，采用计算机断层扫描技术的货物安检和成分识别研究正在开展。
    在医学诊疗过程中，病症的识别离不开机器视觉系统的使用。如，超声波、CT、磁共振、基于CCD的内窥镜等装备，在大、中型医院已经获得普遍推广。
    目前，国际上视觉系统的应用方兴未艾，国内，机器视觉系统也进入应用的快速发展期，主要的视觉系统采用进口，不同类型的应用，均可以采取购买成熟系统的方法。国内形成产品的视觉系统主要有，用于粮食的色选机、线径测量系统等。

3  机器视觉系统及典型应用分析

    机器视觉系统形式多样，在不同的场景中应用所采用摄像装置也是不同的。主要区分为，线阵和面阵两类。工业视觉大多数使用线阵系统。下面列出部分使用线阵和面阵视觉系统的应用。
3.1  机器视觉的典型应用
    (1)  纺织与服装
    ? 断纱检测；
    ? 织染检测；
    ? 布料、皮革形状检测。
    (2)  食品与粮食
    ? 粮食异物检测、分拣与色选；
    ? 饮料液位检测；
    ? 生产日期、保质期字符识别；
    ? 灌装线上空瓶的破损、洁净检测。
    (3)  特种检验
    ? 缆绳磨损与破损检测；
    ? 容器与管道探伤；
    ? 游乐设施速度检测；
    ? 危险装备的在线状态检测。
    (4)  包装
    ? 外观完整性检测；
    ? 条码识别；
    ? 唛头、密封性检测。
    (5)  机械制造
    ? 零部件外形尺寸检测；
    ? 装配完整性检测；
    ? 部件的定位与姿态识别；
    ? 零件、发动机、底盘等编号的同色凹字符识别。
    (6)  邮政分拣
    ? 邮政编码识别；
    ? 包裹物品检测。
    (7)  海关与口岸
    ? 指纹、掌纹、虹膜与人脸识别；
    ? 货物识别；
    ? 安检危险物品检测。
    此外，机器视觉还广泛应用于集成电路检测、航空航天、军事国防、消防和公路交通等。下面通过一个具体的视觉系统来说明。
3.2  机器视觉在汽车辅助自动驾驶中的应用
    在汽车的辅助自动驾驶中，机器视觉系统的典型应用，如图2所示。机器视觉系统在其中的主要任务在于，完成对车辆前方、车辆后方和两侧，以及车内驾驶员行为等各种视觉信息的获取和处理，并完成辅助驾驶指令的发出。其中前方车辆和路况信息对安全驾驶起着关键作用。汽车辅助自动驾驶，是未来发展智能汽车的前提和基础。 

图2  辅助自动驾驶的路况示意图

    着重介绍该立体视觉系统，该系统已经完成实验室研究[9]。示意图如图3所示。在车辆前向对称位置，左右装置双目视觉的立体视觉系统。获取前方的车辆和路况信息，也包括道路标志信息。其基本原理是用两台CCD摄像机以不同角度获取物体图像，通过空间物点在两幅图像中对应像点之间的几何位置关系来重构该物点的空间三维坐标。根据本车的速度和与前方车辆的相对位置或距离，不断检测前方视场范围内的车辆和环境信息，得到前方车辆的速度、车辆的高宽尺寸，并获取前方路况其他信息，如道路标志信息，路面障碍物信息等。根据得到的综合信息，辅助驾驶人员采取安全、有效的操控方式。达到高精度三维定位的一个关键前提是特征向量的选取以及高精度立体匹配。 

图3  辅助自动驾驶的立体视觉系统示意图

    过程如下：首先完成对采集到的图像进行灰度变换、直方图增强、平滑滤波等必要的预处理。需要指出的是，由于序列图像本身含有各种噪声干扰，且当目标运动速度过快时可能产生图像的“拉毛”现象，所以需要对图像进行平滑滤波。应用较多的高斯滤波器虽然能抑制高斯噪声，但它不能消除任何毛刺现象。考虑这种情况，系统采用了快速中值滤波（FM）算法。它的思想是，把数字图像中一个像素点的灰度值，用该点邻域中各点的中值替代,其中每次窗口沿着行平移一列后进行排序时，实际窗口内容变化的只是丢弃了最左侧的列取而代之的是一个新的右侧列，而其余的窗口下的像素值没有改变。该算法是一种很好的非线性滤波方法，可极大减小运算量，能消除脉冲干扰造成的孤立噪声，以及叠加白噪声和长尾叠加噪声，并可克服线性滤波器滤波结果中细节模糊的问题，能较好地保护边界信息。经过预处理后的图像序列成为可供计算机分析处理的图像。
    接下来是图像分割。主要实现运动区域、前方各种目标信息的检测。图像采集是在自然条件下进行的，考虑图像采集时间间隔短且总的采集时间不长，因此可以忽略视场内光线、背景等变化因素的干扰。实际工作中对于精确性和实时性的要求，采用了计算量小并且检测结果不受运动目标速度限制的差影法来进行运动检测，再利用迭代求得最佳灰度阈值对结果帧分割并二值化。
    分割后的图像仍有可能含有少量的背景噪声干扰，进一步用形态学方法对其进行去噪。采用的结构元素是3×3的中心对称结构。经过先闭后开（经实验验证：这比先开后闭得到的图像目标连通区域更光滑）的运算后的图像中基本上只留下完整的运动目标。
还需要通过提取适当的特征向量以及立体匹配来实目标的精确定位。主要步骤如下：
    特征提取和目标分类，先采用串行边界分割技术对图像中所有连通器区域进行边界跟踪运算，再求出各个连通区域的外接矩形和灰度面积等参数。对于多个运动目标的检测，可在求外接矩形的过程中，根据实际目标的形状大小、外接矩形尺寸和灰度面积进行匹配，以区分不同物体；
    立体匹配是立体视觉中最重要，也是最困难的步骤，是个不适定问题。当空间三维场景被投影为二维图像时，同一景物在不同视点下的图像中会有很大的不同。为了求解对应，人们通过增加适当的约束条件（如外极线约束、一致性约束、唯一性约束、连续性约束等）来减少误匹配。本系统，在外极线约束的条件下再给出两个约束：
    ?  方向性约束  由立体成像的几何特性知，对于场景中的同一空间物体点，其在左图像中的透视投影将相对于右图像水平方向移动距离d。基于该特性，在寻求左（右）图像中各特征点在右（左）图像中的对应点时，只需在右（左）图像中其对应的外极线上，向左（右）一定范围内搜索。而由于摄像机位置及其方向的测量误差和不确定性，匹配点可能不会准确地出现在右（左）图像平面中的外极线上，因此有必要在外极线的一个小邻域内进行搜索。
    ?  视差范围约束  在运动检测之前的摄像机现场标定环节中，利用每个标定点在左右图像中形成的视差，可以得到一个大致的视差范围，从而给出一个视差范围约束。倘若特征点的视差超出这一范围，就认为是误匹配加以舍去。
有了以上几个附加约束，就可以把每一时刻物体在左右摄像机中的信息综合起来，图像中对应的一小段极线附近搜索匹配点，而不是在整个对应图像上搜索。这样可以有效避免误匹配，缩短匹配时间。

4  结语

    机器视觉是图像技术、模式识别技术，以及计算机技术发展的新的产物，是实现智能化、自动化、信息化的先进技术领域。机器视觉系统的应用，大大提高装备的智能化、自动化谁拼，提高装备的使用效率、可靠性等性能。随着新的技术、新的理论在机器视觉系统中的应用，机器视觉将在国民经济的各个领域发挥更大的作用，一方面可以带来新的产业增长点，向市场推广满足各种需求的机器视觉系统产品，产生直接的经济效益；另一方面，通过机器视觉系统的应用，更加有效地发挥自动化装备的效能，提升自动化生产水平，提高产品质量，带动整个产业的生产效率大幅提高。

参考文献：
[1] David A. Forsyth, Jean Ponce. Computer Vision[M]. Prentice Hall, Inc.,2003.
[2] 刘艾, 马伟方, 施文康. 基于声表面波传感的无线标签识别系统[J]. 上海交通大学学报,2001,35(5).
[3] 王庆有. CCD应用技术[M].天津大学出版社, 2000,11.
[4] 章毓晋. 图像理解与计算机视觉[M] 清华大学出版社,2000.
[5] 颜发根,丁少华,陈乐,刘建群. 基于PC的机器视觉系统[J]. PLC& FA,2004,7.
[6] 边肇其,张学工. 模式识别[M]. 清华大学出版社,1999.
[7] 王守觉. 仿生模式识别(拓扑模式识别)―一种模式识别新模型的理论与应用[J]. 电子学报,2002,30(10).
[8] 关胜晓. 不规则形体面积的CCD测量研究[J]. 仪表技术与传感器,1998(11).