《654523968毕业设计（论文）基于机器视觉的人眼跟踪系统的设计和实现.doc》由会员分享，可在线阅读，更多相关《654523968毕业设计（论文）基于机器视觉的人眼跟踪系统的设计和实现.doc（60页珍藏版）》请在三一办公上搜索。
1、摘要随着人机交互技术的不断发展，除了传统成熟的鼠标、键盘等输入方式外，语音输入也进入了实用化阶段，人眼视线由于其本身包含较多当前任务信息也自然成作为一种候选的输入通道。目前对于人眼视线的人机交互技术研究渐渐受到人们的重视。本文就人眼视线的人机交互技术，将当前比较成熟、完善的机器视觉技术与虚拟仪器相结合，利用市场上比较常见的摄像头对人眼进行非接触式的图像采集，由LabVIEW和Vision Assistant以及IMAQ Vision组成的虚拟仪器，对采集的图像进行处理和识别。最终建立人机交互平台，并完成人眼视觉对电脑鼠标控制的人眼追踪系统。本系统是将机器视觉与虚拟仪器相结合，完成人眼视线与机器
2、人机交互的一次新的尝试，是一个较有价值的研究方向。关键字：人机交互 人眼追踪 虚拟仪器 LabVIEWAbstractWith the development of Human-Computer Interaction Techniques, except the traditional mouse and keyboard, voice input method has entered practical stage. Because of the human sight includes a lot of information of current tasks, it can natur
3、ally becomes a candidate input channel. Human-Computer Interaction Techniques research about human sight is becoming more and more important. In this paper, our method is based on the Human-Computer Interaction of human sight to combine mature machine-vision and virtual instruments. We used the came
4、ra which can be easily found on the market to gather the images of human eye by untouched way and the virtual instrument which consist LabVIEW, Vision Assistant and IMAQ Vision to process and identify the gathered images. At last, we had built Human-Computer Interaction platform to accomplish eye tr
5、acking system which uses human sight to control computer mouse. This system combined machine-vision and virtual instruments to accomplish a new try of Human-Computer Interaction of human sight and computer. This is a valuable research field.Keyword: Human-Computer Interaction Eye tracking LabVIEW Vi
6、rtual Instrument目录第一章 绪论11.1 研究的目的与意义11.2 国内外机器视觉和人眼跟踪的发展现状21.2.1 机器视觉的概况21.2.2 人眼跟踪技术的概述41.3 论文工作以及组织结构6第二章 机器视觉系统的概述72.1机器视觉的概念72.1.1 机器视觉的引入72.1.2 机器视觉的优缺点72.2 机器视觉的系统构成82.2.1 系统构成82.2.2 系统硬件的选择102.3 机器视觉系统的工作原理122.4 本章小结13第三章 LabVIEW虚拟仪器和数字图像处理概述153.1 LabVIEW概念153.2 视觉开发软件概述163.3 数字图像处理概述173.4 本
7、章小结20第四章 人眼跟踪系统的设计214.1 系统的设计思路214.2 硬件设计214.2.1 光源224.2.2 照明方式234.2.3 摄像头244.3 软件设计254.3.1 主体部分254.3.2 图片采集部分274.3.3 图片处理部分274.3.4 循环处理部分284.4 本章小结28第五章 人眼跟踪系统图像处理模块295.1 图像的灰度变换295.2 图像的平滑处理305.2.1 邻域平均滤波法325.2.2 中值滤波法335.3 图像增强345.3.1 灰度线性变换355.3.2 灰度的非线性变换365.4 人眼眼球的识别385.5 NI Vision Assistant中的
8、图像处理操作395.6 本章小结42第六章 人眼跟踪系统的LabVIEW模块436.1 人眼跟踪系统前面板的设计436.2 人眼跟踪系统程序面板的设计446.2.1 人眼跟踪系统的预定位456.2.2 人眼跟踪系统程序面板的设计466.2.3 鼠标控制的算法476.3 本章小结47第七章 结束语49致 谢51参考文献53第一章 绪论随着人们对人机交互技术研究的不断深入，多通道的人机交互备受关注1。人机界面更强调“以人为中心的原则”，使用户能运用各种感觉通道，以最自然的方式和计算机交互。现有的人机交互输入绝大多数通过鼠标、键盘等实现，这些输入需要视觉或听觉接收输出信息相配合。此外，语音识别输入技
9、术在逐渐成熟，而对身体姿势的理解、触觉的输入输出等技术在智能虚拟现实环境中得到了较多的研究。人们在观察外部世界时，眼睛总是与其它人体活动自然协调地工作，并且眼动所需的认知负荷很低，人眼的注视包含着当前的任务状况以及人的内部状态等信息，因此人眼注视是一种非常好的，能使人机对话变得简便、自然的候选输入通道。目前对于人眼视线的人机交互的研究还处于起步阶段，虽然有多种方法可以对人眼视线进行检测，但是由于人眼在观察时移动的速度较快，范围较小，大多数的检测方法精确度不够，并且对人眼的影响较大。目前研究的人眼跟踪系统存在两个方面的问题：一方面对人的影响较大，如头盔式和眼电式人眼跟踪系统；另一方面，硬件成本较
10、高。 本文尝试性的将机器视觉技术与虚拟仪器相结合，利用市场上常见的摄像头、个人电脑及虚拟仪器软件LabVIEW、Vision Assistant和IMAQ Vision搭建简单、有效的人眼跟踪的人机交互平台。在通过机器视觉对人眼眼球进行图像检测识别的基础上，最终在LabVIEW平台上完成鼠标移动控制的人机交互。1.1 研究的目的与意义本研究将机器视觉技术和虚拟仪器应用到人眼跟踪上，利用机器视觉对人眼进行图像采集和处理，达到人眼跟踪的目的，最终达到人眼眼动对电脑鼠标进行移动操作。该系统基于机器视觉技术、美国NI公司的软件开发平台LabVIEW 8.5和图像处理软件包IMAQ VISION等软件及
11、普通摄像头和个人电脑进行系统的开发。主要目的是：1) 开发对人眼的图像采集、人眼眼球的模式识别以及人眼眼球中心位置的分析系统。实现对人眼眼球的跟踪，并得到人眼眼球的中心位置信息。2) 根据要得到的人眼眼球信息，基于LabVIEW平台的编程处理，达到人眼眼动对电脑鼠标的实时控制。利用机器视觉，虚拟仪器软件开发研究人眼跟踪系统，对于工业自动化、军事、助残等领域具有重要的现实意义，主要表现为：1) 利用该系统，在工业方面可以实现人眼对方向的实时控制；在军事上可以实现人眼对目标的自动瞄准；在助残领域可以实现人眼对轮椅控制，人眼实现人机交互等，可以有效提高残疾人的处理水平和生活质量。2) 运用NI公司的
12、图形化设计语言LabVIEW作为开发平台，LabVIEW是图形化的程序语言，用“绘制”流程图代替编写程序代码，能使设计出的人机界面更为美观，能兼容C、VC、VB语言的编程，开发的软件移植性强23。3) 目前国内对于人眼跟踪的研究大多还数还处于起步阶段，在应用于实际方面并不成熟，在将机器视觉应用于人眼跟踪方向并最终用于对电脑鼠标的移动操作方面几乎还没有研究。本系统将机器视觉与虚拟仪器相结合，将摄像控制、图像采集、图像分析、识别以及对鼠标操作集于一体，是一项有实用意义的尝试性研究。1.2 国内外机器视觉和人眼跟踪的发展现状1.2.1 机器视觉的概况机器视觉历经50多年的发展，取得了一些令人欢欣鼓舞
13、的成果，但仍有很多技术难题尚待突破。国外机器视觉发展的起点难以准确考证，其大致的发展历程是20世纪50年代提出机器视觉概念，20世纪60年代真正开始发展，20世纪70年代进入发展正轨，20世纪80年代发展趋于成熟，20世纪80年代后高速发展。在机器视觉发展的历程中，有3个明显的标志点：一是机器视觉最先的应用来自“机器人”的研制，也就是说，机器视觉首先是在机器人的研究中发展起来的；二是20世纪70年代CCD图像传感器的出现，CCD摄像机替代硅靶摄像是机器视觉发展历程中的一个重要转折点；三是20世纪80年代CPU、DSP等图像处理硬件技术的飞速进步，为机器视觉飞速发展提供了全新的基础条件46。从上
14、述数据可以看出机器视觉的发展之快。国内的机器视觉发展较发达国家晚，各行业的领先企业在解决了生产自动化的问题以后，已开始将目光转向视觉测量自动化方面。其市场潜力不可忽视。目前在我国随着配套基础建设的完善，技术、资金的积累，各行各业对采用图像和机器视觉技术的工业自动化、智能化需求开始广泛出现，国内有关大专院校、研究所和企业近几年在图像和机器视觉技术领域进行了积极思索和大胆的尝试，逐步开始了工业化的应用7-10。机器视觉是一门涉及神经生理学、认知心理学、物理学、数学、计算机科学、图像处理、模式识别和人工智能等多个领域的新技术，这些领域的迅速发展有力地促进了视觉技术的进步。目前已在医疗诊断、各类自动检
15、测与控制、智能机器人、军事、遥感、科研、生活等方面得到广泛应用，取得了巨大的经济与社会效益11。1) 医学方面：对染色体切片、癌细胞切片、x射线图像、超声波图像的自动检查、诊断，注射器针头的质量检查，药片包装有无缺损等。2) 工业方面：生产线上自动焊接、切割加工，大规模集成电路生产线上自动连接引线、对准芯片和封装，纺织印染业自动分色、配色，木材、焊缝、铸件杂质和断口、瓷片、玻璃产品、印刷品等在线质量检查，零件尺寸测量等，将图像和视觉技术用于生产自动化，可以加快生产速度，保证质量的一致性，还可以避免人的疲劳、注意力不集中等带来的误判。3) 农业方面：农产品质量自动检验与分级，涉及水果、农作物籽粒
16、、蔬菜、家畜、禽蛋等，如自动分辨并剔除己发芽的土豆，获取作物生长状态信息，农业资源管理、植物病理研究、遗传细胞工程研究等。4) 军事方面：自动监视军事目标，自动发现、跟踪运动目标，自动巡航捕获目标和确定距离。5) 遥感方面：自动制图，卫星图像与地形图对准，自动测绘地图、森林、水面和土地资源管理，环境、火警自动检测等。它可以帮助人们超越人的生理极限，“亲临其境”，提高工作效率。6) 商业、生活方面：自动巡视、跟踪、报警、人像安全检查以及为盲人引路的“带路机器狗”等。目前，机器视觉技术的发展在国外已达到了实用水平，从单纯地模拟人眼的视觉响应，发展到与具体检测目标相适应的视觉延伸，并强调精度和速度及
17、现场环境下的可靠性，具有无损、高效等优点。作为实现智能化、高效率途径中不可缺少的功能模块，视觉系统在一些电子专用设备、工业自动化领域中的应用较成熟，并逐步与运动控制、网络通讯等先进技术相结合进而改变了传统生产、生活的面貌。而国内起步较晚，从静态研究到实时动态处理，其系统构建、软件开发因应用环境的不同要求有高度专业化的知识背景，多数仍处于研究开发阶段。机器视觉被称为“自动化的眼睛”，它的诞生和应用，极大地解放了人类劳动力，提高了生产自动化水平，改善了人类生活现状。它可以通过敏感器件形成红外线、微波、超声波等图像，观察人眼无法观察到的范围，从一定程度上扩展了人类视觉，但是人类视觉具有视野范围大、易
18、于定性区分颜色、纹理和形状的特点，某些识别能力机器视觉无法比拟，但机器视觉具有再现性、重复性、定量性的优点，所以机器视觉技术的开发和研究，应注重其特长的发挥，然后融入人类智能化的模式识别方法，这正是机器视觉技术发展的方向。完全可以相信随着相关技术的发展和各行各业对于机器视觉系统的迫切需求，机器视觉的研究与应用将会得到突飞猛进的发展。其应用前景极为广阔，而机器视觉的发展也同样促进相关学科的发展1216。但是应该看到，现在各主要视觉产品提供商几乎都是国外的厂家，国内的厂家在图像采集卡方面有一些研发，但其质量与国外相比也有一定的差距，而在技术含量比较高的软件方面，我国还几乎是空白。国内机器视觉的研究
19、既是挑战，也是机遇。所以有必要紧跟国际最新动态，在消化吸收国外先进产品的基础上开拓创新，提高我国图像处理软硬件的水平。1.2.2 人眼跟踪技术的概述目前用户界面所使用的任何人机交互技术几乎都有视觉参与。早期的人眼跟踪技术首先应用于心理学研究（如阅读研究），后被用于人机交互。眼动在人的视觉信息加工过程中，起着重要的作用。它有三种主要形式：跳动(Saccades)，注视(Fixations)和平滑尾随跟踪(Smooth Pursuit)。人眼跟踪精度与在测量时对用户的限制和干扰就是一对矛盾。在人机交互中，减少这种限制和干扰是非常重要的，人眼作为交互装置最直接的用处就是代替鼠标器作为一种指点装置。1
20、）人眼跟踪的基本原理与方法人眼跟踪技术的装置有强迫式(intrusiveness)与非强迫式(non-intrusiveness)、穿戴式与非穿戴式、接触式（如：Eyeglass-mounted）与非接触式（如：Remote）之分；其精度从0.11或2不等，制造成本也有巨大差异。在价格、精度与方便性等因素之间做出权衡是一件困难的事情，例如人眼跟踪精度与对用户的限制和干扰就是一对尖锐的矛盾。有关视觉输入的人机界面研究主要涉及两个方面：一是人眼跟踪原理和技术的研究；二是在使用这种交互方式后，人机界面的设计技术和原理的研究。眼睛能平滑地追踪运动速度为1到30度/秒的目标，这种缓慢、联合追踪眼动通常称
21、为平滑尾随跟踪。平滑尾随跟踪必须有一个缓慢移动的目标，在没有目标的情况下，一般不能执行这种眼动。在人机交互中，主要表现为跳动和注视两种形式。主要的人眼跟踪技术方法有眼电图法(EOG)，虹膜巩膜边缘法，角膜反射法，瞳孔角膜反射向量法，接触镜法五种主要的人眼跟踪技术。人眼追踪的基本工作原理是利用图像处理技术，使用能锁定眼睛的特殊摄像机。通过摄入从人的眼角膜和瞳孔反射的红外线连续地记录人眼变化，从而达到记录分析人眼追踪过程的目的。在人机交互中对人眼追踪的基本要求是： 要保证一定的精度，满足使用要求； 对用户基本无干扰； 可作为计算机的标准外设17。2）人眼跟踪技术在人机交互通道中的特点从人眼跟踪装置
22、得到的原始数据必须经过进一步的处理才能用于人机交互。数据处理的目的是从中滤除噪声，识别定位及局部校准与补偿等，最重要的是提取出用于人机交互所必需的眼睛定位坐标。但是由于眼动存在固有的抖动以及眼睛眨动所造成的数据中断，即使在定位这段数据段内，仍然存在许多干扰信号，这导致提取有意眼动数据的困难，解决此问题的办法之一是利用眼动的某种先验模型加以弥补。将人眼应用于人机交互必须克服的另一个固有的困难是避免所谓的“米达斯”接触(Midas Touch)问题。如果鼠标器光标总是随着用户的人眼移动，可能会引起他的厌烦，因为用户可能希望能随便看着什么而不必非“意味着”什么。在理想情况下，应当在用户希望发出控制时
23、，界面及时地处理其人眼输入，而在相反的情况下则忽略其人眼的移动。然而，这两种情况一般不可能区分。3）视线跟踪技术在人机交互领域中的应用及前景视线跟踪技术还处于起步阶段。视线跟踪技术主要是解决眼睛运动特性的检测问题，目前主要的检测方法有接触镜法，电磁线圈法，红外光电反射法，红外电视法等。其中红外电视法具有操作方便，对人无干扰、可移动、非接触等优点。基于红外电视法的眼睛盯视人机交互技术是通过眼睛盯视激活对话框，从而实现对外部设备的控制。对正常人来说，通过对鼠标和键盘操作，就能实现与计算机间的交互，但是对某些瘫痪病人或四肢麻痹，又不能说话的人来说，如此简单的任务却无法完成。有关资料统计显示，全国至少
24、有50万的人口存在不同程度的肢体瘫痪，生活不能自理。那么如果他们能用眼睛来代替手操作，以后再加上机电控制技术情况就不一样了，就完全可以增加他们的独立能力，提高生活质量。另外，通过眼睛盯视对外部设备进行控制可以实现多任务操作，比如在军事上，飞行员如果发现了目标，在手动操作应付不过来的时候，可以通过眼睛瞄准的同时用眼睛来控制火控系统的发射。这样可以使飞行员既为驾驶员又为武器操纵员，同时在飞行加速度环境下，飞行员的头部和手部活动受到极大的限制，但眼睛却还可以自由转动，这对于增加战斗力非常有意义。随着研究工作的深入，这项技术必将服务于医学、军事及教育等各个方面。总之，我们也应看到尽管视线跟踪技术的应用
25、存在着诱人的前景，但由于各方面技术的不成熟性，目前，还未达到实用化阶段，成功的、有效益的演示性项目还很少。在多通道用户界面基础上，要进行进一步的原型探索分析，必须对人机交互设备的性能加以改善，同时注意有关标准的建立，以便把视线跟踪技术更好地与现有技术结合起来。1.3 论文工作以及组织结构本文在充分总结和分析机器视觉技术与人眼跟踪技术的研究现状和水平的基础上，以系统的实用化应用和经济性为出发点和落脚点，将机器视觉系统与虚拟仪器技术相结合，设计了一套成本低，确实有效的可实现人眼控制鼠标的人眼跟踪系统。对人眼的图像采集、人眼的图像处理、人眼眼球的模式识别、人眼与电脑的交互进行了实验和研究，实现了人眼
26、对电脑的鼠标控制。本文的主要内容和组织结构如下：第一章，阐述论文的研究背景，意义和目的，并概述了机器视觉和人眼追踪技术国内外研究的现状，最后给出论文的组织结构。第二章，对机器视觉系统的发展概况、优缺点、系统的组成、系统的硬件选择及工作原理进行了阐述。第三章，介绍了LabVIEW虚拟仪器及视觉开发软件并对数字图像处理技术进行了概述。第四章，对人眼跟踪系统进行了系统的设计，包括系统硬件的搭建及选择和软件的设计思路及流程。第五章，详细说明了人眼跟踪系统图像处理模块对人眼图像的各种处理方法，并对各种方法进行比较，最终选择处理效果最好的方法对图像进行处理、识别。第六章，用LabVIEW虚拟仪器设计了人眼
27、跟踪系统的人机交互平台，包括了平台的前面板设计和图形化程序框图的设计过程。第七章，对本文工作进行总结，并对下一步研究内容和方向进行展望。第二章 机器视觉系统的概述2.1机器视觉的概念2.1.1 机器视觉的引入人类在征服自然、改造自然和推动社会进步的过程中，面临着自身能力、能量的局限性，因而发明和创造了许多机器来辅助或代替人类完成任务。智能机器，包括智能机器人，是这种机器最理想的形式，也是人类科学研究中所面临的最大挑战之一。智能机器是指这样一种系统，它能模拟人类的功能，能感知外部世界并有效地解决人所能解决的问题。人类感知外部世界主要是通过视觉、触觉、听觉和嗅觉等感觉器官，其中约80%的信息是由视
28、觉获取的。因此，对于智能机器来说，赋予机器以人类视觉功能对发展智能机器是及其重要的，也由此形成了一门新的学科机器视觉。机器视觉的发展不仅将大大推动智能系统的发展，也将拓宽计算机与各种智能机器的研究范围和应用领域。由此人们开始考虑利用光电成像系统采集被控目标的图像，而后经计算机或专用的图像处理模块进行数字化处理，根据图像的像素分布、亮度和颜色等信息，来进行尺寸、形状、颜色等的判别。这样，就把计算机的快速性、可重复性，与人眼视觉的高度智能化和抽象能力相结合，由此产生了机器视觉的概念。由此人们开始考虑利用光电成像系统采集被控目标的图像，而后经计算机或专用的图像处理模块进行数字化处理，根据图像的像素分
29、布、亮度和颜色等信息，来进行尺寸、形状、颜色等的判别。这样，就把计算机的快速性、可重复性，与人眼视觉的高度智能化和抽象能力相结合，由此产生了机器视觉的概念。由于机器视觉涉及到多个学科，给出一个精确的定义是很难的，而且在这个问题上见仁见智。本文采用美国制造业工程师协会给出的正式定义：机器视觉是使用器件进行非接触感知，自动获取和解释一个真实场景的图像，用来获取信息和（或）控制机器的过程1820。2.1.2 机器视觉的优缺点市场的扩展得益于机器视觉技术的进步，这体现在简单化、丰富的产品特性和较高的成功率。一个成功的机器视觉系统是一个经过细致工程处理来满足一系列明确要求的系统。当这些要求完全确定后，这
30、个系统就设计并建立来满足这些精度的要求。机器视觉系统是实现仪器设备精密控制、智能化、自动化的有效途径，堪称现代工业生产的“机器眼睛”。其最大的优点为：1) 实现非接触测量。对观测与被观测者都不会产生任何损伤，从而提高了系统的可靠性。2) 具有较宽的光谱响应范围。机器视觉则可以利用专用的光敏元件，可以观测到人类无法看到的世界，从而扩展了人类视觉范围。3) 长时间工作。人类难以长时间的对同一对象进行观察。机器视觉系统则可以长时间地执行观测、分析与识别任务，并可应用与恶劣的工作环境。总的来说，机器视觉的优点包括以下几点：精度高、连续性好、成本效率高和灵活性强。机器视觉比光学或机器传感器有更好的可适用
31、性，它们使自动机器具有了多样性、灵活性和可重组性。当需要改变生产过程时，对机器视觉来说“工具更换”仅仅是软件的变换而不是更昂贵的硬件。当生产线重组后，视觉系统往往可以重复使用。机器视觉的应用正越来越多地代替人去完成许多工作，这无疑在很大程度上提高了生产自动化水平和检测系统的智能水平21。事实上任何系统都有它的缺陷，视觉系统再快也快不过机械系统，产品的优良品质是靠全过程控制出来的，并不只是检测出来的。2.2 机器视觉的系统构成2.2.1 系统构成机器视觉系统完成的主要功能是指通过机器视觉产品（即图像摄取装置，分为CMOS和CCD两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素
32、分布、亮和颜色等信息，进行各种运算来提取目标特征，参照标准信号进行比较得出判别结果，最终控制现场执行机构实现所需的功能动作。典型的视觉系统一般包括：光源、光学镜头、摄像机、图像采集卡、图像处理软件及执行部件等。1) 光源，光源是为确保视觉系统正常取像，获得足够的光信息而提供照明的装置。光源的目的有以下几点： 将待测区域与背景明显区分开； 将运动目标“凝固”在图像上； 增强待测目标边缘清晰度； 消除阴影； 抵消噪光。光源可分为荧光灯，卤素灯/光纤导管，LED光源和其他（激光、紫外光等）四类。光源是一个视觉系统开始工作的第一步，合适的光源可以提高系统检测精度、运行速度及工作效率。2) 光学镜头，光
33、学镜头包括以下几个基本概念： 视野(FOV)，图像采集设备所能够覆盖的范围，它可以是在监视器上可以见到的范围，也可以是使设备所输出的数字图像所能覆盖的最大范围。 最大/最小工作距离(Work Distance)，从物镜到被检测物体的距离的范围，小于最小工作距离或大于最大工作距离时系统均不能正确成像。 景深(Depth of Field)，在某个调焦位置上，景深内的物体都可以清晰成像。 畸变，几何畸变指的是由于镜头方面的原因导致的图像范围内不同位置上的放大率存在的差异。几何畸变主要包括径向畸变和切向畸变。如枕形或桶形失真。 镜头接口，包含C-MOUNT（镜头的标准接口之一，镜头的接口螺纹参数：公
34、称直径：1毫米，螺距：32牙），CS-MOUNT（是C-MOUNT的一个变种，区别仅仅在于镜头定位面到图像传感器光敏面的距离不同，C-MOUNT是17.5mm，CS-MOUNT是12.5mm），C/CS（能够匹配最大的图像传感器的尺寸不超过1毫米）。 成像面，可以在镜头的像面上清晰成像的物体平面。 光圈与F值，光圈是一个用来控制镜头通光量装置，它通常是在镜头内。光圈大小用F值表示，如：f1.4，f2，f2.8等。 焦距，焦距是像方主面到像方焦点的距离。 分辨率，测量系统能够重现的最小的细节的尺寸常常用每毫米线对来表示，也就是根据这个镜头能够分辨一毫米内多少对直线。选择镜头的时候必须注意厂商给出
35、的分辨率的定义方式。光学镜头按照功能可分为变焦距镜头，定焦距镜头，定光圈镜头；按照用途可分为微距镜头和远心镜头。3) 摄像机，图像摄取装置。目前工业上主要分为CMOS和CCD两中，将被摄取目标转换为图像信号，传送给上位机。但随着通讯方式的发展，USB、FIREWIRE1384、TCP/IP等新的通讯方式越来越简单方面，将成为未来的主流。4) 图像采集卡，是将摄像装置采集的图像传入上位机的硬件设备。主要有CMOS和CCD接口的图像采集卡，在本研究中采用了USB口的摄像头，无需图像采集卡。5) 图像处理软件，一般集成于单片机或嵌入式系统或是PC中专门的图像处理软件。根据需要对摄取的图像进行数字化处
36、理，达到测量、定位、识别、匹配等目的。6) 执行部件，一般是经过图像处理后，将控制信息传入执行部件，执行所要求的操作，如机械臂的控制、产品检测筛选等。2.2.2 系统硬件的选择在视觉系统中，根据项目目的的不同，所要求图像的分辨率、亮度、清晰度、对比度和系统软件图图像处理的方式不同，需要选用不同的软硬件，以达到既能节约成本，又能有效完成项目的目的。光源的选择，光源是为确保视觉系统正常取像，获得足够的光信息而提供照明的装置，在选取光源时应遵循以下几点：1) 背光：测量系统的最佳选择；2) 亮场：最直接的照明；3) 暗场：适合光滑表面的照明；4) 结构光法：最简便的三维测量的选择；5) 影子的利用：
37、适用于间接测量；6) 彩色的考虑。常用灯源的分析，如表2.1。表2.1常用灯源的分析荧光灯卤素灯+光纤导管LED灯源价格低高中亮度低高中稳定性低中高闪光装置无无有使用寿命中低高光线均匀度高中低多色光无无有复杂设计低中高温度影响中低高镜头的选择，从技术因素考虑有以下几点：1) 镜头与相机的匹配l 镜头接口是否为工业标准接口，C/CS接口；l 镜头成像面是否大于等于相机CCD尺寸。若相机CCD为1/2毫米，而镜头为1/3毫米，则该镜头与相机不匹配；2) 系统工作空间l 镜头最短焦距是否适合系统工作空间；l 注意镜头焦距与最短焦距间的关系；3) 系统精度l 获取最佳视野；l 镜头畸变对系统精度的影响
38、；l 镜头分辨率对系统精度的影响；4) 纵深成像l 物体纵深方向的成像是否在镜头景深范围之内；5) 其他l 超大，超小物体的检测；常见镜头的对比如表2.2。表2.2常见镜头对比CCTV镜头专业摄影镜头远心镜头价格低中高分辨率低(20L/MM)中(4080L/MM)高畸变高中低焦距选择范围广泛25MM/75MM/50MM广泛25MM/75MM/50MM狭窄使用灵活性高中低适合应用低精度测量/简单检测标准精度测量/定位高精度测量/纵深测量相机的选择，在选择相机时需要从以下几个方面考虑：1) 系统精度要求与相机的分辨率l 相机分辨率（X方向）最佳视野范围（X方向）/理论像素值（X方向）；l 相机分辨
39、率（Y方向）最佳视野范围（Y方向）/理论像素值（Y方向）；l 理论值的得出，要由系统精度及亚像素综合考虑。2) 系统速度要求与相机成像速度l 系统单次运行速度系统成像速度+系统检测速度。l 异步触发。l 快门速度。3) 与视觉板卡的匹配l 视频信号的匹配。对于模拟信号相机来说，有两种格式，CCIR/RS170。通常采集卡都同时支持这两种相机。l 分辨率的匹配。每款板卡都只支持某一分辨率范围内的相机。l 特殊功能的匹配。如要使用相机的特殊功能，先确定所用板卡支持此功能。l 接口的匹配。确定相机与板卡的接口相匹配。如CAMERALINK，FIREWIRE1384等。4) 其他l 动态成像；l 色彩
40、检测；l 超大目标检测；l 数字相机。系统平台的选择，目前市场上主流的硬件平台主要分为PC式系统和嵌入式系统，在选择时需要考虑以下因素：1) 系统板卡硬件功能、软件包的功能、系统开发时限。2) 系统开发的成本。PC式视觉系统和嵌入式视觉系统的对比，如表2.3。机器视觉系统的软硬件选择是一个需要综合考虑的问题，需要根据项目目的、成本和实用效果来综合考虑具体选择什么样的软件和硬件。这是机器视觉系统中很重要的一个步骤。2.3 机器视觉系统的工作原理机器视觉系统的输出并非图像视频信号。而是经过运算处理之后的检测结果（如面积数据）。通常，机器视觉测试就是用机器代替人眼来测量和判断。首先采用CCD照相机将
41、被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号。图像系统对这些信号进行各种运算来抽取目标的特征，如：面积、长度、数量、位置等。最后，根据预设的容许度和其他条件输出结果，如：尺寸、角度、偏移量、个数、合格/不合格、有/无等。上位机（如PC和PLC）实时获得检测结果后，指挥运动系统或I/O系统执行相应的控制动作（如定位和分类）。机器视觉系统基本的流程图如图2.1。表2.3PC式机器视觉系统和嵌入式视觉系统的对比PC式视觉系统嵌入式视觉系统 检测速度强弱测量精度强弱多相机支持强弱闪光装置强弱相机功能支持强弱用户化功能支持强弱复杂运算强弱系统成本弱
42、强工作空间弱强操作难度弱强集成能力弱强稳定性弱强图2.1机器视觉系统基本的流程图2.4 本章小结本章主要介绍了机器视觉系统的概况，机器视觉系统的构成和系统软硬件选择的考虑因素，以及机器视觉系统的基本流程。为本文研究人眼追踪系统的搭建提供了理论依据。第三章 LabVIEW虚拟仪器和数字图像处理概述3.1 LabVIEW概念利用在PC上运行的软件平台，将以往依靠专用仪器完成的测控任务改由软件和模块化硬件集成的平台来实现。这打破了专用台式仪器在行业的垄断，突出了软件的强大功能和优势，而且能够让用户灵活的自定义不同任务要求，从而产生了具有里程碑意义的新一代仪器虚拟仪器。其中最有影响力和发展前景的虚拟仪
43、器编程语言是1886年美国国家仪器公司NI公司(National Instruments Corporation)设计的LabVIEW(laboratory virual instrument engineering workbench)和LabWindows/CVI(C for Virtual Instruments)。软件是虚拟仪器的灵魂，LabVIEW是目前国际上唯一的编译型图形化编程语言，使用“所见即所得”的可视化技术建立人机界面，形象逼真，操作简单。它是用工程人员所熟悉的术语、图形等图形化符号代替常规的文本语言编程（如BASIC、C语言等），具有丰富的和功能强大的函数库，很多函数可直
44、接以子程序的方式进行调用，从底层各种数据采集板的控制子程序到大量的仪器驱动程序；从基本的功能函数到高级分析函数，几乎涵盖了仪器设计中需要的所有函数，同时LabVIEW还支持网络通讯协议(TCP/IP)、动态数据交换(DDE)和网络化多媒体对象技术(ActiveX)等应用软件标准。它广泛地被工业界、学术界和研究实验室所接受，被公认为是标准的数据采集和仪器控制软件。利用LabVIEW，可生成独立可运行的可执行文件，它是一个真正的32位编译器。像许多重要的软件一样，LabVIEW提供Windows、UNIX、Linux、Macintosh的多种版本。用LabVIEW进行原理研究、设计、测试并实现仪器
45、系统，可以节省大量系统开发时间，即使对于没有文本语言编程基础的非软件工程师，也可以很快学习、掌握并应用LabVIEW来开发虚拟仪器。利用计算机的强大功能和灵活性，工程师和科学家拥有了前所未有的能力来有效地测量、控制、监视、诊断、自动化、测试和描述任何过程。无论工程过程所涉及的行业或领域如何，LabVIEW从设计至验证到生产都提供了解决方案22-23。LabVIEW具有以下特点：1) 采用图形数据流编程。2) 有专门用于数据采集和仪器控制设计的功能和开发工具库。3) 拥有大量的调试手段。除了提供常规的程序调试机制，如单步、设置断点以外，还提供了能够更直观、更清晰地观测程序执行流程的调试方法（比如
46、数据流动态显示、错误句柄等），同时，它还提供两种运行状态，即编辑状态和执行状态，从而将系统的开发与运行环境有机地结合起来。4) 具有很强的灵活性，虚拟仪器的功能由用户自己定义，这意味着可自由地组合计算机平台、硬件、软件以及各种实现应用系统所需要的附件24。LabWindows/CVl是美国NI公司所提供的另一套优秀的开发产品。它以C语言为核心，将计算机软件设计平台与数据的采集、分析、处理及结果表达等仪器专业工具有机地结合起来，为熟悉C语言的开发人员建立检测系统、测量系统、数据采集系统及过程监控系统等提供了一个理想的软件开发环境。3.2 视觉开发软件概述机器视觉系统的核心是数字图像处理，为适应这
47、一需要，NI公司于2003年推出了一种简化机器视觉中的数字图像处理的模块化的视觉开发软件(Vision Development Module)，它是无须编程即可创建、校准并部署一个视觉应用程序，用于自动检测的视觉生成器(Vision Builder for Automated Inspection)。视觉开发模块是可在机器视觉中应用的强大的程序库，可缩短开发周期，节省时间和金钱。该视觉开发模块是为方便工程师和科研人员在机器视觉和数字成像领域的研发工作而提供的应用软件平台，功能强大，它包括视觉助手(Vision Assistant)和视觉采集(IMAQ Vision)两个子模块。其中，视觉助手是一个交互式的平台，开发者可以很快地用它建立视觉模型，而IMAQ Vision具有强大的图像处理函数库，提供了大量科研和工程中常用的图像
