《多用户笔输入系统中笔的轨迹区分.doc》由会员分享，可在线阅读，更多相关《多用户笔输入系统中笔的轨迹区分.doc（96页珍藏版）》请在三一办公上搜索。
1、清华大学综合 论 文 训 练题目： 多用户笔输入系统中 笔的轨迹区分 系别：自动化系专业：自动化 姓名：陈孝杰 指导教师：史元春教授 辅导教师：曹丽副教授2005 年6 月21 日清华大学综合论文训练摘要在教学和会议中，为了更好地表达自己的思想和与其他人进行沟通，人们常 常需要能够书写并显示的交互设备，传统的媒介包括黑板、纸张等。随着信息 技术的飞速发展，计算机支持的多媒体大屏幕投影逐渐取代了传统的黑板，成 为教学和会议主流。但是大屏幕只能用于显示信息，如果需要对显示内容进行 标注或是操作，还只能借助于鼠标和键盘。针对这个缺陷，触摸技术得到了开 发和应用，用户可以使用手指或特制交互笔方便直接地
2、在显示设备上操作或书 写。然而，现有的触摸技术却不能很好地支持多用户同时交互。SMART Board 是基于数字视觉技术的笔输入触摸屏，它能够同时定位两支 笔的位置，但不能够把轨迹和代表用户的交互笔关联起来，因而无法区分轨迹。 本文的工作是在 SMART Board 的基础上实现双笔轨迹的区分。基本原理是首先 设计合适的硬件电路，使用来交互的笔能够在书写时给系统发送自身的颜色信 息，然后通过软件把得到的颜色信息和轨迹起始点进行绑定，用最近距离算法 对后继点进行分类。实验证明改进后，系统能够很好地识别两个用户并区分轨 迹，可以满足多用户同时交互的需求。由于 SMART Board 的双笔定位功能
3、完全由硬件实现，如果要改进系统以实 现更多笔的同时使用，需要自行实现多笔定位功能。本文的另一项工作是用双 摄像头实现双笔的同时定位。基本原理是用卡尔曼滤波器对每支交互笔状态预 测，根据预测值寻找摄像头中交互笔成像中心点，通过三角关系确定笔的坐标。这种算法简单实用，使系统能够同时跟踪两支笔运动并准确提供坐标。关键字：智能白板、多用户、笔输入系统、轨迹区分I清华大学综合论文训练AbstractIn order to express ones idea more clearly and communicate with others more effectively in teaching or c
4、onference, we usually tend to draw on the surface of interactive device where the data are displayed. Traditional media for such kind of devices includes blackboards, paper and so on. Along with the fast development of information technology, large tiled displays supported by computer projection tec
5、hnology have gradually taken the place of blackboards, and become the mainstream in teaching and conference. However, if we want to interact with the displayed data, we have to turn to mouse and keyboard. Users attention together with the body must move among devices, which is very awkward. Aiming a
6、t solving the problem, touch sensitive technology has been developed, which makes it quick and convenient for users to interact with the displayed data directly with fingers or specially designed styluses. But when the system serves multiple users in parallel, it faces challenges. We are now breakin
7、g through the challenges.SMART Board is a stylus input touch screen based on digital vision touch technology (DViT). It can locate two styluses simultaneously. However, it cant associate each stroke with a particular user. One contribution of the paper is to improve SMART Board to distinguish the st
8、rokes of two styluses. First we design the hardware to transmit the color information of the stylus to the system when the user writes with it; then we design the software to get the color information, and associate it with the stroke. The experiment results have shown that our system can distinguis
9、h the strokes well when two users write simultaneously.SMART Board accomplishes the locating of two styluses through hardware, so if we want to improve the system in order to support more styluses in parallel, we have to implement the function of multi-stylus locating by ourselves. Another contribut
10、ion of this paper is to accomplish the locating of two styluses using two digital cameras.The fundamental arithmetic is as follows: firstly use Kalman Filter to predict the stateII清华大学综合论文训练of each stylus, and then find the center point of the stylus in each camera image, finally get the location th
11、rough coordinate transformation. The arithmetic, which is quite simple and useful, allows the system to locate two styluses simultaneously and accurately.Keyword: SMART Board, multi-user, stylus input system, stroke distinguishingIII清华大学综合论文训练目录摘要 . I Abstract. II 目录 . IV第一章引言.11.1本文的研究背景.11.2研究内容和方
12、法.21.2.1SMART Board 基础上实现双笔轨迹区分 .21.2.2模拟实现 SMART Board 的双笔定位 .31.3论文的组织.5第二章相关研究.72.1普通触摸屏技术.72.1.1触摸屏的基本原理 .72.1.2常见的触摸屏技术 .82.2SMART Board 简介.122.2.1SMART Board 交互笔区分原理 .132.2.2SMART Board 的软件接口 .142.3DViT 技术.152.3.1DViT 的基本原理 .15IV清华大学综合论文训练2.3.2DViT 技术与其他触摸技术的比较 .162.4多用户触摸技术 DiamondTouch .182.
13、4.1DiamondTouch 的基本原理 .182.4.2优点和缺陷 .192.5本章小结.20第三章基于 SMART Board 双笔轨迹区分.213.1基本原理描述.213.2硬件设计.223.2.1供电模块 .233.2.2无线传输模块 .243.2.3发送控制模块 .253.2.4单片机固件编程 .263.2.5USB 信号接收模块简介 .263.3软件设计.273.3.1USB 信号读取与同步 .293.3.2轨迹的生成与擦除 .303.4本章小结.31第四章基于双摄像头的双笔定位.324.1双摄像头物体定位的基本原理.324.2卡尔曼滤波器.36V清华大学综合论文训练4.2.1卡
14、尔曼滤波器基本思想 .364.2.2离散卡尔曼滤波器的基本原理 .374.3系统模型建立.404.4双笔定位的实现.444.4.1基本原理 .444.4.2程序说明 .454.5小结.48第五章总结与展望.495.1本论文工作.495.2未来的工作.49 参考文献 .51 致 谢 .53 声 明 .53 外文资料翻译 .54外文资料原文 .72VI清华大学综合论文训练第一章引言1.1 本文的研究背景在会议、教学和讨论中，人们往往需要使用能够书写并显示的交互介质或设 备来更好地表达自己的思想和其他人进行沟通，其中最传统的交互介质有纸张、 黑板等。随着信息技术的飞速发展，计算机支持的多媒体投影方式
15、越来越多地 取代了传统的黑板书写，并逐渐成为高校教学、高级会议的主流。多媒体投影 虽然解决了教室会议室粉尘污染、书写板书费时费力等缺点，但仍然存在无法 克服的局限和弊端。大多数时候，投影显示屏只能用来显示信息，如果需要做 笔记、进行标注，还是只能借助于键盘和鼠标。当然这样可以进行交互式的展 示和讨论，但是却没有像传统的黑板那么直接，不能直接在显示界面上进行书 写和操作成了多媒体投影的一大弱点。针对多媒体投影的这个弱点，直接交互的触摸屏得到了开发。触摸屏的技术 多种多样，可以电容式的，也可以是电感式的，但是它们的目的是一样的，就 是允许用户不通过鼠标键盘直接在显示界面上进行书写和操作。这样就大大
16、提 供了用户的工作效率，使人机交互变得更加简单直接。然而现有的触摸技术也存在一定的缺陷，常见的触摸屏往往只支持单个用 户，而不允许多个用户同时书写使用，不能很好地满足会议、讨论等需要多人 同时参与的应用需求。人们需要支持两个或两个以上用户同时使用的触摸设备， 以达到类似传统黑板交互的效果。为了满足这种需求，多用户的触摸设备越来越受到重视，很多新出现的产品 都逐渐向这种应用需求靠近，SMART Board 就是其中一种产品。SMART Board 能够支持两个用户同时进行书写操作，并能够实时测定两支笔的坐标。但是它 提供的只是双笔定位的基础服务，而不能够把笔的轨迹和交互笔本身关联起来， 当双笔同
17、时书写时，系统无法根据不同的交互笔显示不同颜色的轨迹，只能使用同一种颜色来表示两条轨迹。这样对用户来说显得不够直观，用户往往希望第 1 页清华大学综合论文训练使用两支不同交互笔时能够显示不同颜色的轨迹，并且轨迹的颜色是和交互笔绑定的，SMART Board 就不能满足需求了。如果能够在 SMART Board 基础上， 进行一定的改进，使系统能够在交互笔书写时实时得到交互笔的信息，就能够 把产生的轨迹和交互笔本身绑定起来，从而实现轨迹的区分，这就是本文要做 的工作。1.2 研究内容和方法本文以 SMART Board 为实验对象，研究显示界面上的双笔轨迹的区分问题。 研究内容主要分为两个方面，
18、首先是在 SMART Board 的基础上，改进系统，实 现在双笔书写时区分双笔轨迹；另一个方面就是从底层上研究 SMART Board 的 技术，模拟实现 SMART Board 的双笔定位基础服务。1.2.1SMART Board 基础上实现双笔轨迹区分在双笔同时交互时，SMART Board 已经能够实时提供两支笔的坐标，只是 无法把各个坐标和交互笔关联起来，因而无法实现轨迹的区分。我们所要做的 工作是在交互笔书写时给系统发一个信息，通过系统把这个交互笔信息和得到 的坐标关联起来，就可以实现轨迹的区分。要在交互笔书写时给系统发信息，首先要检测交互笔是否接触书写板面，只 有在接触的时候才发
19、送信息，其他时候应该不发送。由于 SMART Board 的物体 识别定位部分都已经制作成硬件，我们不可能修改，要使系统能够适时发送信 息，只能在交互笔上进行改动，需要在交互笔笔头上安装一定的装置检测接触 信息。检测接触可以采用很多方法，如压力传感器、电感位移传感器、电容位 移传感器等传感器或是灵敏度较小开关。但是并不是所有的检测方式都适用在 这里。交互笔首先要制作成笔状才能方便用户使用，笔状的装置就决定了电路 的体积必须足够小且结构简单，同时要求检测装置经久耐用以使交互笔能够长 期书写。常规的压力、位移传感器都比较复杂，体积比较大，而且要求的电源 比较严格，往往需要高频的交流电供电，对电压电
20、流的要求也很高，这就给电路设计带来很大麻烦；常规的开关体积比较小，原理很简单，电路设计起来也第 2 页清华大学综合论文训练简单得多，但是也有一些缺陷，一般开关需要很大的力量才能闭合，作为交互笔笔尖，用户使用起来不是很顺手，比较生硬。上述的传感器和开关方案各有 利弊，权衡之后，决定使用开关方案，寻找足够灵敏的开关，尽量减少用户使 用时的生硬感。交互笔接触板面的信号检测到以后，就需要通过一定的方式传送到计算机 上，系统才能真正收到交互笔接触的信息。信号传送的方式当然是必须使用无 线方式，因为有线方式会妨碍交互笔的使用，而且看起来不美观。无线的传送 方式可以采用红外线、无线电波等。由于红外本身波长比
21、较短、对障碍物的衍 射能力差的特点决定了这种传送信号的方式的方向性很强，作用角度一般都在30 度左右，而在交互笔书写过程中不可能要求用户保持交互笔的方向性，因而 红外方式不太适用。无线电波波长比红外线要长一些，对障碍物的衍射能力比 较强，在各个方向上都能实现良好接收，很适合用在交互笔的信号传送上。系统得到交互笔的接触信号后，需要把这个信号同交互笔的坐标信息结合起 来才能实现轨迹的区分。但是 SMART Board 的定位速度很快，每秒钟能够生成 上百个交互笔坐标，交互笔的接触信号不可能也以这么高的频率发送给系统。 即使能够实现这么高频率的信号发送，要保证交互笔的每个坐标信号和接触信 号同步也是
22、一件非常困难的事情。因此只能在每次书写时发送一次接触信号。 同时由于无线电通讯信道独享，两支笔同时发送无线电信号时会产生冲突，使 接收端无法收到信号，所以交互笔的接触信号只能在交互笔接触板面的一瞬间 发送，其他时间不发送，把冲突的可能性降到最低。每条轨迹的第一个坐标点 和接触信号绑定后，接下来产生的新的坐标点需要根据与前面坐标点的关系进 行分类，就可以实现轨迹的区分。新坐标点分类的方法可以采用简单的最邻近 距离法，从 SMART Board 得到一个坐标点后比较与当前正在编辑的轨迹的距离， 离哪条轨迹近就把该坐标点归类到那条轨迹。至此就可以完成在 SMART Board 基础上的轨迹区分。1.
23、2.2模拟实现 SMART Board 的双笔定位SMART Board 采用摄像头定位技术能够实现两支笔的同时定位，但是当三第 3 页清华大学综合论文训练支或三支以上笔同时书写时，系统就不能正确提供各笔的坐标。由于 SMARTboard 的图像处理、物体定位功能完全由硬件完成，提供给上层应用程序的只是 定位以后的坐标，要从软件编程上改进来支持更多的笔是不可能实现的。如果 要改进 SMART Board 以支持更多的交互笔同时书写，就需要从底层原理着手， 在图像处理等方面进行改进，为此首先要能够模拟实现 SMART Board 的功能。 另外双摄像头定位技术本身就是一项非常值得研究的课题，如果
24、能够实现，就 可以应用于更加广泛的场合，如室内物体定位等。要摸拟实现 SMART Board 双笔定位的基础服务，首先要实现一支笔的定位。 一支笔定位过程中要解决图像处理、触摸屏物理坐标和显示器逻辑坐标的转换、 摄像机标定等问题。这部分不是本文的工作，而是由另一名合作者完成。本文的工作建立在一支笔已经能够实现定位的基础上，通过一定的算法改进 实现双笔定位。由于两支笔同时书写时，从摄像头的图像中看起来两支笔是完 全一样的，如果没有任何先验知识就无法区分，要实现两支笔的同时定位就需 要如下的前提条件：(1)最多允许两支笔同时书写。(2)书写中两支交互笔不能够 距离不能太近。(3)一支笔到两支笔的转
25、变的瞬间，两支笔和任意一个摄像头都 不能在一条直线上。(4)双笔同时书写时，落笔不能完全同时，先后要大于一定 的时间间隔。这个时间间隔由摄像头的刷新频率确定，就是摄像头取两帧图像 的时间间隔。本文实验中采用的摄像头的刷新频率为 30Hz，也就是书写时两支 笔不能在 1/30 秒内先后落笔，如果摄像头的刷新频率提高，时间间隔就会变短， 用户就不会感到书写使用有所限制。落笔上的先后顺序，就可以获得一定的先 验知识。每次双笔交互的过程都是从一支笔书写到两支笔书写的过程，这就是 一个先验知识。一支笔书写时，系统可以给出定位坐标，当由一支笔变成两支 笔同时书写时，系统可以根据前面的轨迹先判断出前一支笔的
26、坐标，然后图像 中剩下的就是新加入的交互笔的坐标，这样就可以同时得到两支笔的坐标，接 着就可以根据两支笔的前一次坐标判断下一次坐标位置，并从图像中检测出来。从前一次坐标判断下一次坐标位置，需要使用一定的预测方法，本文采用的 是卡尔曼滤波的预测算法。为每条轨迹建立一个卡尔曼滤波器，每次轨迹添加 当前坐标点后，滤波器就预测下一点在图像中可能出现的区域，当新的图像到第 4 页清华大学综合论文训练达时就在这个区域内查找物体，如果找到物体，就可以得到新的坐标点，如果没有找到物体就认为这支交互笔完成一次书写过程离开了书写板面。当然由于交互笔没有在图像上提供可以识别的标志，要做到不出任何错误同 时定位两支笔
27、坐标是不可能实现的，无论采用什么算法都无法避免出错。如极 限情况，两支交互笔距离足够近，在摄像头上成的像互相之间有交叉的话，系 统就不可能区分出两支笔。另外两支笔同时书写时，遮挡问题也会影响定位的 准确性，两支笔和摄像头三者呈一条线的时候，定位也会出问题。因而我们要 做的是寻找好的算法尽量减少错误的产生。1.3 论文的组织在本文的引言中介绍了论文的研究背景，并简要介绍了论文的研究内容和研 究方法。在以后的各章中，首先介绍一下几种常见触摸技术、SMART Board 设 备和 DViT 技术；接着介绍在 SMART Board 基础上实现双笔轨迹的区分及模拟 实现 SMART Board 的双笔
28、定位基础服务；最后进行总结得出结论。具体的章节 安排如下：第二章首先介绍了常见的触摸技术的原理和存在的缺陷，接着介绍本文实验 的平台SMART Board，并详细介绍了它的基本原理和软件接口，然后具体 介绍 SMART Board 所采用的 DViT 技术的基本原理，最后介绍一种目前已经实 现双笔轨迹区分的触摸系统DiamondTouch。第三章和后面的第四章包括了本文主要实现的工作。其中第三章主要介绍基 于 SMART Board 的双笔轨迹区分，讲述了基本的实现原理，从供电模块、无线 传输模块、发送控制模块、单片机固件编程、USB 信号接收模块等五个部分详 细介绍了硬件电路设计，最后介绍软
29、件设计。第四章主要介绍如何使用两个摄像头模拟实现 SMART Board 的双笔定位功 能，首先详细介绍双摄像头物体定位的原理，其中包括图像处理、物体检测和 一系列的坐标变换。接着介绍双笔定位中需要使用的卡尔曼滤波器的基本原理，然后根据滤波基本原理建立实际使用的模型，最后介绍用这个模型实现双笔定第 5 页清华大学综合论文训练位的过程。第五章是对本文的总结和展望，其中着重分析了现有工作中的一些问题和缺 陷，提出一些可行的改进方案或是改进方向。第 6 页清华大学综合论文训练第二章相关研究2.1 普通触摸屏技术随着多媒体信息查询的与日俱增，人们越来越多地接触到触摸屏，因为触摸 屏作为一种最新的电脑输
30、入设备，它是目前最简单、方便、自然而且实用的输 入设备，触摸屏具有坚固耐用、反应速度快、节省空间、易于交流等许多优点。 利用这种技术，用户只要用手指轻轻地指碰计算机显示屏上的图符或文字就能 实现对主机操作，从而使人机交互更为直截了当，极大方便了那些不懂电脑操 作的用户。这种人机交互方式，赋予了多媒体以崭新的面貌，是极富吸引力的 全新多媒体交互设备。2.1.1触摸屏的基本原理为了操作上的方便，人们用触摸屏来代替鼠标或键盘。工作时，人们必须首 先用手指或其它物体触摸安装在显示器前端的触摸屏，然后系统根据手指触摸 的图标或菜单位置来定位选择信息输入。触摸屏由触摸检测部件和触摸屏控制 器组成；触摸检测
31、部件安装在显示器屏幕前面，用于检测用户触摸位置，接收 后送触摸屏控制器；而触摸屏控制器的主要作用是从触摸点检测装置上接收触 摸信息，并将它转换成触点坐标，再送给 CPU，它同时能接收 CPU 发来的命令 并加以执行。触摸屏有三个基本特征：1透明。 它直接影响到触摸屏的视觉效果。透明至少应该包括四个特性：透明度、色彩失真度、反光性和清晰度。触摸屏通常安装在计算机的显示表面上，或 是直接作为投影设备，这样会降低显示图像的质量。触摸屏的透明性能的提 高是触摸技术发展的一大挑战。2绝对坐标系统。第 7 页清华大学综合论文训练触摸屏是绝对坐标系统，触摸的位置与实际的定位应该相同，与鼠标这类相对定位系统有本质的区别，一次到位的绝对坐标系统更加简便直观。绝 对坐标系统的特点是每一次定位坐标与上一次定位坐标没有关系，触摸屏在 物理上是一套独立的坐标定位系统，每次触摸的数据通过校
