《人机交互技术及其应用(科普).docx》由会员分享,可在线阅读,更多相关《人机交互技术及其应用(科普).docx(9页珍藏版)》请在三一办公上搜索。
1、人机交互技术及其应用(科普)信息技术的高速发展对人类生产、生.活带来了广泛而深刻的影响。高科技成果为人们带来便拢、欢乐的同时,也促进着人机交互技术的发展,作为信息技术的应要内容,人机交互技术比计算机硬件和软件技术的发展要滞后很多,已成为人类运用信息技术深化探究和相识客观世界的瓶颈。因此,人机交互技术已成为21世纪信息领域呕需解决的重大课题和当前信息产业竞争的一个焦点,世界各国都将人机交互技术作为IR点探讨的一项关键技术,例如,在美国21世纪信息技术安排中,将软件、人机交互、网络、高性能计算列为基础探讨内容,美国国防关键技术安排也把人机交互列为软件技术发展的重耍内容之一,在我国的“863”、“9
2、73”和自然科学基金等项目中,也将人机自然交互理论与方法作为信息技术中须要解决的关键科学问题。一、人机交互的概念人机交互(HUnIan-ComPUterInIeraCIion,HCD是关于设计、评价和实现供人们运用的交互式计算机系统,且围绕这些方面主要现象进行探讨的科学,狭义的讲,人机交互技术主要是探讨人与计算机之间的信息交换,它主要包括人到计算机和计算机到人的信息交换两部分.人们可以借助键盘、鼠标、操纵杆、数据服装、眼动理踪器、位置跟踪器、数据手套、压力笔等设备,用手、脚、声音、姿态或身体的动作、眼暗甚至脑电波等向计算机传递信息,同时,计算机通过打印机、绘图仪、显示器、头盔式显示器、音箱等辘
3、出或显示设备给人供应信息。人机交互与计算机科学、人机工程学、多媒体技术和虚拟现实技术、心理学、认知科学和社会学以及人类学等诸多学科领域有亲密的联系,其中,认知心理学与人机工程学是人机交互技术的理论基础,而多媒体技术和虚拟现实技术与人机交互技术相互交叉和渗透.作为是信息技术的一个重要组成部分,人机交互将接着对信息技术的发展产生巨大的影响。二、人机交互的探讨内容人机交瓦的探讨内容#常广泛,涵盖了建模、设计、评估等理论和方法以及在移动计算、虚拟现实等方面的应用探讨与开发,在此列出几个主要的方向:人机交互界面表示模型与设计方法(ModdandMc1.hodo1.ogyA一个交瓦界面的好坏,干脆影响到软
4、件开发的成败。友好人机交瓦界面的开发离不开好的交互模型与设计方法.因此,探讨人机交互界面的表示模型与设计方法,是人机交互的垂要探讨内容之一。 可用性分析与评估(USabi1.ityandEva1.uation)可用性是人机交互系统的重要内容,它关系到人机交互能否达到用户期盼的目标,以及实现这一目标的效率与便捷性。人机交互系统的可用性分析与评估的探讨主要涉及到支持可用性的设计原则和可用性的评估方法等。 多通道交互技术(MuIti-Moda1.)在多通道交互中,用户可以运用语音、F势、眼神、表情等自然的交互方式与计算机系统进行通信.多通道交互主要探讨多通道交互界面的表示模型、多通道交互界面的评估方
5、法以及多通道信息的融合等。其中,多通道整合是多通道用户界面探讨的重点和难点。 认知与智能用户界面(RecognitionandInte1.1.igentUserInterface)智能用户界面(Inte1.1.igentUserInterface.IUI)的最终目标是使人机交.和人一人交互样自然、便利。上下文感知、眼动跟踪、手势识别、三维输入、语音识别、表情识别、手写识别、自然语言理解等都是认知与智能用户界面须要解决的重要问题。 虚拟环境(Virtua1.Environment)中的人机交互“以人为本”的、臼然和谐的人机交互理论和方法是虚拟现实的主要探讨内容之o通过探讨视觉、听觉、触觉等多通道
6、信息淞令的理论和方法、协同交互技术以及一:维交互技术等,建立具有窗度真实感的虚拟环境,使人产生“身临其境”的感觉。 移动界面设计(MobiIeandUbiCOmP)移动计算(Mobi1.eComputing)%普适计算UbiquitousComputing)等对人机交互技术提出了更高的要求,面对移动应用的界面设计问题已成为人机交互技术探讨的一个重要应用领域“针对移动设备的便携性、位般不固定性和计算实力有限性以及无线网络的低带宽高延迟等诸多的限制,探讨移动界面的设计方法,移动界面可用性与评估原则,移动界面导航技术,以及移动界面的实现技术和开发工具,是当前的人机交互技术的探讨热点之一。三、人机交互
7、技术的发展臼1946年世界上第一台数字计算机诞生以来,计算机为人的实力的扩展供应了巨大的忸助,作为计算机系统的一个重要组成部分,人机交互始终伴随着计电机的发展而发展.人机交互的发展过程,也是人适应计算机到计算机不断地适应人的发展过程。从人机界面(Interface)的到人机交互(Interaction),从1969年第一次人机系统国际大会,到2(HO年的中国人机交互研讨会,人机交互理论和技术经验了多个阶段的发展。特殊是20世纪90年头后期以来,人机交互的探讨重点放在了智能化交互,多模态(多通道)-多媒体交互,虚拟交互以及人机协同交互等方面,也就是放在以人为在中心的人机交互技术方面。概括地讲,人
8、机交互的发展经验了以卜.几个阶段:(1)早期的手工作业阶段:(2)作业限制语言及交互吩咐语言阶段:(3)图形用户界面(GUI)阶段;(4)网络用户界面的出现;(5)多通道、多媒体的智能人机交互阶段:(6)虚拟交互界面。鼠标的出现,使人们更流畅地进行人机交互。与键盘中的方向键相比,它明显更加符合人的自然习惯。这是人机交优的第一次革命。键盘与鼠标的人机交互组合,从PC时代始终持续到互联网时代,并无太大变更,直到智能手机和多点触摸的出现.快速普及的多点触摸技术,是人机交互史上的其次次革命,而引领它的又是苹果公司与它的革命性手机iPhone。多点触摸打开/另外一扇窗户,它让全部人意识到其实键盘可以成为
9、触摸的一部分,而很多吩咐其实能通过多个手指在触摸屏上划动方式的不同来完成,比如放大和缩小图片。问世不久的KinCet则可以称得上人机交互的引领新潮流的第一:次革命.它整合具有革命性的技术一3D图片识别与视频捕获,加上硬件体验的不断优化,再加上对应其特性的专属嬉戏开发,在嬉戏这特定的应用场景对技术的强化,最终鳖造了KineCt这人机互动的革命性产品。四、自然和谐的人机交互当前,虚拟现实、移动计.算、普适计算等新技术发展快速,对人机交互技术提出了新的挑战和更高的要求,同时也供应了很多新的机遇。在这一阶段,自然和谐的人机交互方式得到了肯定的发展,其主要特点是基于语音、手写体、姿态或者跟踪、表情等输入
10、手段进行多通道交互,其目的是使人能以声音、动作、表情等自然方式进行交互操作,这正是志向的人机交互所强调的“用户自由”之所在。在自然和谐的人机交互的发展过程中,人们除了致力于探讨开发友好的逼真的三维用户界面,基r声音、动作、表情等多种通道的自然交互方式,还独创了大量的新交瓦设备,如头盔式立体显示器,数据手套等。目前,对于人类重要的自然交互方式一一语音和笔的交互技术,包括手写识别、笔式交互、语音识别、语音合成、数字糊水(DigiIa1.Ink)等,其发展已经有了很大的成效,如中科院自动化所开发的“汉王笔”手写汉字识别系统,经过近20年的探讨和开发,己能识别27000汉字,当用非草写汉字、以每分钟1
11、2个汉字的速度书写时,识别率可达99.8%;微软亚洲探讨院多通道用户界面组独创的数字墨水技术,采纳全新易操纵的笔交互设备、高质量的墨水绘制技术、才智的果迹分析技术等,使它不仅可用作为文字识别、图形绘制的输入,而且作为一种全新的“Ink”数据模型,使手写笔记更易阅读、获得、组织和运用。数字墨水技术已作为产品,结合在微软的Tab1.etPC操作系统中,产生了巨大的社会国乡响。它还将接着发展,有可能成为新一代优秀的自然交互设备:在笔式交互技术探讨中,中国科学院软件所人机交互技术与智能信息处理试险室在宅式交互软件开发平台、面对教学的笔式办公套件(包括课件制作、笔式授课、笔式数学公式计算冷、笔式简谱制作
12、等)、面对儿童的神笔马良系统的开发应用方面均有精彩的工作,其中不少已经好用化、产品化;IBM公司的ViaVoice,中国科学院自动化所“汉语连续语音听写系统”等等。虚拟现实(Virtua1.Rea1.ity.VR)技术的发展和进步极大的推动了人机交互技术的发展.虚拟现实是借助于计算机技术及硬件设备,建立高度真实感的虚拟环境,使人们通过视觉、听觉、触觉、味觉、嗅觉等感官在其中看、听、触、闻起来像真实的,以产生身临其境的感觉的种技术。虚拟现实技术有三个显明特征:其实感、沉醉感和交互性。其中,臼然和谐的交互方式也是虚拟现实技术的一个重要探讨内容,其目的是使人能以声音、动作、表情等自然方式与虚拟世界中
13、的对象进行交互,人们除了致力于探讨开发虚拟友好的用户界面,还独创了大量的三维交互设备,如立体眼镜、WorkBench4头盔式显示器、洞息式立体显示冷(CAVE)、墙式大屏幕立体显示器、数据服装、位置跟踪器、眼动跟踪器、触觉和力反饿装置、三维扫描设备、三维鼠标、三维跟踪球、三维嬉戏杆等等。虽然人机交互并不是虚拟现实的全部,但虚拟现实为人机交互的探讨供应了很好的契机和媒介。五、基于人手的人机交互技术与应用自然人机交互模式是以干脆操纵为主的的人机交互形式,而志向的人机交互模式就是要充分体现“用户自由:现在很多人运用触摸屏是因为触摸屏更简洁得心应手,而在人的身体构成上,人手是附为敏捷的部件,具有高度的
14、自由度,所以基于人手的交互,体现了人机交互的和谐自然所在.手势是种自然、直观、易于学习的人机交互手段,手势输入是实现自然、干脆人机交互不行缺少的关键技术.目前的手势识别技术主要分为基于数据手套和基于视觉两种。这两种方法各有自己的特长,也都取得了些探讨成果,但都还不成熟。手势输入作为种自然、丰富、干脆的交互手段在人机交互技术中占有重要的地位。其探讨内容包括手势的定义、手势分割、手势建模、手势分析、手势识别以及基于手势的人机交互等。由丁人手是一个困难的非刚性的多链接物体,且手势本身具有多义性、多样性以及在时间和空间上存在差异性的特点,手势的这种高维状态表达是姿态估计中有效全局搜寻真实手势的最大障碍
15、。济南高校XX重点试验室结合计算机科学和认知心理学等相关学科,对3D运动人手跟踪进行多学科的交叉探讨和探讨,提出了基于认知模型的运动人手的三维跟踪方法,并对涉及的关键问题进行了探讨。下面主要对基于人手的人机交互的应用进行概括和总结。1)手语板别和合成中国科学院计算所研制胜利了基于多功能感知的中国手语识别与合成系统,它采纳数据手套可识别大词汇量(5177个)的手语词。该系统建立了中国手语词库。对于给定文本句子(可由正常人话语转换而成),自动合成相应的人体运动数据.最终用计算机人体动画技术,将运动数据应用r虚拟人,由虚拟人完成合成的手语运动。它可输出大词汇量的手语词,为中国爸哑人的教化、生活供应了
16、有用的协助工具,使他们用手语与正常人的沟通成为可能.(2)手势遥控器澳大利亚、台湾、日本的一些科学家和公司已经独创了手势遥控装置,能够运用简洁的手势进行家用电器,如电视、DVD、音响等的操作,进行开关、音量调整、换频道等。例如,握紧拳头表示“起先“,将手掌伸绽开表示“开机”,用V字形手势,再将手掌横过来表示“选择频道工翘起大拇指则表示“向上调频道”等.日本松下公司已经试制了电视机用手势输入遥控涔,遥控渊在功能上类似于嬉戏手柄,用户拿着它通过挥动就可实现对3D电视的限制。种手势装置的工作原理并不困难,用户将内置有摄像头的遥控装置安装在与电视和运用者均无视线阻隔的招架或桌子上即可,装置内的软件可识
17、别用户事先储存的简洁手势,然后向一个可操控多种电涔的遥控器发出信号,最终电器将根据运用者手势“行事HOWITW0RKSANDWHATTHEHANDSIGNA1.SMEAN(3)敦化领城:人机交互技术在教化领域的应用正在兴起,特殊是基r人手的交互应用,如虚拟白板,虚拟试验,以及便利课堂教学的其他应用,例如腾讯的QQ手势达人,它可以通过般摄像头来进行手势限制,抛弃了从电脑诞生之日起就始终运用的键盘和鼠标,完全由手势限制PPT的演示,供应/PPT的启动播放、上翻页、卜翻页、结束播放等四个常用手势吩咐。(4)嬉戏限制:该类应用主要是通过对手势的识别进行嬉戏的限制,例如基于微软KineCt的体感嬉戏限制
18、等。(5)医学领域应用外科手术操作学习/模拟可以通过构建“手眼协调、实时交互、双手操作”的虚拟现实系统供应通用的医学外科手术模拟与操作学习。这些技术将可以用到须要双手协同、手眼协调的各类精细操作任务中,例如医疗领域的牙科手术、腹腔镜微创手术、眼科手术等,当然也可以还可以用到军事、航天等训练领域。这样可以节约学习成本,提高学习的效率与精确性。人手运动功能虚拟康第依据康旦医学发展的须要和趋势,可以将触觉人机交互技术与人手运动功能相结合进行人手虚拟康宓。例如,可以将具仃力反馈功能的、能够供应主动运动、被动运动、助力运动和阻抗运动等多种康复训练模式的人手康亚交互装置的设计理论和方法与传感器进行集成,对
19、人手运动技能进行建模,模拟人手虚拟康史,从而通过视频捕获病人的人手运动,进行康复监督和建议.(5)工业领域,虚拟制造与设计在工业领域,可以通过翦丁人手的人机交互进行虚拟装配、产品设计等工作,从而可以节约成本,提高娴熟度和便利。(6)商业领域,包括消遣产品设计,商业展览,交互式橱窗,KTV点歌等领域都可以通过基于人手的交互设计提高互动性和新奇性、便利性。例如,非接触式瓦动橱窗,该个系统有四个摄像头,两个用手追踪手部的动作,两个用来追踪脸部和眼皓。经过该橱窗的行人,可以通过手势来获得商品信息六、人机交互的将来在人机交互领域,更加大胆的创新精神正在被唤醒,视预捕彩技术、语音识别技术、红外遥感技术、多
20、通道等等技术的整合发展,必定给人机交互技术的带来前所未有的突破。新的技术层出不穷,人机交互技术的发展将带给人们更多的科技技术的期盼和惊喜。在将来的计匏机系统中,将更加强调“以人为本”、“自然、和谐”的交互方式,以实现人机高效合作。概括的讲,新一代的人机交互技术的发展将主要围绕以下几个方面:1.集成化:人机交互将呈现出多样化、多通道交互的特点.桌面和非桌面界面,可见和不行见界面,二维与三维输入,干脆与间接操纵,语音、手势、表情、眼动、唇动、头动、肢体姿态、触觉、嗅觉、味觉以及键盘、鼠标等交互手段将集成在一起,是新一代臼然、高效的交互技术的一个发展方向。2.网络化:无线互联网、移动通信网的快速发展
21、,对人机交互技术提出J更高的要求。新一代的人机交互技术须要考虑在不同设备、不同网络、不同平台之间的无缝过渡和扩展,支持人们通过跨地域的网络(有线与无线、电信网与互联网等)在世界上任何地方用多种简洁的自然方式进行人机交互,而且包括支持多个用户之间以协作的方式进行交互。另外,网格技术的发展也为人机交互技术的发展供应了很好的机遇。3 .智能化:目前,用户运用键盘和鼠标等设省进行的交瓦输入都是精确的输入,但人们的动作或思想等往往并不很精确,人类语言本身也具有高度模糊性,人们在生活中经常习惯于运用大量的非精确的信息沟通。因此,在人机交互中,使计算机更好地自动捕获人的姿态、手势、语音和上下文等信息,r解人的意图,并做出合适的反馈或动作,提高交互活动的自然性和而效性,使人一机之间的交互像人一人交互一样自然、便利,是计算机科学家正在主动探究的新代交互技术的个重要内容。4 .标准化:目前,在人机交互领域,ISO已正式发布了很多的国际标准,以指导产品设计、测试和可用性评估等。但人机交互标准的设定是一项长期而艰难的任务,并随着社会需求的变更而不断变更。