《人机自然交互技术.ppt》由会员分享，可在线阅读，更多相关《人机自然交互技术.ppt（55页珍藏版）》请在三一办公上搜索。
1、人机自然交互技术,提纲,人机交互概述定义，内涵与外延研究内容历史、现状人机自然交互技术我的工作,HCI是什么？,用户：我又错了？用户必须不断地适应计算机，而不是相反！,人机交互,定义（ACM,1992）Human-computer interaction is a discipline concerned with the design,evaluation and implementation of interactive computing systems for human use and with the study of major phenomena surrounding the
2、m.一门研究人类所使用的交互式计算系统的设计、实施、评估及相关主要现象的学科,HCI简化模型,控制信息,显示信息,HCI 目标,使得用户在完成任务时，能够达到安全性(Safely)有效性(effectively)高效率(Efficiently)愉悦感(Enjoyably)高可用性(Usability),高可用性(Usability),易于学习如何使用Ease of learning，free of training用户可高速执行任务High speed of user task performance低的用户错误率Low user error rate用户的主观满意度Subjective us
3、er satisfaction对用户持久的吸引力User retention over time,HCI主要研究内容(ACM 1992),HCI研究内容,N 人机交互的本质N1 人机交互(元-)模型U 计算机的应用及情景U1 人类社会组织和工作U2 应用领域U3 人机适应(Fit and Adaptation)H 人类特征H1 人类信息处理H2 语言，通信与交互H3 工效学(Ergonomics),HCI研究内容(续),C 计算机系统和界面构建C1 输入和输出设备C2 对话技术C3 对话风格GenreC4 计算机图形学 C5 对话架构(Architecture)D 开发过程D1 设计方法 D2
4、 实施技术D3 评估技巧D4 实例系统和案例研究P 项目展示和测试,U2 HCI应用领域,面向文档的应用文字处理，文档格式化，插图，电子表格，超文本面向通信的应用email,视频会议,电话/声音信息系统 设计开发环境类开发环境，CAD/CAM在线帮助和指南,多媒体信息亭连续控制系统过程控制系统，虚拟现实系统，仿真器，座舱，视频游戏嵌入式系统复印机，电梯，消费电子，家用电器(TVs,VCRs,微波炉.),U3 人机适应,实现人机适应的可变化技术手段自适应系统的本质，适应冗余系统的错误本质，用户对例程改进的经验发现，成功系统的关键点系统选择：系统采用理论系统适应：定制与裁剪技术用户选择：用户和系统
5、特性的兼容性用户适应：易学习，训练方法（在线指南），与系统设计的关系用户指导：帮助技术，文档，错误处理技术,H1 人类信息处理,认知机理模型符号主义，连接主义，工程模型诸多认知过程的现象和理论记忆，知觉，运动技巧，注意和警惕，问题求解，学习和技巧获得，动机等用户的概念模型用户行为模型人类的多样性（包括残障人士）,C1输入和输出设备,输入设备特定设备的结构，性能特性，残障人专用设备，手写，手势，语音输入，眼动跟踪，其他设备（如脑电扫描设备，3D扫描仪，其他测量生物信号的设备）输出设备特定设备的结构，向量式设备，光栅设备，帧缓存，图像存储，事件处理，残障人专用设备，声音和语音输出，3D显示器，运动
6、等等输入输出设备特性重量，便携性，带宽，感觉模态虚拟显示设备,C2 对话技术,对话输入输入目的类型(如选择，具体参数指定，连续控制）输入技术键盘技术(e.g,commands,menus)基于鼠标的技术(e.g.,选择)基于pen的技术(e.g.,字符识别，手势等)基于语音的技术对话输出输出目的如：传达精确信息，信息摘要，过程展示，信息可视化输出技术滚动条显示，窗口，动画，鱼眼显示，画中画等屏幕布局问题焦点，杂乱，视觉逻辑,C2 对话技术(续),对话交互技术对话种类和技术文字技术，表格填充，菜单选择，图标和直接操作，自然语言等对话中的导航和指向，错误管理多媒体和非图形对话语音输入/输出，语音信
7、箱，视频信箱，主动文档，视频磁盘智能代理，AI多人对话,HCI简史,D4 实例系统和案例研究,Why History?,读史使人明智理解我们从哪里走过来的，有助于指明我们继续前进的方向！Understanding where youve come from can help a lot in figuring out where youre going.领域知识意味着对其历史的准确评价！Knowledge of an area implies an appreciation of its history.,HCI范式(Paradigms),里程碑式的理论框架或科学世界观如物理学上的亚里士多德时
8、代、牛顿时代、爱因斯坦时代对HCI历史的理解，可以通过对计算机应用范式变迁的认识来完成HCI的历史，基本上就是计算机发展的历史！,计算机的诞生,回溯数字计算机的概念在18世纪提出在20世纪40年代技术上称为现实早期模拟计算机1943年1月:Mark I，自动顺序控制计算机在美国研制成功，被用来为美国海军计算弹道火力表1943年12月:Alan Turing参与设计制造的最早的可编程计算机Colossus在英国推出，目的是为了破译德国的密码，每秒能翻译大约5000个字符,ENIAC，1946,开始研制于1943年，完成于1946年2月15日Electronic Numerical Integra
9、tor And Computer电子数字积分计算机第一台真正意义上的数字电子计算机 占地面积170平方米，30个操作台，约相当于10间普通房间的大小，重达30吨，耗电量150千瓦，造价48万美 元。它使用18000个电子管，70000个电阻，10000个电容，1500个继电器，6000多个开关每秒执行5000次加法或400次乘法，是继电器计算机的1000倍、手工计算的20万倍 负责人是John W.Mauchly和J.Presper Eckert,ENIAC,用途：计算弹道和氢弹的研制。,P1:V.Bush&Memex 1945,促成了美国NSF,ARPA等的创立“As We May Thin
10、k”1945年Memex device理论模型/概念能够存储所有记录、文章和通信内存巨大按索引,关键词,相互参照获取信息相互连接管理(提出的概念非常类似于Hypertext),Memex 1945,P2:J.R.Licklider,心理学家计算机科学家1960年,发表了“人机共生”(“man-computer symbiosis”)的论文计算机如何更好的帮助人做事情1962年，和W.Clark发表论文OnLine Man Computer Communication，讨论分布式社交行为的全球网络概念Batch processing time-sharingInternet 先驱人物之一,P3:
11、I.Sutherland&SketchPad 1963,SketchPad“编程”系统 信息论先驱Shannon的学生1963 PhD thesis at MIT1988 Turing Award可以通过使用手持物体（如光笔）直接在显示屏幕上创建图形图像。可视的图样随即被存入计算机内存，它们可以被重新调用，并同其他数据一样可以进行后期的处理。CAD先驱，后期致力于设计头盔式3D显示器（1967年开始）,P3:Ivan Sutherland,Sketchpad是第一个可以在显示屏幕上直接构造图形图像的系统，不用再通过键盘向计算机输入代码和公式更具革命性的是，它考虑到了在显示屏幕上作某些改动后，存
12、储在计算机中的信息可以被改变和更新。Sketchpad开创了计算机辅助设计的一个新领域，即我们所熟知的CAD,新的范式：Video Display Units,视频显示部件VDUSutherlands Sketchpad是里程碑式的系统计算机从此可以用于信息可视化和数据操作之前：主要用于数据计算,P4:Douglas Engelbart,道格拉斯恩格尔巴特“人机交互”大师 因发明鼠标而闻名，鼠标最初的名字：显示系统的X-Y位置指示器（19631965）,P4:Douglas Engelbart,鼠标器只不过是他所有成果中的一个小发明。但他提出的那些气魄辉宏的计算机理论却远远不及他发明的鼠标器广
13、为世人所知晓发明涉及视窗、文字处理系统、在线呼叫集成系统、共享屏幕的远程会议、超媒体、电脑交互输入设备、群件，层次超文本,多媒体,鼠标20世纪60年代初，他就发表了一篇题为放大人类智力(Augmenting the Human Intellect)的文章，提出了把计算机作为人类智慧放大器的观点1997年，ACM图灵奖,P5:Alan Kay,最早的图形用户界面(GUI)电脑Alto在施乐PARC，与同事构建了Alto,成为Macintosh和Windows的先驱2003年度图灵奖得主(for OOP)发明了“Object Oriented”这个术语，第一个完全面向对象的动态计算机程序设计语言S
14、malltalk的发明者Smalltalk源自Alan Kay“使用一组独立的互相通信的对象来解决问题”的思想，它可以说是目前主流语言C+，Java和C#的前身。1972年，他来到施乐PARC，开始将Smalltalk作为一种儿童教育工具,P5:Alan Kay,个人计算之父1968年，提出Dynabook设想“Notebook sized computer loaded with multimedia and can store everything”将是一款如同书籍般，既为可携式且具互动功能的多媒体个人式电脑，它的主要规格如下：1.大小如A4纸张之易携带；2.显示器的解析度必须优于报纸文字
15、；3.必须具有声音输入的功能且易操作；4.必须能够网路化和作无线通讯,新的范式：个人计算,因易于使用而更强大小而强大的计算机器为个人用户而做互联和分时的重要性先驱者Kays Dynabook，1968年IBM PC，1970年代文本和命令方式,具有GUI的PC,Xerox PARC-mid 1970sAltoBravo WYSIWYG 文本编辑.BravoX Microsoft Word的祖先.Laurel 电子邮件.Neptune 磁盘文件管理.Press 文件打印.Sil 画图程序.,Xerox Star-1981,第一台为商务应用设计的商用PC具有了桌面电脑的主要特征Pointing,W
16、YSIWYG,high degree of consistency and simplicity采用了可用性工程方法有原型设计和分析好用性测试，迭代式的改进,Xerox Star,天才的概念，商业失败$15k costClosed architectureLacking key functionality,1981 IBM PC,1981年8月12日，IBM正式发布了历史上第一台PC，从此人类就进入了个人电脑时代！IBM PC改变了我们的生活和工作方式 IBM PC之父：埃斯特利奇，13人小组,Apple Lisa-1982,Based on ideas of Star更加个人化，而不全是办公
17、工具LisaWrite:字处理LisaCalc:表格LisaGraph:图形LisaList:规划管理工具LisaProject:项目计划LisaDraw:绘图程序LisaTerminal:现代通信软件失败,Apple Macintosh-1984,并非先驱，但非常聪明的拷贝Not trailblazer,smart copier优点Aggressive pricing-$2500界面友好支持第三方应用高质量图像和激光打印高质量的应用系统，MacWrite、MacDraw新的应用：Pagemaker，Word，Excel,新的HCI范式：WIMP,Windows,Icons,Menus,Poi
18、nters并行操作Can do several things simultaneously图形用户界面实例Xerox Alto,Star;early Apples,P6:Ben Shneiderman,Dr.Shneiderman 的著作有软件心理学：计算机和信息系统中的人类要素，1980发明了直接操作DM(Direct Manipulation)概念在1983年首次设计了选中条目点击转到另一页的方法创立并任马里兰大学HCI实验室主任,新的范式：直接操作Direct Manipulation,直接操作的特点对象可见渐进动作和快速反馈可逆性鼓励探索使用动作代替语言对动作进行句法修正WYSIWYG
19、What You See Is What You Get.,P7:Donald A.Norman,20世纪60年代他就是一流的认知心理学家，是认知科学的开拓者之一，发展了HCI应用科学，涉及到认知学、工程和设计，在HCI方面做出了大量创造性的成就，提出的“以人为中心的设计”概念。“Design of Everyday Things”已成了设计人员的必备，以人为本，可用性、易用性，还有情感影响，新的理念指导着很多的设计Emotional Design:Why we love(or hate)everyday things情感化设计强调情感在产品设计中的重要作用,新的范式：多模态用户界面,模态是人
20、类交流的通道不仅仅是感官例如：语音（听觉通道）和唇读（视觉通道）多模态融合多通道同时使用共同协作完成输入/输出功能,P8:Ted Nelson,Hypertext（超文本）,hypermedia（超媒体）等概念的(合作)提出者,新的范式：Hypertext,WWW，1993超文本将信息看作互联的节点，而不是线性流Think of information not as linear flow but as interconnected nodes源头Nelsons hypertextBushs MEMEX非线性的浏览结构Non-linear browsing structure,P9:Mark
21、Weiser,提出普适计算是21世纪的计算模式Mark Weiser于1988年在Xerox PARC的计算机科学实验室首次提出了这个概念无处不在的计算描述了具有丰富计算资源和通信能力的人和环境之间关系的场景，能够在需要的何时何地都可以提供信息和服务，这个环境与人们逐渐地融合在一起。使得计算机“Invisible”，“最好的仆人是看不见的仆人”还提出了”宁静技术calm technology”的概念充分利用人体丰富多彩的感知和动作器官，以及人们与日常物理世界打交道时所形成的自然交互技能来获得计算机提供的服务,人机自然交互技术,HCI简史人适应计算机的历史！1960年代一70年代：键盘，字符界面
22、1980年代一90年代：鼠标，图形界面目前仍然以鼠标，图形界面为主，书写、听觉等为辅未来计算机适应人的未来！到2015年左右，我们会如何使用计算机？下一代自然人机界面会是什么？需要大家的想象力！,人机自然交互技术,人们对于现存的人机交互方式并不满足，因为人与人的交互不是通过人手操作来实现的，而是通过听觉与视觉以语言、表情、手势和体势进行的。人们期望新一代的人机交互能像人与人交互那样自然、准确和快捷。于是在20世纪90年代人机交互的研究进到了多模态的阶段，称为人机自然交互(Human-Computer Nature Interaction,HCNI或Human-Machine Nature In
23、teraction,HMNI)。人机自然交互与前几代人机交互的方式有本质上的差别，这是一种人机交互的革命，是摆脱人手操作，赋予机器以智能，通过听觉和视觉通道来实现的新一代交互方式。人机自然交互的基本特征是只动嘴不动手，赋予计算机听觉与视觉智能，使计算机能认识交互的对象，理解以语言形式表达的说话内容，理解交互对象的情感，按人的要求去做，或回答人提出的问题，达到交互的目的。,人机自然交互技术,主要功能识别交互对象，即知道在与谁对话，以称为说话人识别，这可以由视觉和听觉信息通道获取的知识中进行识别和判断；要理解对话的内容，以便执行人发出的指令，或回答人提出的问题，这是主要由听觉信息通道获取知识，但由
24、于语言本身是双模态的，由视觉信息通道获取的唇动知识对某些语音识别是非常重要的；要理解对方的情感状态，这对于理解对方的对话内容、思想、意图都是非常重要的；要能对说话人进行定位与跟踪，仿如人与人交流时，总是注视对方，看对方的眼神，多人会话还能区分说话人，并注视着说话人。,人机自然交互技术,特征在交互方式上，输入与输出是多模态的，正如人与人交互一样，至少是听觉与视觉双模态的；在交互内容上，包括人机的对话、情感的表现；在交互界面上，将采用智能代理界面，以完成人与计算机的多模交互，智能代理界面就是这种交互的媒体，它应该是开放性、协调性、分布性同时也是人性化服务的；在交互环境上，应能营造2维和3维的真实的
25、虚拟环境和虚拟真人，完成虚拟环境的重要，使人机的交互环境好像人与人交互的环境一样。,某个侧面、一种可能,拟人的类比人和人之间如何交互？看、听、读、说、写、触、嗅我们的目标:改变目前机器的准聋哑盲状态,使其具有视、听、触、嗅等感觉、知觉能力具有学习、记忆乃至情感等认知能力具备说话、绘画等表达能力本体感觉、自我意识 比尔盖茨曾预言，电脑毫无表情的时代即将结束，21世纪将是情感电脑大行其道的时代。,让人机之间的交互能够像人与人交流一样自然！,当有那么一天？,当有一天，计算机达到了这一步，那将是什么样的情景呢？我们期待着驯服的智能工具的出现，我们让它做什么，它就会很高兴地去做什么。如果不驯服呢？你让它
26、去做，它不光不去做，甚至表示愤怒，那又是一种什么样的结果呢？在国际上存在着两种完全不同的认识：一种看法是，人脑的语言不是数学家的语言，智能信息处理再高级，也不能与人脑匹敌；人的思维有很多方面不能形式化，因此不可能完全用机器来实现。另一种看法是，认为机器比人更聪明；在活的自然理智生命和人工制造的装置之间，不存在原则的差异；正像猿进化到人，猿就失去了对人的控制，因为人的进化对猿更高级；同样，人也许也要这样被迫服从于起机器；或许这些聪明的机器人会把人驯养起来，成为它的低级发展形态的回忆。（恐怖的事情）,我要做的工作,口形的跟踪比较精确的把口形的轮廓实时提取出来。虚拟人口形的模仿 虚拟人根据提取出来的口形轮廓实时地模仿人的口形。,谢谢！,
