《大数据背景下的信息分析课件.ppt》由会员分享，可在线阅读，更多相关《大数据背景下的信息分析课件.ppt（25页珍藏版）》请在三一办公上搜索。
1、1.1 信息分析的内涵,1.1.1 信息分析的概念 信息链（Information Chain）角度的观察事实符号数据信息知识情报（智慧）信息源信息收集信息整理信息分析信息产品信息利用 概念角度的说明信息分析作为一种职业（profession），在中国语境下的进化：从科技信息扩展到包括科技信息、经济信息、社会信息、文化信息、政治信息、军事信息等众多内容对象从文献信息扩展到包括文献信息和非文献信息的各类信息，社会调查、数据挖掘、隐性知识（tacit knowledge）的开发得到强调范围和应用领域已超出了情报界，成为信息咨询与服务业的重要组成部分,2023/1/19,1,相关的其他概念信息处理（
2、information process）、数据分析（data analysis）、数据处理（data process）、政治军事情报（military or political intelligence）、工商情报（business intelligence）、技术跟踪（technology tracking）、技术预见（technological foresight）“大数据分析”（Big Data Analysis）、“数据分析”（Data Analytics）、“海量数据分析”（Massive Data analysis）、“商务智能”（Business Intelligence）、“社
3、会计算”（Social Computing）,2023/1/19,2,1.1.2 信息分析与相关研究的关系 信息分析与科学研究研究对象：社会信息/自然现象和社会现象研究目的：提供人们决策和行动的情报和智慧（工具主义）/认识、揭示自然界、社会和人类思维的规律（本质主义）研究功用：信息分析直接为科学研究服务研究性质：商业性、经营性/公有性、无私利性 信息分析与软科学研究都涉及信息的分析和加工，都为决策和行动提供依据和参考信息分析的研究范围更加广泛，而软科学则侧重对策研究软科学研究以信息分析为基础，而信息分析借鉴软科学的对策研究方法是一种趋势,2023/1/19,3,信息分析与咨询服务基础活动都是信
4、息的采集、加工、传递和反馈，为客户决策和行动提供智力支持服务咨询服务更强调专业性（professional），更注重依赖咨询人员的专业经验和具体研究去解决客户的实际问题信息分析正迅速融入咨询业而形成信息咨询业 信息分析与竞争情报竞争情报是信息分析中面向企业的信息研究，范围较信息分析狭窄竞争情报以市场竞争为内容，以竞争对手分析为核心，具有强烈的对抗性和针对性,2023/1/19,4,1.1.3 信息分析的抽象工作目标从混沌的信息中萃取出有用的信息从表层信息中发现相关的隐蔽信息从过去和现在的信息中推演出未来的信息从部分信息中推知总体的信息运用相关信息对事物的状态、性能和效果进行评价,2023/1/
5、19,5,1.1.4 信息分析的产生与发展 信息分析的产生背景提高科技劳动效率的需要科学技术管理科学化的需要大科学时代科学研究规模的大型化、跨学科、分散化的特征，对科学技术的协调管理提出了迫切需要，而有效的管理必须以信息的搜集和研究为基础,2023/1/19,6,随着科技、经济、社会之间关系的日益密切，以及支持个人、组织、国家竞争的信息需求之日益迫切，信息分析突破了科技信息分析的范围，形成了众多分支领域，成为现代信息咨询业的重要组成部分；随着大数据、云计算等技术的发展，科学研究进入数据密集型计算的第四范式，信息分析在大数据背景下，以数据为中心、以数据为驱动的特征越来越突出。,中国信息分析的发展
6、历程1956年中国科学院科学情报研究所成立，1958年，中国科学院科学情报研究所更名为中国科学技术情报研究所，部委级和省市级的情报研究机构纷纷建立，形成了条块结合、纵横交错，为科技发展和领导决策服务的专职情报研究体系20世纪80年代以来，突破传统的科技领域，向更广泛的社会领域渗透发展1983年，情报研究专业委员会成立（后改为信息研究与咨询专业委员会、信息咨询专业委员会1995年，中国科学技术情报学会竞争情报分会成立，即：中国竞争情报研究会各类信息中心、咨询公司、信息服务公司、网络信息服务商、电子商务公司和政府中的经济、政策研究机构纷纷成立，并不同程度地加入到信息分析行列国外著名的市场调查研究机
7、构、管理咨询公司、数据库服务商等纷纷登陆中国,2023/1/19,7,信息分析在中国形成了由不同性质机构（官方、半官方、私营）组成的、涉及不同领域和层次的比较完整的体系，形成了一个规模庞大、增长迅速的产业。在数字化、全球化背景下，为各种层次的竞争、决策和行动提供情报智力支持的信息分析，从发展趋势上来看，整体上呈现出服务的市场化、内容的专深化、手段的智能化和管理组织的规范化等趋势。,2023/1/19,8,相关链接1-1：美国40多所高校设立数据分析相关专业硕士项目,2023/1/19,9,科技信息分析,1.2 信息分析的领域,2023/1/19,10,经济信息分析,2023/1/19,11,社
8、会信息分析,1.3.1 方法与方法论 方法（Method）是指人们为了解决理论的、认识的、实践的、日常生活的等特定任务或为了达到一定目的所选择和采取的手段、途径和方式的总和 方法论（Methodology）是指关于方法的本质及其发展规律的理论或学说方法论研究：方法的性质、作用和发展规律不同方法之间的差别和联系每一种方法在方法系统中的地位正确运用各种方法所必须遵守的基本程序和原则等,2023/1/19,12,1.3 信息分析方法论,2023/1/19,13,1.3.2 信息分析的方法来源1.3.3 信息分析方法的体系结构,2023/1/19,14,1.4 信息分析职业人员理想素质结构,在两类知识
9、、两种思维、两类方法之间保持必要的张力,1.4.1 两类知识,信息分析既离不开显性知识，也离不开隐性知识 隐性知识对信息分析的意义主要表现在：能使信息分析人员在不完全认识部分或细节的情况下认识整体隐性知识有利于信息分析人员从已有研究成果和自己的观察和实验中不断获得新的“暗示”，从而不断提出新问题，不断把研究向前推进隐性知识的获得更多地靠个人的亲身实践，这提醒信息分析人员除了掌握信息分析相关的理论方法等显性知识外，还要通过职业实践亲身感悟和获取相关的隐性知识要求信息分析人员高度重视团队的价值，重视核心成员的作用,2023/1/19,15,1.4.2 两类思维 发散性思维非习常性、无规范甚至是无规
10、律的思维形态：跳跃式的联想和想象、灵感、直觉等等 收敛性思维指诸如逻辑推理、数学演算等，按一定规则归纳或演绎，有可靠的程序和步骤 信息分析既需要发散性思维，也需要收敛性思维在解决问题时，往往先靠发散性思维得出各种各样的可能性假设或设想，再依靠收敛性思维进行具体的信息加工分析，得出明确的结果收敛性思维进行常规信息分析的基本能力；而发散性思维则是发现新的目标，解决不常见的甚至是只偶然出现的特殊问题或重大难题的另一种能力,2023/1/19,16,1.4.3 两类方法科学方法的运用趋势从定性奔向定量，又在更高层次上出现了定量到定性的回归 定量研究理论基石是实证主义，强调在研究设计、数据收集、结果的处
11、理与解释上必须具备严格的形式强调对事物进行量化的测量与分析强调对研究对象进行人为干预，创设实验条件主要采取假设验证的研究方式形成了包括严格的抽样技术（随机抽样）、量化的资料收集技术（调查、实验）与以数理统计为基础的资料分析技术（描述统计、推断统计）在内的一套完整方法体系。,2023/1/19,17,定性研究哲学基础主要是后实证主义、批判理论与建构主义在研究目的上，更重视对事实的解释性理解，强调“事实”本身必须通过研究者主观的诠释才可能揭示其意义在研究情景上，更强调研究情景的自然性，主张在现有的环境下开展研究在研究策略上，主张在研究前不对研究问题作详尽的假设，只提出大体的研究思路，在研究的过程中
12、随时根据新问题与新信息调整方向，修订思路在具体的研究方法上，更多地采用访谈、观察、档案分析等方法，强调在研究过程中研究者自身的体验，对文字化的描述进行以归纳分析为主的处理在研究者与被研究者的关系上，反对定量研究的价值中立原则，主张研究者应当积极与被研究者交往，并认为这是研究不可缺少的部分,2023/1/19,18,1.4.4 必要的张力 信息分析需要科学（S）+艺术（A）的双重素质S代表进行信息分析的“硬功夫”，包括良好的显性知识、收敛性思维和定量方法A代表进行信息分析的“软功夫”，包括良好的隐性知识、发散性思维和定性方法“软功夫”在信息分析中的作用至少体现在：对信息分析问题的识别和方向判断理
13、论框架的形成对方法、工具或模型的选择需要背景知识和经验才能理解、解释所得到的数据或结论研究过程中的团队合作,2023/1/19,19,相关链接1-2：罗兰贝格的行为规范相关链接1-3：麦肯锡公司的用人之道,1.5.1 大数据的内涵,2023/1/19,20,1.5 大数据背景下的信息分析,1.5.2 大数据的内容框架 数据来源科学研究产生的数据、web数据、企业应用中包含的数据、感知数据 基础设施提供大数据分布存储和并行计算的硬件基础设施和平台:基于普通商用服务器的集群、结合其他类型的并行计算设施一起工作、云计算平台 系统软件分布式文件系统与数据查询管理系统，采用NoSQL的非关系型的数据管理
14、查询模式大数据并行计算模式和系统，目前主流的是Hadoop MapReduce技术,2023/1/19,21,分析方法Paluo Goes教授认为大数据分析可包括可视化分析、探索性分析、解释性分析、预测性分析以及规范性分析几方面，常用的分析方法有聚类、社会网络分析、关联规则挖掘、统计学方法、计量经济学方法、机器学习等江信昱等对大数据的方法进行了分类梳理，包括面向统计、面向挖掘、面向发现、面向预测和面向集成五个方面 并行化算法已有机器学习和数据挖掘算法需并行化设计和改造 创新应用,2023/1/19,22,1.5.3 大数据对信息分析的影响 研究范式的演进范式（paradigm）是一种对本体论、
15、认识论和方法论的基本承诺，是科学家集团所共同接受的一组假说、理论、准则和方法的总和美国计算机科学家吉姆格雷认为，科学研究的范式经历了科学实验、模型归纳和模拟仿真的阶段，进入了第四范式，即数据密集型科学范式数据密集型科学的研究对象是科学数据，将理论、实验和计算机仿真统一起来，数据由仪器收集或仿真计算产生，利用软件处理，依靠计算机存储，并利用数据管理和统计工具分析数据。数据密集型科学由三个基本活动组成：采集、管理和分析作为典型的信息密集型研究活动，信息分析在大数据的背景下必将按照数据密集型科学范式，以数据为驱动进行问题提出、问题界定、问题分析和问题解释,2023/1/19,23,研究方法论的更新舍
16、恩伯格指出，大数据带来了三大思维变革，即要全体不要抽样，要效率不要绝对精确，要相关不要因果。这三大思维变革如果更具体化地落实到科学方法论上，必然会对传统的科学方法论产生革命性的转变，信息分析亦不例外 研究质量的提升大数据的两个重要特征是能够进行前瞻性预测和实时精准的管理，例如，亚马逊的“预判发货”。大数据带给信息分析的除了思维方式的转变、技术方法的更新外，其直接作用就在于促使信息分析研究质量的提升,2023/1/19,24,相关链接1-4：“历史文献大数据”的相关研究相关链接1-5：从数据到洞察力(From Data to Insights)情报分析员的“意义环概念模型”,2023/1/19,25,
