《大数据时代下专科教育的改革毕业论文(设计).doc》由会员分享，可在线阅读，更多相关《大数据时代下专科教育的改革毕业论文(设计).doc（13页珍藏版）》请在三一办公上搜索。
1、大数据时代下专科教育的改革摘要：随着在网络信息化时代的日益普遍下，移动互联、社交网络、电子商务等大大拓展了互联网的疆界和应用领域，我们正处在一个数据爆炸性增长的大数据时代，大数据在社会经济、政治、文化以及教育，人们生活等方面产生深远的影响，大数据时代对人类的数据驾驭能力提出了新的挑战与机遇。而在这样的一个大时代背景下，计算机教育已不能在一味的讲解技术，讲解原理，这会对学生未来的出路照成一定的障碍。大数据作为一个很好地视角和工具，从资本角度上来看，从其拥有的数据规模以及数据的活性和每家公司能运用、解释数据等的能力，你能看出这些公司的核心竞争力，而这几个能力正是商业运营所关注的点。所以对于互联网教
2、育，我们要有前瞻性，由于互联网互动性的诞生，我们更需要的是综合性的互联网教育，而不再是单一的技术教育。关键词：大数据时代 互联网教育 专科教育改革AbstractAs under the popularity of the network information age, Mobile Internet, social networking and e-commerce greatly extend the boundary of the Internet and applications, We are in a data explosion era of big data, big dat
3、a in the social economy, politics, culture and education, and have significant influence on peoples life, etc, big data era of human ability to put forward the new challenges and opportunities。In such a big background, the computer technology, the interpretation of education has not been able in bli
4、ndly interpretation principle, which is the future of students according to certain obstacles.Big data as a very good perspective and tools, from the perspective of capital, from its data size and data of activity and each companys ability to be able to use and interpret data, can you see the compan
5、ys core competitiveness, and this a few ability is commercial operation points of concern, so for the Internet education, we should have forward-looking, due to the birth of the Internet interaction, we need more of is a comprehensive Internet education, and education is no longer a single technolog
6、y.Key words：Big data era Internet education College education reform目录1、大数据的由来12、大数据带给我们的改变13、大数据的最新动态24、在大数据时代下教育的改革35、在大时代下，学生应该学习的技能知识45.1 Hadoop55.2 HPCC55.3 Storm65.4 Apache Drill65.5 RapidMiner75.6 Pentaho BI76、大数据的未来以及学生的未来96.1 国家政策下的未来发展96.2 未来学生的发展101、大数据的由来进入2012年开始以来，大数据（Big Data）一词越来越多地被
7、提及与使用，人们用它来描述和定义信息爆炸时代产生的海量数，它已经出现过在纽约时报、华尔街时报的专栏封面，进入美国白宫网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国君证劵、银河证劵等写进了投资推荐报告，大数据时代正在来临。有人说21世纪是数据信息时代，移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域。我们在享受便利的同时，也无偿贡献了自己的“行踪”。现在互联网不但知道对面是一只狗，还知道这只狗喜欢什么食物，几点出去遛弯，几点回窝睡觉。我们不得不接受这个现实，每个人在互联网进入到大数据时代，都将是透明性存在。各种数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现
8、在企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。正如纽约时报2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。2、大数据带给我们的改变从技术上来看，大数据1与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行数据处理，它必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布
9、式数据库、云存储或虚拟化技术。大数据所表现出来的4大特点我们成为4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）2。此外，我们所说的数据又并非单纯指人们在互联网上发布的信息，它包括了全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化等，这些随之而来就产生了海量的数据信息，而这些海量数据则需要一个庞大的系统进行整合3。曾经微软史密斯这样说“给我提供一些数据，我就能做一些改变。如果给我提供所有数据，我就能拯救世界。”在未来的世界里我们将活着一个透明的世界里，我们的动态，行踪
10、都可以由数据组成，所有企业的经营模式，服务模式，都将发生改变，但请别害怕，你要相信所有新技术的产生都是为了让我们的生活更方面，更快捷！3、大数据的最新动态大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。借着大数据时代的热潮，微软公司生产了一款数据驱动的软件，主要是为工程建设节约资源提高效率。在这个过程里可以为世界节约40%的能源。抛开这个软件的前景不看，从微软团队致力于研究开始，可以看他们的目标不仅是为了节约了能源，更加关注智能化运营。通过跟踪取暖器、空调、风扇以及灯光等积累下来的超大量数据，捕捉如何杜绝能
11、源浪费。从海量数据中“提纯”出有用的信息，这对网络架构和数据处理能力而言也是巨大的挑战。在经历了几年的批判、质疑、讨论、炒作之后，大数据终于迎来了属于它的时代。2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。大数据时代已经来临，它将在众多领域掀起变革的巨浪。但我们要冷静的看到，大数据的核心在于为客户挖掘数据中蕴藏的价值，而不是软硬件的堆砌。因此，针对不同领域的大数据应用模式、商业模式研究将是大数据产业健康发展的关键。我们相信，在国家的统筹规划与支持下，通过各地方政府因地制宜制定大数据产业发展策
12、略，通过国内外IT龙头企业以及众多创新企业的积极参与，大数据产业未来发展前景十分广阔4。4、在大数据时代下教育的改革在大数据时代教育不能再仅仅局限于专业科目以及技能的教育，而是应该发展为一个多元教学的教育体系，学生在学习专业学科内容的同时，也需要学习当下最流行的软件以及其他的一些知识，以至于让这些学生不会被时代所淘汰，也能让这些学生更快的融入社会。在大数据时代，企业不再仅仅只需要某一专业技能好，而某一方面却没有知识的学生，即使人的精力是有限的，但是我们必须要需要将有限的精力投放到最有效的事件上，沟通能力强，专业技能好，不再是学生单一的追求，更多的则是要学会综合性的知识。在大数据时代到来的同时，
13、国务院也提出了一个新的名词“互联网+”，这个词语的提出表现了所有的传统行业将重新洗牌，发展出一个崭新的格局，这也包括了教育行业。我们看到这个格局的前缀词是“互联网”，这也就表示这信息时代，计算机行业的人才将出现大的空缺，而能够补上这个空缺的人，不是仅仅只有技术的计算机行业的高手们，更多的是需要有一定计算机构架知识，通晓计算机原理并拥有某些特定的知识（如法律，营销，经济等）或经验多方位人才。当然这不是说社会就不在需要纯技术型人才了，相反，社会非常渴求这一内的人才。但，不是人人都能成为科学家，也不是人人都能成为大神，所以更多的，普通的对技术这条路走不下去的人就需要找到一个合适的站立点来寻找自己的出
14、路，而这个出路就需要学校进行教育体制的改革，不在局限于，某专业就必须学习自己本专业的课程，而忽略了社会所需要我们具备的一些特殊的课程。比如我就以我自身的专业计算机为例，详细讲解一下在教育改革下应该注意的一些方法：1、 刚上大一，每个学生的水平都是参差不齐的，但每个学生都是从最基本的OFFICE教程开始，并花用了大量课时给学生讲解计算机的起源与发展。其实这些课程完全可以放入学生的自学教材中，只需要在期中或期末对学生的自学科目进行考核即可，这样既可以锻炼学生的自学能力，又能节约出课时开展一门新的学科。2、 各个专业共通课程太多。虽说计算机行业的基础教程基本属于一致，但是各个专业之所以取名不同，就是
15、表示了各个专业的侧重点不同，那么在这种情况下，能否对每一个专业的基础教程都有一个侧重点，而不是所有专业都千篇一律的学习病毒的起源，病毒的发展，那些病毒对以前的XP，2003所造成的损害，与其这样还不如学习在最近发现的病毒的解决方法以及程序的编写。这样既可以调动学生的积极性又能对学校教师进行考核，并且让学生明确的知道自己所学专业的方向，从而找到自己的定位。3、 计算机行业是一个实时变化的行业，上一秒你可能靠某项技术成为亿万富翁，下一秒其他人可能就破译了你的技术，从而使你破产。但这也正提醒了我们需要随时随地补充自己的计算机知识，从而使自己不被社会淘汰，这一点同样适用于学校。对于学校而言，不要再单一
16、的教授学生以前的知识，先考虑一下它是否适用于现在的社会，对于学生来说是否出来了之后就不在适用，以前的知识既然成为了以前那么对于现在的不想成为纯技术型人才的学生来说那就只是需要了解的知识而已，更多的则是注重于综合性的发展。4、 专科与大学本科最大的区别就在于太过专注技术而忽略了一部分的理论，这些不算特别重要的理论知识，不一定需要专门的课时来进行授课，但还是应该开设选修课程，让有兴趣的学生能够了解这些知识，而不仅仅只把自己定位在专科生这个领域里。同样我们所开设的选修课并不仅仅只是为了丰富学员的校园生活，更要做到传授知识的作用，所以不仅是计算机的理论知识，包括营销策划、广告推广、劳动法律讲坛、网络经
17、济等实用课程更是应该在选修课中开设起来，更多不同的专业的学生选择自己有兴趣，并能帮助到自己的课程。最后，我们回归到大数据时代来，这个时代需要大量的数据处理员，需要精通网络营销，精通各行各业的知识，同时具备互联网知识的人才来带动传统行业的发展，这些知识不是简单的学习便足够的，更需要长年累月的积累，但是对于刚刚入学的大学生们来说，这表示着机遇，如果学校能够给予他们一定的学习这些知识的平台，他们便能更快更好的展现自己的价值，也给学校创造了一定的资源。5、在大时代下，学生应该学习的技能知识大数据和大数据分析的产生，使他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其
18、他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。而我们在大数据时代生活的计算机专业的学生，就必须学会如何捕捉数据甚至是要捕捉到有价值的，对企业有用的数据，只有这样，才能让我们在公司中发挥更重要的作用，才能对自己的未来进行进一步的规划。以下便是现在国内外对于收集数据，处理数据最实用的6个参考软件：5.1 Hadoop5Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对Hadoop失败的节点重新分布处理。Hadoop
19、 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常
20、快。高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C+。5.2 HPCCHPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑
21、战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。该项目主要由五部分组成：1、高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;2、先进软件技术与算法(ASTA)，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;3、国家科研与教育网格(NREN)，内容有中接站及10亿位级传输的研究与开发;4、基本研究与人类资源(BRHR)，内
22、容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期 的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支 持这些调查和研究活动;5、信息基础结构技术和应用(IITA )，目的在于保证美国在先进信息技术开发方面的领先地位。5.3 StormStorm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包
23、括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。Storm有许多应用领域：比如实时分析、在线机器学习、不停顿的计算、分布式RPC（远过程调用协议，一种通过网络从远程计算机程序上请求服务）、 ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。5.4 Apache Drill为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源
24、项目。Apache Drill 实现了 Googles Dremel.据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助
25、支持广泛的数据源、数据格式和查询语言。5.5 RapidMinerRapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。RapidMiner的功能和特点1、免费提供数据挖掘技术和库2、100%用Java代码(可运行在操作系统)3、数据挖掘过程简单，强大和直观4、内部XML保证了标准化的格式来表示交换数据挖掘过程5、可以用简单脚本语言自动进行大规模进程6、多层次的数据视图，确保有效和透明的数据7、图形用户界面的互动原型8、命令行(批处理模式)自动大规模应用9、Java API(应用编程接口
26、)10、简单的插件和推广机制11、强大的可视化引擎，许多尖端的高维数据的可视化建模12、400多个数据挖掘运营商支持耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。5.6 Pentaho BIPentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决
27、方案。Pentaho BI 平台，Pentaho Open BI 套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI 平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。 Pentaho的发行，主要以Pentaho SDK的形式进行。Pentah
28、o SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运
29、行;Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。大的数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统一些但不是所有的MPP的关系数据库的PB的数据存
30、储和管理的能力。隐含的负载，监控，备份和优化大型数据表的使用在RDBMS的。6、大数据的未来以及学生的未来根据观研天下监测统计，2011年全球数据总量已经达到1.8ZB1ZB等于1万亿GB，1.8ZB也就相当于18亿个1TB移动硬盘的存储量，而这个数值还在以每两年翻一番的速度增长，预计到2020年全球将总共拥有35ZB的数据量，增长近20倍。开源分析机构Wikibon预计，2012年全球大数据企业营收为50亿美元，未来5年的市场复合年增长率将达到58%，2017年将达到500亿美元。6.1 国家政策下的未来发展6据权威专家透露，在有关部门协商的基础上，经国务院同意，将来或推出一个国家科技和产业
31、专项来引导和支持大数据的研究和产业发展。这个专项包括大数据的发展目标、发展原则和重点任务。有关院士建议，我国大数据的发展目标是，“十二五”时期以及未来十年，实现大数据产业技术创新，产业的整体质量效益得到提升，应用水平明显提高，推动经济社会发展。发展原则是，市场主导、创新发展；应用牵引、融合发展。重点任务主要有布局关键技术、推进示范应用、完善支持政策等三方面。首先，布局关键技术研发创新。一是以数据分析技术为核心，加强人工智能、商业智能、机器学习等领域的理论研究和技术研发，夯实发展基础。二是加快非结构化数据处理技术、非关系型数据库管理技术、可视化技术等基础技术研发，并推动与云计算、物联网、移动互联
32、网等技术的融合，形成较为成熟、可行的解决方案。三是面向大数据应用，加强网页搜索技术、知识计算搜索技术、知识库技术等核心技术的研发，开发出高质量的单项技术产品，并与数据处理技术相结合，为实现商业智能服务提供技术体系支撑。其二，加速推进示范应用。一是面向能源、金融、电信等行业，引导企业参与，发展数据监测、商业决策、数据分析等软硬件一体化的行业应用解决方案；二是面向城镇化建设与民生需求，加快推动大数据在城市建设生活服务领域的应用，不断提升数字内容加工处理软件等服务发展水平。三是推动行业数据深加工服务。大力开发深度加工的行业数据库，对高科技领域数据进行深度加工，建立基于不同行业领域的专题数据库，提供内
33、容增值服务。四是推进政府及大型公共信息服务平台建设。发展和利用跨部门的政府信息大平台，提高行政工作效率，降低政府运行成本。利用政府信息大平台，提高政府决策的科学性和精准性，提高政府预测预警能力以及应急响应能力。最后，完善支持政策，鼓励民间投资。一是加大财政投入。加大中央预算内投资和中央财政信息技术专项资金对大数据产业的投入，安排国有资本经营预算支出支持重点企业实施大数据项目。二是拓展投融资渠道。积极创新金融产品和服务，支持大数据成果转化和产业化。鼓励和引导民间投资和外资进入大数据领域。6.2 未来学生的发展而再这样一个由国家进行推动，各行各业加速发展的大数据时代，计算机行业已不再仅仅只局限于科
34、学创新以及基层建设了，各行各业的人都需要学会计算机并通晓计算机的一定原理，各个企业的发展，个体户的成长以及关会自身的发展都需要使用到计算机，都需要从海量的数据中迅速有效的搜索到有价值的数据，并合理运用。在未来各行各业都将是信息的时代，各个职业都需要使用计算机熟练并有一定才能的人员，未来的发展离不开科技，而科技离不开数据，数据则需要人员，软件，硬件的合作整理，而整理出这些能让企业上层人员能看懂，能认可的数据的人必将是现在就进行互联网教育改革的学校的学子们！参考文献1 大数据究竟是什么？一篇文章让你认识并读懂大数据 . 中国大数据. 2013年11月4日2 大数据时代英 维克托迈尔-舍恩伯格（Viktor Mayer-Schnberger）. 大数据中心 . 2014年4月9日3 大数据向人类认知方式提出新挑战 . 云创存储 . 2013年3月26日4 大数据引领产业变革 . 大数据 . 2014年4月1日5 大数据处理分析的六大最好工具 . 云创存储 . 2014年4月23日6 2014-2018年中国大数据产业发展前景与投资战略规划分析报告 . 2014年7月7日
