天津市卓越软件工程师.doc

《天津市卓越软件工程师.doc》由会员分享，可在线阅读，更多相关《天津市卓越软件工程师.doc（13页珍藏版）》请在三一办公上搜索。

1、天津市卓越软件工程师2015年实验班分方向培养计划一、方向情况序号企业名称方向名称企业项目实训类别方向负责人1中科瑞通大数据与云计算大数据应用开发付立军二、方向培养计划（一） 专业特色企业项目实训类别大数据应用开发方向特色当下是大数据时代。“大数据”需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。“大数据”的是无法使用传统流程或工具处理或分析的信息。为构建大数据平台，需要对分布式数据收集，大数据存储，分布式计算，资源管理等系统有全面而又深入的理解。 本课程提供在企业在大数据时代普遍面临的各种挑战的解决方案。该实训授课内容均是大数据前沿最流行、最热

2、点技术内容，这些开源技术在将来很长一段时间内还将不断的被发展、优化。企业中如果应用大数据技术解决实际问题，为企业发展增加核心竞争力。本项目将全面覆盖大数据领域通用架构及涉及到的技术组合：离线数据平台： Hadoop、Hive、HBase、ETL、Flume实时数据平台： Storm、Kafka、Flume所需软硬件环境单机器配置要求：磁盘容量 大于等于500G2个4核/8核CPU 16-64GB内存 千兆以太网 Linux CentOS6系统 Hadoop集群：5台Storm集群：3台（二）建议先修课程列表序号课程名称需掌握知识点1数据结构线性表，栈，队列，串，数组，树，图等基本数据结构知识。

3、2数据库技术对主流数据库Oracle10g、MySQL等熟悉，同时对NoSQL较好的认识。3操作系统进程管理、内存管理、文件系统、网络通讯、安全机制、用户界面、驱动程序等功能了解掌握。4计算机网路对路由、交换、通讯、体系结构、网络协议、设计及集成等掌握和了解。（三）专业技术课程列表序号课程名称学时学分任课教师备注1JAVA高级开发与实践302李守斌大数据基础课2Linux实践与计算机算法实践151刘冰大数据基础课3Hadoop原理与实践322常志军专业核心课4HBase技术实践与应用453高俊秀专业核心课5Storm与实时数据系统322常志军专业核心课6大数据平台架构与实现604高俊秀常志军专

4、业核心课7数据仓库建设302徐文方巍提升及就业发展课（四）专业技术课程简介课程名称（1）JAVA高级开发与实践教材Java核心技术：卷I 基础知识 + 卷II 高级特性教学内容技术块Java 编程基础及高级类特性、JAVA数据库编程技术知识点Java开发的工具EclipseJava类库熟练运用关系型数据库及SQL语言ODBC、JDBC的工作原理及使用方MySQL数据库访问与运用重点MySQL数据库、JDBC、数据库连接池的使用技术块JSP+ Servlet 编程知识点Jsp运行原理、Jsp隐含对象、Jsp指令，Jsp动作JavaBean、标签技术、文件上传、数据库连接池配置Servlet运行原

5、理、Web应用配置、Web应用服务器配置SSL安全协议、监听器、过滤器、DAO概念重点JavaBean技术、数据库连接池配置、Web应用服务器配置、SSL安全协议技术块多线程机制和设计模式知识点程序、进程、线程的概念和原理Thread类的子类创建线程方法Runnable接口创建线程设计模式的背景知识和设计模式的种类重点线程控制方法，线程的调度、互斥和同步；设计模式技术块目前流行的三大框架知识点Struts 工作原理、Struts框架技术及应用Spring工作原理、Spring框架技术及应用Hibernate工作原理、Hibernate框架技术及应用重点SSH三大框架的整合应用项目开发技术考核方

6、式项目实践、课堂出勤、团队合作课程名称（2）Linux实践与计算机算法实践教材Linux编程从入门到精通，化工出版社；计算机算法与程序设计，清华大学出版社；编程之美教学内容技术块Linux基础与实践知识点Linux操作系统基础：Linux系统的特点及安装管理；桌面系统的使用；用户管理；文件系统操作；VI工具使用。Linux磁盘与网络管理：网络管理；进程管理；磁盘管理；日志管理。服务安装与部署：WEB服务器；数据库服务；Java安装与配置；Linux服务；Iptables配置；虚拟化配置。Linux下的Shell编程：Linux下的Shell编程方式重点服务前安装部署， shell编程，磁盘与网

7、络管理。技术块计算机设计算法实践知识点二叉树的前序遍历，中序遍历和后续遍历的实现（递归和非递归），查找算法，内排序（插入排序，快速排序，选择排序等）时间复杂度和空间复杂度数组及字符串实践应用链表及树的运用递归和动态规划重点熟练掌握算法各类应用考核方式项目实践、课堂出勤、团队合作课程名称（3）Hadoop原理与实践教材Hadoop权威指南(第2版)教学内容技术块HDFS存储概述知识点HDFS存储核心概念HDFS关键运作机制Hadoop Shell重点了解Hadoop的存储架构HDFS，能够使用Hadoop Shell技术块MapReduce原理和事件知识点MapReduce运行机制MapRedu

8、ce使用注意事项编写MapReduce程序并能运行出正确结果重点根据数据的特点能够设计MapReduce程序，并编写和运行考核方式项目实践、课堂出勤、团队合作课程名称（4）HBase技术介绍与应用教材HBase权威指南 HBase： The Definitive Guide教学内容技术块HBase文件系统知识点HBase部署安装HBase存储于HDFS的关系HBase逻辑存储原理HBase查询流程重点了解HBase的原理，清楚HBase解决实时查询的关键设计技术块HBase基本操作知识点客户端APIJava实现对Hbase的put、get等方法HBase过滤器使用HBase表、列族、行键设计等

9、重点能根据需求设计合理的HBase表，并能完成相关操作考核方式项目实践、课堂出勤、团队合作课程名称（5）Storm与实时数据系统教材Storm分布式实时计算模式 Storm Blueprints Patterns for Distributed Real-Time Computation教学内容技术块Storm编程学习知识点Storm集群搭建，依赖ZeroMQ、JNMQ、Python2.6.6Storm topology构成组件及作用Trident介绍实践单词实时统计Topology重点掌握Storm Topoloy编程各组件的角色和用法。能将负责逻辑转成为组件流程。技术块基于Storm的实时

10、流式处理平台知识点Flume部署，实时监控数据源Kafka部署，实现Flume向Kafka加载数据Storm集群部署、Storm从Kafka中读取实时处理实践网站日志实时监控，完成ip黑名单功能重点理解实时流式数据平台的通用架构，加每个环节使用的技术考核方式项目实践、课堂出勤、团队合作课程名称（6）大数据平台架构与实现教材Hive编程指南 Programming Hive教学内容技术块Hive实现原理、了解metastore知识点Hive的产生背景、主要解决的问题Hive转译引擎的工作机制Hive加载、访问接口HQL与SQL的对比重点了解Hive工具的作用，工作机制技术块Hive对表的基础操作

11、知识点创建、删除、修改表外表、内表、分区介绍动态分区实现分区准确性多表关联查询重点熟悉对Hive的基本操作，能根据需求建立Hive表。考核方式项目实践、课堂出勤、团队合作课程名称（7）数据仓库建设教材TheDataWarehouseMentor:PracticalDataWarehouseandBusinessIntelligenceInsights教学内容技术块数据仓库概述知识点数据仓库的由来和常见概念数据仓库常见问题数据仓库的基本架构重点数据仓库的基本架构技术块ETL理论和实施知识点ETL的基础理论ETL常见问题根据要求完成ETL任务重点完成ETL任务编写技术块构建示例数据仓库知识点根据要

12、求完成多个相互关联的ETL任务理解各种任务和数据仓库分层的概念技术块完成示例数据仓库的构建，并理解数据仓库的分成概念考核方式项目实践、课堂出勤、团队合作（五）实训项目简介在项目的设定上，根据行业培养的方向制定合理的项目实训计划。项目名称1企业营销管理系统（JAVA实践）实训周期（周）4主讲李守斌助教王学兵项目简介(主要填写项目实现的功能模块简介)模拟实现某省移动营销支持系统，为管理员提供营销活动策划、审批、评估，为用户提供活动推荐、订购、查询功能。该系统主要包括权限管理、实时数据采集、数据处理、营销活动策划、营销活动审批、营销活动推荐、营销活动受理，营销活动评估等功能。权限管理，实现基础的工号

13、和角色的管理，支撑工号、角色的增、删、改、查，角色权限分配，权限认证等功能。数据采集，模拟实现数据的交互，用户行为轨迹。数据处理，对采集的数据进行分类、分析、形成用户标签库活动策划，实现对营销活动的配置，包括基础信息、营销内容、发布渠道等信息管理。活动审批，实现对营销活动的多层级审批。营销活动推荐，根据用户的行为进行主动、被动营销活动推荐。活动受理，为用户办理某个营销活动 ，提供查询功能，包括参加活动的条件限制，和参加活动后的约束。营销活动评估，实现以的统计报表，活动推荐、订购成功率等。组织形式角色职责人数项目工程师系统分模块开发、系统模块间整合5人助理工程师负责需求调研与业务逻辑设计1项目经

14、理项目的规划、协调、项目节点把握1项目组成立项目组，制定项目里程碑项目组长对项目设计、跟踪及需求的沟通1技术骨干主要负责一个模块，带领1-2人完成2项目组成员按照项目组长的安排，完成相关开发实践任3考核方式评分总体标准： l 本门课程满分为100分；l 评分标准为：总分 = 项目提交（50%）+平时表现（20%）+项目答辩（30%）l 对于实训课程注重过程，强调结果内容具体内容评分标准权重项目提交物（50%）项目相关文档1) 项目任务分配及进度表2) 项目需求分析说明书3) 项目详细设计说明书4) 项目测试说明书5) 项目实训个人总结1) 每份文档占该项的20%权重，根据其情况酌情进行处理。2

15、) 根据文档具体的完成的情况进行酌情给分。40%项目源代码依据项目源代码1) 代码书写美观符合编码规范。2) 代码运行正常。3) 页面的设计美观，合理，功能全面。4) 功能设计上有所创新。5) 不符合要求者，酌情扣分。60%平时表现 （20%）学习态度依据上课学习积极情况根据其完成项目的积极性和做项目态度，教师进行给分。50%出勤情况依据考勤统计表根据考勤表进行给分。50%答辩（30%）答辩PPT依据项目答辩的PPT1) PPT制作美观，内容全面。2) 按照要求完成PPT的每个环节。3) 不满足要求者酌情给分。50%项目运行依据项目运行情况1) 项目能够正常运行。2) 对此项目各个功能的理解到

16、位，能回答出老师的提问。3) 不满足以上条件酌情扣分。50%项目名称2通用海量数据计算、分析平台建设实训周期（周）17主讲常志军高俊秀助教裴鹏飞项目简介项目模块1 ：分布式日志收集分析系统实训周期（周）：4实践意义： 日志收集是企业构建海量数据分析平台的第一步。源数据包括：日志、db、网络数据等。当产生数据的服务器达到百台、甚至几千台时，分布式日志收集就更加重要，同时也将会面临更大的挑战。本项目即为实践分布式日志收集系统在产业中采用的技术组合、关键指标、容错机制等。项目目标： （1）搭建Flume，HDFS，MapReduce，Hive系统 （2）构建一个分布式日志收集系统，涉及数据收集，存储

17、，计算分析和报表展示主要功能模块： 一、Flume作为最底层采集工具。第一级Flume通过avro完成分布式收集，根据数据源、数据量的大小，第二级Flume进行数据接收并写到HDFS、（Kafaka，实时模块使用）中。多级的Flume设计降低了应用服务器的负责，同时提高了容错性。 二、HDFS、MapReduce作为分布式存储、计算系统，主要完成对数据的存储和处理。 三、数据仓库构建工具Hive，构建实践使用的数据表。Hive的本质是HDFS文件的逻辑记录，处理脚本通过Hive的翻译引擎。数据应用人员通过撰写类SQL的HQL，即可实现对海量数据的处理。项目模块2 ：基于Hadoop的ETL系统

18、实训周期（周）：6实践意义： ETL是构建数据仓库的重要一环，从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据格式，将数据加载到数据仓库中去。 在数据仓库建设过程中，ETL是最花费时间、人力的，约占整个项目的60%-70%左右。ETL就是要将各个不同的数据文件或数据库所撷取的资料，根据企业之需求及数据仓库Model的设计，转换成正确的信息，清除重复不需要的资料，转至统一的数据库中，保留在企业内以利后续使用。 企业级数据平台有很多通用的开源技术和方法，但只有ETL是需要独立开发的。这是构建数据中心的不可回避的工作。项目目标： （1）构建一套基于Hadoop MR的ETL工具，从H

19、DFS作为源数据，ETL的结果数据导入到Hive数据仓库中。实验数据采用：常见的Apache https日志； （2）在任务调度平台上定时统计IP黑名单的设计和实现。 使学生通过该实践，完成ETL、任务调度平台两个独立工程。可以作为以后在实践工作中扩展的基础。 其中： 1.ETL和任务调度平台均采用Java开发，与HDFS、MR的交互均采用Hadoop API形式，可以比较清晰的获取任务的状态及异常信息。 2.对ETL任务的管理模块，也在同一工程中实现，主要采用状态转化的方式，使多线程充分的并行计算。 ETL主要功能模块： 一、日志初始化模块：完成对待处理数据的格式化并入DBQUEUE. 二、

20、Job执行模块：配置并启动mr任务，并采集job信息记录到DBQUEUE 三、加载到数据仓库模块：将mr生成的结果文件加载到hive系统中。 四、重试机制：对失败任务设定重试次数和时间。 五、行解析逻辑模块：完成map中对一行的处理逻辑。 六、工程采用抽象工程模式，可以快速扩展新日志的ETL功能。 任务调度平台主要功能模块： 一、定时模块：完成灵活多样的定时 二、适配器模块：主要将对task管理的模块进行了抽象 三、逻辑实现模块：每个任务的差别都很大，因此在设计上接口是同一的，逻辑是不同的。 四、重试机制：对失败任务设置重试功能，可以设置次数。项目模块1 ： Storm实时处理系统（实时监控网

21、站的PVUV）实训周期（周）：7实践意义： 过去的十年是数据处理变革的十年， MapReduce、 Hadoop以及一些相关的技术使得我们能处理的数据量比以前要大得多得多。但是这些数据处理技术都不是实时的系统 它们设计的目的也不是为了实时计算。然而大规模的实时数据处理已经越来越成为一种业务需求了， 而缺少一个“实时版本的hadoop”已经成为数据处理整个生态系统的一个巨大缺失。Storm填补了这个缺失。项目目标： （1）构建一个实时数据处理平台，技术组合：Flumeng、Kafka、Storm、Mysql、Zookeeper。 （2）在这个平台上实践网站数据的实时处理，完成对PVUV的统计。

22、使学生通过该实践，对实时处理系统有整体的理解，并能部署；可以写topology程序，完成对通用逻辑的处理。 其中： 1.掌握Flumeng需要下载Flumeng-kafka插件、kafka-storm插件的安装，并且能完成在第一级Flume对目录进行数据采集。 2、掌握Zookeeper作为协调系统，在Kafka、Storm以及nimbus和supvisor之间的znode使用方法。 主要功能模块： 一、收集模块：flume实现近实时日志收集 二、消息缓冲模块：因为flume与storm直接对接，可能会出现压力过大而丢失或异常，所以必须要有缓冲模块。 三、逻辑处理模块：采用storm集群进行逻

23、辑处理。 四、结果数据存储模块：采用mysql作为结果数据的存储系统。以供app使用数据。组织形式角色职责人数项目工程师负责系统的构建，程序设计与实现6分别负责ETL和任务调度工程的开发；5 实时系统的部署与运维；统计逻辑的开发；5 助理工程师负责调研使用大数据解决的业务逻辑1项目经理负责协调各层对接1拆分工作、定工程里程碑，跟进工程的实现1 拆分工作、定工程里程碑，跟进工程的实现1 项目组成立项目组，制定项目里程碑项目组长负责任务分配，进度检查与反馈1技术骨干主要负责一个模块，带领1-2人完成3项目组成员按照项目组长的安排，完成相关开发实践任务4考核方式评分总体标准： l 本门课程满分为10

24、0分；l 评分标准为：总分 = 项目提交（50%）+平时表现（20%）+项目答辩（30%）l 对于实训课程注重过程，强调结果内容具体内容评分标准权重项目提交物（50%）项目相关文档6) 项目任务分配及进度表7) 项目需求分析说明书8) 项目详细设计说明书9) 项目测试说明书10) 项目实训个人总结3) 每份文档占该项的20%权重，根据其情况酌情进行处理。4) 根据文档具体的完成的情况进行酌情给分。40%项目源代码依据项目源代码6) 代码书写美观符合编码规范。7) 代码运行正常。8) 页面的设计美观，合理，功能全面。9) 功能设计上有所创新。10) 不符合要求者，酌情扣分。60%平时表现 （20

25、%）学习态度依据上课学习积极情况根据其完成项目的积极性和做项目态度，教师进行给分。50%出勤情况依据考勤统计表根据考勤表进行给分。50%答辩（30%）答辩PPT依据项目答辩的PPT4) PPT制作美观，内容全面。5) 按照要求完成PPT的每个环节。6) 不满足要求者酌情给分。50%项目运行依据项目运行情况4) 项目能够正常运行。5) 对此项目各个功能的理解到位，能回答出老师的提问。6) 不满足以上条件酌情扣分。50%（六）就业保障可推荐的就业目标企业企业名称就业地点备注搜狐网北京中国软件与技术服务股份公司北京及外地分公司丰瑞祥信息技术有限公司北京及合作的支付类企业北京百分点信息科技有限公司北京中科曙光北京 天津及中科院所属其他企业