《数据采集初级证书考核大纲(计算机专业).docx》由会员分享，可在线阅读，更多相关《数据采集初级证书考核大纲(计算机专业).docx（14页珍藏版）》请在三一办公上搜索。
1、数据采集初级证书（计算机专业）考核大纲版本号：L0山东浪潮优派科技教育有限公司2020年10月日期：2024年2月28日更改控制页序号版本号更改时间更改内容描述填写人11.()2020-10-09新建目录1. 培训目的51.1 培训目标52. 考核大纲52.1 考核管理计划52.1.1 概述52.2 考核细节52.2.1 项目1：初识数据采集52.2.2 项目2：分析网络数据报62.2.3 项目3：操作数据库82.2.4 项目4：制作慕课网首页92.2.5 项目5：抽取网页数据102.2.6 项目6：初识PythOn102.2.7 项目7：爬取网络数据122.2.8 项目8：爬取网络数据132
2、.2.9 项目9：创建SPMngBoot项目132.2.10 项目10：项目实战：业务系统日志数据采集142.2.11 项目11：项目实战：数据库数据采集153. 课程考核办法错误!未定义书签。考评目的错误!未定义书签。考评内容错误!未定义书签。评分标准错误!未定义书签。1.培训目的1.1 培训目标为响应教育部开展1+X证书制度试点，探索建设职业教育国家学分银行的号召，探索大数据人才培养的新模式，储备大数据采集方向的实用人才，设计了该培训指导方案。经过培训，受训人员应获得以下几方面的知识、能力和素质：1、获得较好的工程实践训练，具备较强的动手能力和团队合作能力；2、具备较强的自学能力、创新能力
3、和独立分析、解决一般工程问题的能力；3、掌握以下的工具和系统的使用：FiIeBeat、LogStash、PyCharm、MySQL、LinUx；4、掌握以下的语言和技术：Python,SQL,HTMLzJavaScript,CSS5、掌握XPath、正则表达式等常用的数据分解、验证等技术；6、对整个大数据采集技术体系有较深入的理解；2.考核大纲2.1 考核管理计划2.1.1 概述本培训主要让学生切身完成大数据采集全流程的学习与实践。通过本阶段的实训，学生可以充分的体验和理解的不同数据采集的方法，从而掌握针大数据开发项目所需数据采集的各种相关技术。培训采用理论教学+上机实践的方式，目标是培养学生
4、实际动手能力，和理论结合实际解决问题的能力。2.2 考核细节2.2.1 项目1：初识数据采集Ns任务对应知识点掌握程度考核占比1任务1采集网址数据主要知识点包括：数据采集定义、数据应用价值、数据类型、数据采集范围，同时包括数据采集的具体流程和采集方法1、需要重点掌握数据采集的定义和特点，了解数据采集的应用价值。2、理解数据的类型（结构化、半结构化、非结构化）及典型示例。3、了解数据采集主要领域和范围。7%4、深入理解数据采集的三个环节（采集、清洗、存储），了解网络爬虫数据采集、日志数据采集的两种典型的数据采集场景。5、对于不同采集方法的适用性要有一定理解。2.2.2 项目2：分析网络数据报Na
5、任务对应知识点掌握程度考核占比1任务1安装Wireshark主要知识点包括：计算机网络的概念及发展历史；计算机网络功能、计算机网络的分类;WireShark工具的了解和安装。1能够顺利安装Wireshark工具，并通过官网对WireShark工具功能有总体了解。2、了解计算机网络概念以及计算机的发展历史；了解不同代计算机的主要特点。3、重点掌握计算机网络的基本概念。4、了解计算机网络分类及分类标准；了解每种网络涵盖的典型网络定义、组网方式及其特点。2%任务2分析基础的网络数据主要知识点包括：网络协议的概念，OSI模型和TCP/IP模型；WireShark实现网络数据分的思路。1、理解网络协议定
6、义，掌握其三要素。2、重点掌握OSl模型，及OSI模型每一层的含义、主要功能，及每一层的典型物理设备和相关协议。3、重点掌握TCP/IP模型,TCP/IP和OSl模型的对应关系,TCP/IP模型每一层的含义、功能，掌握每一层的主要协议及其作用4、了解RFC文件，掌握URl的结构和每一组成部分的含义5、熟练掌握使用Wireshark工具进行网络数据的抓取和分析的具体操作步骤，能够实现数据包的抓取，并能够识别和分析抓包数据。5%任务3分主要知识点包括：ARP和IP1、了解ARP概念、主要功能和2%析ARP和IP的主要含义、报文及功能点；使用Wireshark工具分析ARP和IPoARP的报文格式，
7、及报文解析。2、掌握IP的概念、主要功能和IP的报文格式；掌握IP地址的分类及每类IP地址的组成特点；能够识别正确的IP地址3、掌握IP数据报的组成，数据报首部格式，及每一组成部分的规则特点和功能。4、熟练掌握使用Wireshark工具抓取ARP数据包和IP数据包，并能够分析抓取包数据的组成内容。任务4分析TCP主要知识点包括：TCP主要概念、TCP报文格式、三次握手；UDP主要概念和UDP报文格式；使用Wireshark工具分析TCP报文。1、掌握TCP含义、作用；了解TCP的工作过程。2、掌握TCP报文格式，每一组成部分的规则特点和功能；掌握TCP的数据报首部格式。3、理解TCP三次握手连
8、接的原理，重点掌握TCP三次握手连接建立具体流程。4、掌握TCP和UDP的异同。5、了解UDP含义、作用。6、了解UDP数据报首部格式，及每一组成部分的规则特点和功能。7、熟练掌握使用Wireshark工具抓取TCP数据报,并能够分析TCP三次握手的报文。3%任务5分析HTTP主要知识点包括：HnP工作原理、请求报文和响应报文；使用Wireshark分析HTTP报文数据。1、理解和掌握HnP的工作流程。2、掌握HTTP请求报文结构和报文格式，以及报文内容解析。3、掌握HTTP响应报文结构和响应报文格式，以及报文内容解析。4、熟练使用Wireshark工具分析HTTP报文，能够设置过滤条件，获取
9、HTTP数据包并进行分析。5%2.2.3 项目3：操作数据库Ns任务对应知识点掌握程度考核占比1任务1安装MySQL主要知识点包括：关系数据库的介绍、数据模型、SQL语言介绍、MySQL数据库特点及MySQL数据库的安装使用1、理解关系数据库概念，经典的数据模型；理解数据元素、数据元组、数据表、数据库、数据库系统的概念。2、掌握SQL语言的组成和主要命令，及命令的使用。3、了解MySQL数据库的特点。4、了解Windows下MySQL的安装和配置；重点掌握LinUX下MySQL数据库的安装部署、配置参数、起停服务等。4%2任务2创建数据库主要知识点包括：数据表创建、数据表结构查看、数据表修改、
10、数据表删除、表数据维护操作。1、能够分析数据需求，对数据结构进行设计。2、掌握数据表的createtable创建语句。3、掌握showtables表结构查看语句。4、熟练掌握altertable语句，包括修改表名、表字段、字段类型、字段添加、字段删除等。5、熟练掌握dropIable语句。6、熟练掌握表数据的新增、修改、删除的SQL操作。2%3任务3查询数据主要知识点包括：select语法格式和使用，聚合函数如countsum、avgmaxmin等的语法结构和使用1、熟练掌握表的查询操作，包括基本数据查询、条件查询、多表连接查询、分组查询、排序、限制查询等。2、熟练掌握聚合函数的使用，对结果集
11、进行统计，包括countsum、avgmax、min函数的使用。5%4任务4创建索引主要知识点包括：索引功能概述、索引分类、索引创建和删除。1、了解索引的重要性和如何提高查询性能。2、了解主要的索引种类，包括普通索引、唯一索引、全文索引、多列索引等。3、了解索引的创建和删除的语法格式和熟练操作使用。2%2.2.4 项目4：制作慕课网首页Ns任务对应知识点掌握程度考核占比1任务1网页基础主要知识点包括：网页概述和HTML基础学习1、了解网页概念，及网页前端设计语言：HTML、CSS和JaVaSCript；了解网页的发展历史；掌握静态网页和动态网页的特点。2、了解HTML规范。3、深入理解HTML
12、文档基本结构，以及每个标签的作用。4、熟练掌握和使用HTML的基本语法，包括签、元素、块级元素、内联元素及属性等。5、熟练掌握和使用HTML常用标签，掌握每个标签的功能作用。6、根据HTML基础,能够准确分析慕课网站首页布局并识别确定所使用的HTML标签。6%2任务2编写慕课网首页主要知识点包括：CSS3的简介、CSS3选择器、CSS3字体、CSS3文本、CSS3颜色和背景属性、盒子模型概念和position定位：使用html和CSS完成一个网页的制作。1、了解CSS3的作用和特点。2、了解CSS3标准格式：了解CSS3的选择器、盒子模型等。3、能够结合HTML基础和CSS基础，编码实现一个简
13、单的慕课网页并利用CSS样式进行美化。2%3任务3设置慕课网首页交互主要知识点包括：JavaScript介绍和组成，JavaScript的基本语法、JavaScript的核心对象、jQue*y的简单使用；使用JavaScript实现与网页的交互。1、了解JavaScript的主要组成和发展历程。2、熟练掌握JaVaSeriPt的基本语法，包括语句和代码块、标识符、运算符、控制语句和常见函数，能够熟练操作使用语法进行编码。3、熟练掌握核心对象包含String对象、Math对象、Date对象、Airay对象，能够熟练操作这些核心对象进行编码。4、了解jQue的特点。5、熟练掌握jQue可选择器对H
14、TML元素进行操作。6、熟练掌握和使用jQuery的4%DOM操作，实现对其元素的建、增、删、改、查等操作，掌握常用操作。7、能够利用JaVaSCriPt实现与网页的交互编码操作。2.2.5 项目5：抽取网页数据Na任务对应知识点掌握程度考核占比1任务1使用XPath提取网页数据主要知识点包括：XPath的定义、XPath具体安装、XPath基本语法；使用XPath提取网页数据。1了解XPath的概念，了解IXmI组件库的主要模块。2、掌握Ixml库中HTML类基本语法格式和常用参数，熟练掌握和使用XPath常用匹配表达式、XPath谓语。4、能够构造截取信息的XPath,截取网页中所需要的代
15、码段，并利用Python中的Ixml提取所需要的信息。6%2任务2使用正则表达式提取网页数据主要知识点包括：正则表达式概念、Python下正则模块功能方法、正则表达式的基本符合的使用；利用正则提取网页数据。1、了解正则的意义。2、掌握Python中标准库中的re模块，熟练掌握和使用re模块提供的正则使用方法，完成模式匹配。3、掌握正则的基本符号，并能够使用这些符合完成正则模式编写。4、能够使用requests模块和re模块模拟浏览器请求，并编写正则表达式匹配网页内容，利用findall方法获取网页内容。6%2.2.6 项目6：初识PythOnNs任务对应知识点掌握程度考核占比1任务1安装Pyt
16、hon,主要知识点包括：Python的安装、Python的历史和1、了解Python版本的发展历程、Pythorl的主要特点、应用2%并输出helloworld发展、Python语言特点、Python的应用领域、Python程序的运行方式；完成helloWOrld示例领域。4、掌握Python的交互式和文件式运行方式。5、能够在Linux系统下Python顺利安装。2任务2投掷骰子主要知识点包括：Python的基本语法、运算符、数据类型、基本输入和输出、函数、条件语句、循环语句；利用Python基本语法和语句能够实现简单的示例。1、熟练掌握Python的基本语法，包括编码、行与缩进、注释、保留
17、字和关键字。2、熟练掌握和使用算术运算符、赋值运算符、比较运算符、位运算符和逻辑运算符。3、熟练掌握和使用六大标准数据类型，包括NUnlber（数字）、String（字符串）、Tuple（元组）、LiSt（列表）、Dictionary（字典）、Set（集合）。4、熟练掌握和使用PythOn中的内置函数，并能够掌握和使用自定义函数。5、熟练掌握和使用if语句和if.else语句。6、熟练掌握和使用While语句和for循环语句7、能够创建一个Python项目不例，并综合利用Python基本语法（if、for、While循环）。7%3任务3提取分解数据主要知识点包括：XML概念和DOM解析，JSO
18、N数据结构和常用方法：能够利用DOM解析XML文件，提取数据，并利用JSoN读取JSON数据。1、了解XML语言及XML语法规则。2、熟练掌握PythOn下DoM模块的解析，熟练使用常用的解析方法。3、了解JSON数据交换流程，数据形式。4、熟练掌握和使用PythOn下JSoN模块的常用方法。5、能够利用Python下的DoM模块和JSON模块，实现XML文件的解析和JSON数据的读取。5%4任务4编写TCP通讯程序主要知识点包括：socket的概念,Python下socket服务端和客户端套接字方法功能；模拟SOCket服务端和客户端，实现TCP通讯示例。1、了解socket作用,和sock
19、et创建套接字的语法格式。2、了解服务端和客户端套接字常用的方法函数，并能够实现方法的调用。3、利用Python下socket模块，1%模拟网络服务端和客户端，利用套接字的常用方法，实现数据的发送和接收，实现简单通讯。2.2.7 项目7：雇取网络数据Ns任务对应知识点掌握程度考核占比1任务1使用Requests库爬取网站主要知识点包括：网络爬虫概念、网络爬虫类型、网络爬虫的用途、爬虫需要遵循的法律法规、爬虫的基本流程、Python下的UrlIib库和Requests库的使用；使用requests库爬取小说网站数据。1、了解网络爬虫的基木概念、类型、应用和基本构成、用途。2、掌握网络爬虫所要遵循
20、的法律法规和道德约束。3、理解并掌握网络爬虫的基本流程(发起请求、获取响应内容、解析内容和保存数据)，以及每个环节的主要内容；了解主要的爬虫框架类型。4、掌握UrHib库的主要模块和功能,熟练使用Urllib库的urlopen()和Requset()及常用方法和属性。5、能够安装ReqUSet库，并熟练掌握Requset库请求方式，包括GET、POST、PUT、DELETE、PATCHOPTlONS等；熟练掌握HTTP的响应状态码，及其状态码含义；掌握响应内容的获取；理解HTTP请求头的定制；理解重定向和请求历史。6、能够利用Requset库实现网页源码的获取，利用正则匹配提取网页内容，并将内
21、容保存到本地，实现完整的网站数据爬取示例。6%2任务2写入读取数据主要知识点包括：BeautifulSoUP库的解析器、CSV数据的写入和读取、MySQL数据的写入和读取；完成网页内容的爬取和数据的存储。1了解BeaUtifUlSOUP库的作用及支持的常见解析器，掌握BeaUtifUlSOUP库的安装。2、理解CSV的存储格式规范。3、熟练掌握和使用Python下CSV的读取，以及对内容的遍历。4、熟练掌握和使用PythOn下2%CSV文件的两种写入方式。5、理解并掌握Python下MySQL数据库连接的过程步骤，并能编写数据库连接示例。6、能够爬取网页表格数据，并与MySQL数据库建立连接，
22、将表格数据写入数据库指定表中，并能够查询表数据。7、尝试将爬取的网页数据写入CSV文件。2.2.8 项目8：项目实战网络爬虫Na任务对应知识点掌握程度考核占比1任务1爬取手机端数据主要知识点包括：Fiddler抓包工具安装和配置；使用Requests库实现APP数据爬取。1、能够正确安装Fiddler抓包工具，能够对工具和手机网络进行配置。2、了解Fiddler工具获取APP请求网络的链接信息。3、熟练使用ReqUeStS库来解析网页信息，爬取网页列表数据。2%2任务2爬取浪潮优派信息主要知识点包括：实现网站首页的新闻列表和图片信息的爬取1、能够通过网页源码明确要爬取的网页信息结构。2、熟练使
23、用ReqUeStS库通过访问链接获取网页HTML信息，能够利用XPath匹配信息提取相关数据，能够利用CSV库将提取数据写入文件。6%2.2.9 项目9：创建SPringBOOt项目Ns任务对应知识点掌握程度考核占比1任务1创建SpringBoot项目主要知识点包括：ERP系统和CRM系统概念和应用，业务系统的行为数据产生及价值，业务系统的开发语言与技术框架，J2EE框架及其开发模式；1、了解ERP系统和CRM系统的主要功能和应用领域。2、理解业务系统产生的数据的保存方式，理解数据库数据和日志数据的作用。3、理解什么是日志，日志包2%IntellijIDEA工具安装、配置及Springboot
24、项目的创建和运行括哪些内容，主要作用。4、了解ElaStiCSearCh-Logstash-Kibana三个工具作用和依赖。5、了解.NET的日志框架的组件及作用，了解java的日志框架种类和特点。6、了解java的主要功能特点，及java程序的运行过程、主要用途、JaVaEE的服务框架。8、了解微服务架构的服务及对应技术架构、SpringBoot框架的特点及主要作用、SpringCloud框架模块功能。2.2.10 项目10：项目实战：业务系统日志数据采集Na任务对应知识点掌握程度考核占比1任务1业务系统日志数据采集主要知识点包括：SpringBOot项目中log日志文件配置;filebea
25、t工具的下载、启动和配置；IOgStaSh工具使用和配置；数据库的表操作；日志数据采集案例操作。1了解SPringBOOt项目的创建，并掌握Iog配置文件的具体配置和相关参数标签的作用。2、熟练操作MySQL数据库的表操作.3、熟练掌握正确安装filebeat工具，并进行日志采集输入的配置（掌握各参数作用），能够顺利启动filebeat工具。4、熟练掌握正确安装和使用IOgStaSh工具，熟练掌握Iogstash日志输出端口配置，数据库链接配置，数据表操作配置等；能够顺利运行Iogstash工具。5、了解运行SPringBOot项目，将运行日志输入到指定日志文件中，并能够利用filebeat工
26、具采集项目的日志信息，利用IOgStaSh获取filebeat日志数据，并将数据存入数据库。4%2.2.11 项目11：项目实战：数据库数据采集Ns任务对应知识点掌握程度考核占比1任务1项目实战：数据库数据采集主要知识点包括：Iogstash的数据库采集配置，logstash-output-jdbc配置使用；利用IOgStaSh工具实现数据库数据的采集存储1、了解操作配置logstash-jdbc-input文件，实现数据库的链接和sql的执行，并能够将数据库日志记录输出到指定文件中2、了解操作配置logstash-output-jdbc文件，实现数据库链接，并将数据库日志数据存储到指定的表中2%
