《网络存储系统的设计与实现hadoop接口实现及系统测试.doc》由会员分享,可在线阅读,更多相关《网络存储系统的设计与实现hadoop接口实现及系统测试.doc(28页珍藏版)》请在三一办公上搜索。
1、网络存储系统的设计与实现hadoop接口实现及系统测试摘 要:随着计算机网络技术的飞速发展,各种网络服务器对存储的需求随之发展。但由于商业规模的不同,对网络存储的需求也不同。因此,要选择适合的网络存储技术进行网络存储。传统的网络存储技术只是解决了数据的存储问题,对于如何确保存储数据的安全可靠性却没有提供有效方案。本文研究了分布式网络存储系统的设计与实现,对其设计思想,体系架构及存储数据文件进行了分析与设计。关键词:网络技术;网络存储;数据;分布式Abstract:With the rapid development of computer network technology, the dem
2、and for storage with the development of various network server. But because of the different business scale, the demand for network storage is also different. Therefore, to choose suitable network storage technology for network storage. The traditional network storage technology can solve the proble
3、m of data storage, only about how to ensure the safety and reliability of the data is stored but not provide effective solution. This paper studies the design and implementation of a distributed network storage system, the design thought, system architecture and data storage file has carried on the
4、analysis and design.Keywords: network;storage;data;distribute1 引言1.1 研究背景数据的保存,从古至今都是在跟随着时代发展的。古代,没有硬盘技术,也没有先进的网络技术,于是,我们聪明的祖先就将数据刻在龟甲、兽骨上,再后来,写在竹简上、纸上,以及现代的磁带、磁盘、光盘。从体积大容量小,一直发展到如今的体积小容量大的U盘、移动硬盘。但这些从古到今的存储介质对于数据的保存不能解决数据的安全长久的问题。所以,我们要在这些脆弱的数据基础上建立有效的、能够长期安全保存数据的方法。在飞速发展的今天,无论是公司还是个人,随着时间的累积,数据都是呈
5、增长趋势的,势必,我们需要一个有效的存储数据的方法,来保证数据的长久存储、安全存储、可靠存储。对于数据的安全存储,个人的解决办法通常是多处保存,磁盘,硬盘,优盘等。但是对于一个小型企业甚至是更大型一点的企业来说,这样的方法几乎是不可行的。一般企业采用集中式存储,利用磁盘镜像来提高有限的数据可靠性,但能提供的容量有限。分布式存储思想的出现,使得解决这些问题变得越来越现实,可实行。基于这些实际情况,分布式存储系统的研究,与我们而言就有了很深的意义。1.2 目的和意义本文的目的就是利用分布式思想建立一个廉价,部署简单,稳定,可靠,易扩展,自由组织的分布式存储系统,使得数据的存储高效、安全、长久。1.
6、3 名词解释1) 分布式存储:与目前常见的集中式存储技术不同,分布式存储技术并不是将数据存储在某个或多个特定的节点上,而是通过网络使用企业中的每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在企业的各个角落。2) Hadoop:一个由Apache基金会所开发的分布式系统基础架构, 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。3) HDFS:Hadoop Distributed File System的简称,是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的
7、应用。4) SSH(安全外壳协议):为Secure Shell的缩写,由IETF 的网络工作小组(Network Working Group)所制定;SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。2 系统开发关键技术分析2.1 分布式存储技术2.1.1 分布式存储概念与目前常见的集中式存储技术不同,分布式存储技术并不是将数据存储在某个或多个特定的节点上,而是通过网络使用企业中的每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在企业的各个角落。2.1.2 具体技术海量的数据按照结构化程度来分
8、,可以大致分为结构化数据,非结构化数据,半结构化数据。1) 结构化数据所谓结构化数据是一种用户定义的数据类型,它包含了一系列的属性,每一个属性都有一个数据类型,存储在关系数据库里,可以用二维表结构来表达实现的数据。大多数系统都有大量的结构化数据,一般存储在Oracle或MySQL的等的关系型数据库中。2) 非结构化数据相对于结构化数据而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。3) 半结构化数据介于完全结构化数据(如关 系型数据库、面向对象数据库中的数据)和完全无结构的数据(如声音、图像
9、文件等)之间的数据, 半结构化数据模型具有一定的结构性,但较之传统的关系和面向对象的模型更为灵活。半结构数据模型完全不基于传统数据库模式的严格概念,这些模型中的数据都 是自描述的。2.2 HDFSHadoop分布式文件系统(Hadoop Distributed File System):每个文件就是一个数据集,也就是说数据的存储最终以文件的形式,存储在文件系统中。文件系统是OS系统一个重要的部分。文件系统通过设备驱动来访问设备(如磁盘)。各种不同的文件系统其方式也不同,本系统采用的是分布式文件系统。分布式文件系统是用多台主机群集在一起构建一个文件系统,剥离文件元数据和数据来用一个专门的集中式(
10、也有非集中式)服务器维护文件系统的元信息,多台专门存储的服务器,对元数据的操作和数据读取也分开。这是目前分布式文件系统采用的主要模式。本论文阐述的hdfs(Hadoop分布式系统)也不例外,主要采用这个思想来构建系统。3 系统需求分析3.1 系统定义3.1.1 项目要达到的目标本项目设定的目标如下:1)系统能够提供友好的用户界面,使操作人员的工作量最大限度的减少2)系统具有良好的运行效率,有良好的可扩充性,可以容易的加入其它系统的应用。3)平台的设计具有一定的超前性,灵活性,能够适应企业生产配置的变化。4)数据中心要建设一个设备集中、集中管理、满足应用、方便扩展、安全稳定、共享同一的存储系统。
11、5)通过这个项目可以锻炼队伍,提高团队的开发能力和项目管理能力6)用户注册后能够在上面保存删除自己的文件。3.1.2 系统整体结构图3-1 系统整体结构图3.2 应用环境3.2.1 系统运行网络环境本系统的网络运行图如图3-2,无论是客户端的网络存储使用者还是管理端的管理者等都可以通过网络登录到本系统中。网络存储将想要进行存储的东西存放在系统中,管理员可进行管理。图3-2 网络运行图3.2.2 系统运行硬件环境1)硬件环境客户机:普通PCCPU:P4 1.8GHz内存:256MB以上分辨率:推荐使用1024*768像素2)WEB服务器CPU:P4 1.8GHz内存:2048MB以上3)hado
12、op从服务器CPU:P4 1.8GHz内存:1024MB以上3.2.3 系统运行软件环境1)操作系统:Linux2)数据库:mysql3)开发工具包:Myeclipse4)JSP服务器:Tomcat5)浏览器:IE8.0/Firefox3.3 功能规格我们采用面向对象分析作为主要的系统建模方法,使用UML(Unified Modeling Language)作为建模语言。UML为建模活动提供了从不同角度观察和展示系统的各种特征的方法。在UML中,从任何一个角度对系统所作的抽象都可能需要几种模型来描述,而这些来自不同角度的模型图最终组成了系统的映像。Use Case描述的是“actor”(用户、
13、外部系统以及系统处理)是如何与系统交互来完成工作的。Use Case模型提供了一个非常重要的方式来界定系统边界以及定义系统功能,同时,该模型将来可以派生出动态对象模型。设计Use-case时,我们遵循下列步骤:第一步,识别出系统的“actor”。Actor可以是用户、外部系统,甚至是外部处理,通过某种途径与系统交互。重要的是着重从系统外部执行者的角度来描述系统需要提供哪些功能,并指明这些功能的执行者(Actor)是谁。尽可能地确保所有Actor都被完全识别出来。第二步,描述主要的Use Case。可以采取不断地问自己“这个Actor究竟想通过系统做什么?”来准确地描述Use Case。第三步,
14、重新审视每个Use Case,为它们下个详尽的定义。3.3.1 角色(Actor)定义1) 使用者使用者是指在这个网络存储系统中通过客户端存储资料的人员,这个Actor主要参与客户端的注册登陆账号、搜索资料、下载、快速上传等功能。2) 管理者管理用户是指管理端的用户,即系统管理员。系统管理员是指对网络存储系统进行相关设置、维护的人员,它也是通过管理端登录对管理端的用户进行设置,分配权限等,它们的关系如图: 图3-3 管理者与使用者关系3.3.2 系统主用例图 图3-4 系统主用例图3.3.3 客户端子系统1)上传文件:用户登陆后可以上传文件,从而存储文件。2)下载文件:用户登陆后可以从系统下载
15、所需文件。3)修改密码:用户登陆后可以对本用户密码进行修改。3.3.4 管理端子系统1)用户管理:管理员登陆后,可以用用户操作,删除用户。2)空间管理:管理员登陆后,可以对用户的空间大小进行管理,更改用户空间大小。3)文件管理:管理员登陆后,可以对用户的文件进行管理,清空用户文件。4)密码管理:管理员登陆后,可以对用户的密码进行重置。3.4 性能需求3.4.1 界面需求系统的界面要求如下:1)页面内容:主题突出,站点定义、术语和行文格式统一、规范、明确,栏目、菜单设置和布局合理,传递的信息准确、及时。内容丰富,文字准确,语句通顺;专用术语规范,行文格式统一规范。2)导航结构:页面具有明确的导航
16、指示,且便于理解,方便用户使用。3)技术环境:页面大小适当,能用各种常用浏览器以不同分辨率浏览;无错误链接和空链接;采用CSS处理,控制字体大小和版面布局。4)艺术风格:界面、版面形象清新悦目、布局合理,字号大小适宜、字体选择合理,前后一致,美观大方;动与静搭配恰当,动静效果好;色彩和谐自然,与主题内容相协调。3.4.2 响应时间需求无论是客户端和管理端,当用户登录,进行任何操作的时候,系统应该及时的进行反应,反应的时间在5秒以内。系统应能监测出各种非正常情况,如与设备的通信中断,无法连接数据库服务器等,避免出现长时间等待甚至无响应。3.4.3 可靠性需求系统应保证7X24内不当机,保证20人
17、可以同时在客户端登录,系统正常运行,正确提示相关内容。3.4.4 开放性需求系统应具有十分的灵活性,以适应将来功能扩展的需求。3.4.5 可扩展性需求系统设计要求能够体现扩展性要求,以适应将来功能扩展的需求。3.4.6 系统安全性需求系统有严格的权限管理功能,各功能模块需有相应的权限方能进入。系统需能够防止各类误操作可能造成的数据丢失,破坏。防止用户非法获取网页以及内容。4 系统概要设计 4.1 功能需求与程序的关系本条用一张如下的矩阵图说明各项功能需求的实现同各块程序的分配关系:表4-1 功能需求与程序关系表功能和需求描述模块功能描述注册用户通过注册账号以便登录登录用户和管理员通过登录进入界
18、面下载文件用户在搜索到相关资料后,可以对其进行下载。上传文件用户可以把自己的资料上传到网络存储系统的存储空间中。登录管理登录管理是负责所有的管理端的登录,管理端的人员要登录到管理端必须经过登录界面,输入自己的用户名和密码,通过判断这个用户的权限信息,不同的登录人可能具有不同的权限,根据不同的权限现实不同的功能。上传管理对使用者上传的文件,管理者可以进行查看,可以及时更新并显示上传的文件,及提供上传文件的详细信息。下载管理对使用者下载文件的大小进行管理,下载权限进行管理。空间管理管理者具有分配空间给使用者的权限,可以查看使用者存储空间剩余,可以增加、删除、修改操作。文件管理对使用者上传的文件,管
19、理者可以进行查看,可以及时更新并显示上传的文件,及提供上传文件的详细信息。可以对文件进行增加、删除、修改等操作。密码管理管理者对密码可以进行查看,修改等操作。当使用者登陆时,要将其输入的密码与数据库中对应的密码进行匹配。用户管理当进入用户管理模块时,在用户管理中可以增加或删除用户,编辑用户名,用户密码,修改用户权限,具有不同权限的用户进入系统主界面。4.2 接口设计4.2.1 用户接口1) 普通用户可以上传文件、下载文件、修改本用户密码。2) 管理员可以对用户、空间、文件、密码进行管理。4.2.2 外部接口本系统暂未设计外部接口。4.2.3 内部接口软件需要通过配置数据通服务器进行连接。4.3
20、 运行设计4.3.1 运行模块组合1)用户传下载文件、查看文件夹、修改密码模块2)系统设定、管理员管理空间、用户模块4.3.2 运行控制用户登录进入自己的空间界面,点击上传来进行上传文件,点击下载来进行下载文件,点击修改密码对密码进行修改。4.3.3 运行时间1)用户修改密码模块运行时间少,用户上传下载文件运行时间多。2)管理员管理用户,修改空间大小,修改用户密码时间少。4.4 系统数据结构设计4.4.1 逻辑结构设计要点表4-2 管理员信息数据字典表(manager)数据项名称数据项类型数据项长度是否主键是否为空数据项含义数据项说明 IDchar36是否管理员编号Uuidnamevarcha
21、r50否用户名pwdChar32否密码表4-3 用户信息数据字典表(user)数据项名称数据项类型数据项长度是否主键是否为空数据项含义数据项说明 IDchar36是否管理员编号Uuidnamevarchar50否用户名pwdChar32否密码VolumeInt用户最大存储量null表示不限容量PathVarchar45否用户存储路径EmailVarchar30否用户验证邮箱注册时用于验证AreaVarchar10否注册地区SexVarchar5否用户性别UploadtimeVarchar20否用户上传文件时间4.4.2 物理结构设计要点由客户端获得数据存入服务器,不同权限的操作人员有不同的方式
22、。4.4.3 数据结构与程序的关系表4-4 数据结构与程序关系表用户上传下载用户修改密码管理员管理空间管理员管理用户用户管理员4.5 系统出错处理设计4.5.1 出错信息表4-5 出错信息表错误描述输出形式含义处理方法未能链接数据库找不到数据库服务器不连通检查防火墙不能上传下载文件上传下载失败Hadoop服务关闭开启Hadoop服务4.5.2 补救措施1)每天进行数据备份,保证备份即时更新。2)系统崩溃时重启系统,可继续工作。3)数据丢失,回复已备份的最新数据。5 Hadoop接口实现详细设计5.1 hdfs文件系统的详细结构图5-1 hdfs文件系统详细结构图5.2 Linux网络配置设计5
23、.2.1 程序描述在Linux上设置网络,使master主机和slave从机能够相互连通。5.2.2 功能主机和从机之间通过命令:ping ip 能够互相连通,从而为之后的数据存储做铺垫。5.2.3 性能要求做到瞬时响应,在命令输完,键入回车后,能立即给出ping的结果。5.2.4 输入项1)在master(主机)输入:ping slave (从机)ip2)在slave1(从机)输入:ping master(主机)ip 3)在slave2(从机)输入:ping master(主机)ip 4)在slave3(从机)输入:ping master(主机)ip 5)在slave4(从机)输入:ping
24、 master(主机)ip 5.2.5 输出项1) 输出master与每一个slave的连通结果。2)输出slave1与master的连通结果。3)输出slave2与master的连通结果。4)输出slave3与master的连通结果。5)输出slave4与master的连通结果。5.2.6 测试计划针对网络配置的文件做测试,查看配置文件的完整性是否达到要求。5.3 Linux Java环境安装5.3.1 程序描述在Linux上配置Java环境变量。5.3.2 功能安装和配置Java环境变量,为后期安装配置Hadoop,正常启动/停止Hadoop服务做准备。5.3.3 性能此处设计无性能要求。
25、5.3.4 输入项1)在master(主机)输入:java -version2)在slave1(从机)输入:java -version 3)在slave2(从机)输入:java -version 4)在slave3(从机)输入:java -version 5)在slave4(从机)输入:java -version 5.3.5 输出项在master和slave上都会输出相应配置好的JDK版本号。5.3.6 测试计划针对java配置文件做测试,查看配置文件的完整性是否达到要求;并且在master和所有slave都键入命令java -version,检查是否会输出JDK版本号。5.4 Linux S
26、SH无密码验证设计5.4.1 程序描述在Linux上配置SSH无密码验证。5.4.2 功能配置SSH无密码验证,在主机和从机之间传输数据时不需要输入密码,使得master和所有slave之间以及slave相互之间可以直接访问。5.4.3 性能此处设计无性能要求。5.4.4 输入项1)在master(主机)输入:ssh slave1/ slave2/ slave3/ slave4_ip2)在slave1(从机)输入:ssh master_ip 3)在slave2(从机)输入:ssh master_ip 4)在slave3(从机)输入:ssh master_ip 5)在slave4(从机)输入:s
27、sh master_ip5.4.5 输出项在当前状态下进入相应ip的其他master/slaves5.4.6 测试计划针对SSH无密码验证配置文件做测试,查看配置文件的完整性是否达到要求;并且在master和所有slave都键入命令ssh ip,检查是否会进入相应IP的其他master/slaves。5.5 Linux Hadoop安装配置5.5.1 程序描述在Linux master和slaves上安装配置Hadoop5.5.2 功能配置Hadoop服务,使用hdfs分布式文件系统,实现分布式网络存储。5.5.3 性能能够快速启动Hadoop服务。5.5.4 输入项1)在master(主机)
28、输入:start-all.sh2)在master(主机)输入:jsp3)在slave1(从机)输入:jsp 4)在slave2(从机)输入:jsp5)在slave3(从机)输入:jsp6)在slave4(从机)输入:jsp 5.5.5 输出项1) Master 输出: 图5-2 master输出图2) Slave输出: 图5-3 slave输出图5.5.6 测试计划针对Hadoop配置文件做测试,查看配置文件的完整性是否达到要求;并且在master和所有slave都键入命令jsp命令,在windows7浏览器输入网址,检查是否出现正确的节点信息。5.6 Linux mysql安装配置5.6.1
29、 程序描述在Linux master上安装配置mysql5.6.2 功能数据库,实现用户信息及管理员信息的存储。用户登陆、注册时调用数据库,读取信息,进行判断和存储信息。5.6.3 性能能够自启mysql数据库。5.5.4 输入项在master(主机)输入:ps -aux|grep mysql5.5.5 输出项关于Mysql信息5.5.6 测试计划针对mysql配置文件做测试,查看配置文件的完整性是否达到要求;并且在master键入命令ps -aux|grep mysql命令,查看mysql信息是否出现。5.7 Hadoop hdfs文件操作接口及实现5.7.1 程序描述Hadoop hdfs
30、文件操作接口及其实现5.7.2 功能用户上传下载时,通过该接口实现向hdfs存储文件。5.7.3 性能系统能够做出快速反应,响应快,响应时间短。5.7.4 流程逻辑 图5-2 流程逻辑图5.7.5 存储分配管理员并没有存储空间,每一个用户初始有150MB的储存空间,管理员可以对每个用户的空间进行管理。5.7.6 注释设计1) 加在模块首部的注释2) 加在各分枝点处的注释3) 对各变量的功能、范围、缺省条件等所加的注释4) 对使用的逻辑所加的注释5.7.7 测试计划针对实现的接口作测试,写一个测试方法,对上传文件、下载文件逐个功能,挨个进行测试,看是否能将数据在本地和hdfs传输。6 系统接口实
31、现6.1 上传接口实现如图6-1: (1) (2)图6-1 上传接口实现截图6.2 下载接口实现如图6-2: 图6-2 下载接口实现截图6.3 创建目录接口实现如图6-3: 图6-3 创建目录接口实现截图6.4 删除目录接口实现如图6-4: 图6-4 删除目录接口实现截图6.5 获取空间大小接口实现如图6-5: 图6-5 获取空间大小接口实现截图6.6 列出文件列表接口实现如图6-6: 图6-6 获取列表接口实现截图7 系统测试7.1 测试概要表7-1 测试概要表编号测试类型测试内容测试人数(人)工作时间(天)1功能测试根据系统需求文档和设计文档,检查产品是否正确实现了功能。112性能测试提取
32、系统性能数据,检查系统是否满足在需求中所规定达到的性能。113界面测试检查界面是否美观合理114文挡测试检查文档是否足够、描述是否合理115兼容性测试对于 B/S 架构的系统来说需要考虑用户端浏览器的版本。116容错性测试检查系统的容错能力,错误的数据输入不会对功能和系统产生非正常的影响,且程序对错误的输入有正确的提示信息117易用性测试检查系统是否易用友好118流程测试按操作流程进行的测试,主要有业务流程、数据流程、逻辑流程、正反流程,检查软件在按流程操作时是否能够正确处理119安装测试检查系统能否正确安装、配置1110配置测试检查配置是否合理、配置是否正常1111异常测试检查系统能否处理异
33、常117.2 功能测试7.2.1 功能测试计划表7-2 功能测试计划表序号测试阶段测试内容人数(人)工作时间(天)1环境准备准备mysql数据库和tomcat应用服务器、Hadoop服务及测试工具loadrunner112整理测试点根据客户操作制定功能测试方案113编写测试用例根据测试方案完成功能测试用例文档114准备测试数据根据测试用例准备测试数据115执行测试根据测试用例执行功能测试,记录测试数据和测试结果116完成测试报告根据测试执行情况完成测试报告117.2.2 功能测试用例概要表7-3 功能测试用例概要表序号测试模块测试内容1登录模块普通用户登录、管理员登录2注册模块测试当正确/错误
34、填写信息是是否注册成功3用户模块测试用户能否成功上传、下载文件,成功修改本用户密码4管理员模块测试管理员是否能成功的对用户、文件、空间、密码进行管理5退出模块测试管理员和普通用户是否能正常退出用户界面7.2.3 功能测试缺陷记录通过功能测试后,暂时没有发现缺陷。7.2.4 功能测试结果分析本系统通过了功能测试,基本上没有影响系统功能的bug出现。7.3 性能测试7.3.1 性能测试计划表7-4 性能测试计划表序号测试阶段测试内容人数(人)工作时间(天)1环境准备准备mysql数据库和tomcat应用服务器、Hadoop服务及测试工具loadrunner112整理测试点根据客户操作制定性能测试方
35、案113编写测试用例根据测试方案完成性能测试用例文档114准备测试数据根据测试用例准备测试数据115执行测试根据测试用例执行性能测试,记录测试数据和测试结果116优化性能瓶颈根据测试反映出来的性能问题优化软件系统117完成测试报告根据测试执行情况完成测试报告117.3.2 性能测试用例概要表7-5 性能测试用例概要表编号测试模块测试内容1并发用户数与事务执行情况并发用户数、事务平均响应时间、事务最大响应时间、平均每秒处理事务数、事务成功率、每秒点击率、平均流量(字节/秒)2并发用户数与数据库主机CPU利用率、磁盘I/O参数3并发用户数与应用服务器的关系表CPU利用率7.3.3 性能测试缺陷记录
36、由于电脑CPU影响,响应时间相对较慢。7.3.4 性能测试结果分析 (1) (2)图7-1 性能测试分析图7.4 界面测试7.4.1 界面测试计划表7-6 界面测试计划表序号测试阶段测试内容人数(人)工作时间(天)1环境准备准备mysql数据库和tomcat应用服务器、Hadoop服务112整理测试点根据界面要求制定界面测试方案113编写测试用例根据测试方案完成功能测试用例文档114准备测试数据根据测试用例准备测试数据115执行测试根据测试用例执行功能测试,记录测试数据和测试结果116完成测试报告根据测试执行情况完成测试报告117.4.2 界面测试用例概要表7-7 界面测试用例概要表编号测试模
37、块测试内容1窗体窗体界面风格是否合理,样式是否合理,布局是否完整,控件是否可行2消息框报错信息框、通知信息框是否有错字,是否合理3导航栏文字是否规范、图标是否合理、布局是否合理7.4.3 界面测试缺陷记录布局不够完美,可以改进。7.4.4 界面测试结果分析从整体上来说,整个界面是符合要求的。可以完善页面布局,使其更加完美。7.5 文档测试7.5.1 文档测试计划表7-8 文档测试计划表序号测试阶段测试内容人数(人)工作时间(天)1环境准备Hadoop服务112整理测试点根据界面要求制定文档测试方案113编写测试用例根据测试方案完成文档测试用例文档114执行测试根据测试用例执行功能测试,记录测试
38、数据和测试结果115完成测试报告根据测试执行情况完成测试报告117.5.2 文档测试用例概要表7-9 文档测试用例概要表编号测试模块测试内容1Linux网络配置文件配置是否完整2Linux SSH无密码验证配置文件完整性配置是否完整3Linux Java环境安装配置文件完整性配置是否完整7.5.3 文档测试缺陷记录通过文档测试,暂未发现文档测试缺陷。7.5.4 文档测试结果分析通过了文档测试,发现所有文件配置完整。8 系统总结和展望8.1 系统总结经过几个月的学习、设计,实现和不断的改正系统错误,并严格遵循软件开发的规范流程,这一系统基本实现了当初设想的基本功能:普通用户能够上传、下载文件,修
39、改本用户密码;管理员能对用户、空间、文件、密码进行管理。前期的工作主要以查找资料,了解用户需求为主。为了能够有效地实现分布式网络存储系统,就需要详细的了解用户的需求,并且还需要学习Hadoop群集技术。而中期则是对软件进行设计与分析,由于之前并没有研究过Hadoop,在后面的实现过程中遇到了很多问题,也通过各种各样的渠道解决了一些问题。总而言之,经过这一次的研究、设计与实现,于我而言,不论是论文编写能力还是设计编码能力,相较以前都有所提升。经过总结,现将本次主要完成工作归纳如下:1)在课题开始的前期,通过查阅书籍资料、网络资料寻求科学合理的解决方法。2)明确了具体的设计实现方案,并在查看相关资
40、料之后开始学习相关技术,为后期实现做准备。3)实现阶段,基本实现需求分析中所要求的主从机配置安装及接口的实现。4)最后对本次设计进行查缺补漏,并提取经验,为日后的工作打下基础。8.2 系统展望虽然本应用实现了基本功能,但是并没有做到十全十美,成为一个一流的分布式存储系统。在未来的研究中,可以加入手机版的访问界面,做到随时随地上传下载,而不一定是只能由计算机界面登录完成。参考文献1 网络存储系统需求说明书,20142 网络存储系统概要设计,20143 网络存储系统详细设计,20144 LINUX教程,清华大学出版社,20055 软件工程导论:清华大学出版社,2008.6 软件测试技术:西安电子科技大学出版社,2009.7 Hadoop基础教程,人民邮电出版社,20148 Hadoop实战,机械工业出版社,20129 Hadoop应用开发技术详解,机械工业出版社,201410