《MSMiner课程项目介绍.ppt》由会员分享，可在线阅读，更多相关《MSMiner课程项目介绍.ppt（20页珍藏版）》请在三一办公上搜索。
1、MSMiner课程项目介绍,史忠植 陈明智能科学课题组中科院计算所智能信息处理重点实验室,多策略数据挖掘平台软件MSMiner,MSMiner(Multi-Strategies Data Miner)是一个针对决策支持的以数据仓库为基础的通用数据挖掘平台软件，同时提供了一个轻量级的数据仓库解决方案。,MSMiner是什么?,数据仓库的设计、建模 第三方工具如PowerDeginer数据转换与集成 MSETL数据存储与管理 第三方工具 如 Oracle,SQLServer等数据分析和展现 MSOLAP 采用第三方查询、报表工具。数据仓库的维护和管理 MSMetaData,一个数据仓库解决方案主要
2、包括：,统计分析或数据挖掘工具 MSDM,背景介绍,MSMiner由中科院计算所智能信息处理重点实验室从1999年开始设计和实现，经历了早期的VB版本，后来又用VC重新实现，目前正在开发3.0版本。,MSMiner体系架构,MSMiner的数据仓库以功能强大的元数据管理MetaServer为调度中心,数据仓库管理工具 MSMetaData,ETL（数据抽取、装载、转换）工具 MSETL,OLAP（联机分析处理）工具MSOLAP,数据挖掘(Data Mining)工具 MSDM,MSMiner功能特点,MSMiner的若干特点：,1）通过ODBC接口将数据存储在第三方关系数据库(如Oracle、
3、Sybase、SQL Server、Informix和IBM DB2等），支持多种不同的数据源；,2）采用DLL形式封装数据挖掘算法，从而可以灵活扩充，这样就提供了丰富的挖掘策略。,3）以对话框向导引导用户建立ETL和数据挖掘任务，以面向对象的方式来组织和执行ETL和数据挖掘任务,4）在挖掘任务执行引擎中，提供了任务调度功能，可以定时定期地执行挖掘任务，同时采用多线程技术并发地执行挖掘任务和任务中的步骤。,MSMiner启动时欢迎界面,MSMiner登录界面MSMiner控制台,MSMiner数据仓库管理子系统MSMetaData,MSMiner ETL子系统MSETL,MSMiner联机分析
4、处理子系统MSOLAP,MSMiner数据挖掘子系统MSDM,课程项目内容要求,对MSMiner数据挖掘子系统进行扩展开发，选择实现下列某种算法：1聚类算法：k-means、k-harmonic2分类算法：C4.5、SVM、GA3关联规则：Apriori、FP-tree4神经网络,提交要求和项目流程,提交要求和项目流程如下：1）可以两至三人为一小组工程实现；2）实现结果为符合MSMiner数据挖掘子系统挖掘算法DLL接口规范要求的DLL文件。3）开发完毕，在机房MSMiner环境下进行测试。4）最后提交程序源码和实验报告，在实验报告中要写清算法步骤、说明以及心得体会等，源码要求有清晰明确的注释
5、。,课程项目预备知识,以下为完成此项目的预备知识：深刻掌握一种或几种数据挖掘算法，如聚类、分类、关联规则、神经网络算法等，能够用 C/C+编程实现。熟悉 VC+6.0 IDE 编程环境，掌握 MFC 编程机制及其用法。了解组件编程技术，能够开发简单的 DLL 程序。数据库基础知识、熟悉 SQL 语句。,课程项目提供的资源,可供参考的资源：1）MSMiner数据挖掘 子系统挖掘算法DLL的 接口详细说明2）两个算法DLL开发示例(BP算法、SOM算法)3）算法DLL公共代码框架(一组工程文件，工程名为AssocALG)4）训练数据与测试数据5）书：史忠植 著.知识发现.清华大学出版社.2002.
6、P295326，可帮助了解 MSMiner 体系设计、编程架构等背景知识。,常见问题解答,几个常见问题的说明：,1）Q：为什么要实现DLL程序，可以实现成可执行程序吗？,A：因为本次实验要开发算法DLL程序，目的正是用于封装数据挖掘算法，并最终由MSMiner数据挖掘子系统所调用。所以不能实现成可执行程序。,2）Q：算法DLL接口规范是否很复杂，难以在短时期内实现？,A：我们已经提供了算法DLL接口规范文档，接口函数只有四个，其中只有两个要自己实现，其余两个可直接使用示例代码。开发人员要做的就是将算法功能实现和封装，使得可以通过两个接口函数MSMiner就能所用该算法的功能。,3）Q：我注意到
7、接口规范中提供算法DLL的公用函数类CPublicFunc，它有什么用？,DLL算法程序1,MSMiner数据挖掘子系统MSDM,DLL算法程序2,DLL算法程序3,DLL算法程序n,元数据管理MetaServer,.,在每个算法的具体实现中，不可避免的要实现数据的输入输出及相关参数的存储。而在整个MSMiner平台中，数据的输入输出等由元数据管理模块统一管理。因此，DLL程序要与元数据管理模块打交道。,与元数据管理模块交互用到时了COM技术，为了降低开发负担，我们提供了CPublicFunc公共函数类，该类提供了一些成员函数，封装调用了元数据管理模块MetaServer的很多功能。开发人员可生成实例对象，直接调用其成员函数与元数据管理组件服务程序交互，避免去了解COM技术。,4）Q：算法的数据输入输出及参数设置界面是统一的吗？,A：算法肯定要涉及到数据输入输出及参数设置，我们建议数据输入输出设置界面参照示例DLL程序，这样使界面风格较为一致。参数设置界面可以有自己的风格。,5）Q：要完成此项目，有没有什么捷径？,A：好好利用提供的资源，尤其是两个示例DLL程序，源码已经提供，你会从中得到很多启示。,谢谢大家!,
