《IBM SPSS Modeler 教程.docx》由会员分享，可在线阅读，更多相关《IBM SPSS Modeler 教程.docx（17页珍藏版）》请在三一办公上搜索。
1、IBM SPSS Modeler 教程IBM SPSS Modeler 说明 数据挖掘和建模 数据挖掘是一个深入您的业务数据，以发现隐藏的模式和关系的过程。数据挖掘解决了一个常见的问题：您拥有的数据越多，就越难有效地分析并得出数据的意义，并且耗时也越长。金矿无法开采，通常是由于缺乏人力、时间或专业技术。 数据挖掘使用清晰的业务流程和强大的分析技术，快速、彻底地探索大量的数据，抽取并为您提供有用且有价值的信息，这正是您所需要的“商务智能”。 尽管您数据中的这些以前未知的模式和关系本身很有趣，但一切并不止于此。如果您可以使用这些过去行为的模式来预测未来可能发生的事情，那又会怎样？这就是建模的目标
2、- 模型，它包含一组从源数据中抽取的规则、公式或方程式，并允许您通过它们生成预测结果。这正是预测分析的核心。 关于预测分析 预测分析是一个业务流程，其中包含一组相关技术，通过从您的数据中总结出有关当前状况与未来事件的可靠结论，帮助制定有效的行动措施。它是以下方面的组合： 高级分析 决策优化 高级分析使用多种工具和技术，分析过去与现在的事件，并预测未来的结果。决策优化确定您的哪些措施可以产生最好的可能结果，并确保这些建议措施能够最有效地融入到您的业务流程中。 有关预测分析如何工作的深入信息，请访问公司网站 建模技术 建模技术基于对算法的使用，算法是解决特定问题的指令序列。您可以使用特定算法创建相
3、应类型的模型。有三种主要的建模技术类别，IBM SPSS Modeler 为每种类别提供了一些示例： Classification 关联 细分 分类模型使用一个或多个输入字段的值来预测一个或多个输出字段的值。这些技术的部分示例为：决策树、回归、神经网络、Support Vector Machine (SVM) 和贝叶斯网络。 关联模型查找您数据中的模式，其中一个或多个实体与一个或多个其他实体相关联。这些模型构建定义这些关系的规则集。数据中的字段可以作为输入和目标。您可以手动查找这些关联，但关联规则算法可以更快速地完成，并能探索更多复杂的模式。Apriori 和 Carma 模型是使用此类算法的
4、示例。另一种类型的关联模型是序列检测模型，后者可以在按时间建立结构的数据中查找顺序模式。 细分模型将数据划分为具有类似输入字段模式的记录段或聚类。细分模型只对输入字段感兴趣，没有输出或目标字段的概念。细分模型的示例为 Kohonen 网络、K-Means 聚类、两步聚类和异常检测等。 我如何知道使用哪种技术？ 有这样种类繁多的技术摆在面前，很难知道从哪里开始解决您的特定问题。幸运的是，IBM SPSS Modeler 可以通过自动化建模形式替您做出其中的部分决定。这是一种功能强大的技术，它能评估和比较多种不同建模方法，并按有效性顺序对它们进行排序。这样，您可以在单次建模运行中尝试多种方法。 自
5、动建模 使用说明 要启动该应用程序，请从 Windows“开始”菜单的 SPSS Inc 程序组中选择IBM SPSS Modeler 14.1。几秒钟后，屏幕上将显示主窗口。 在数据挖掘过程中的每一个阶段，均可通过 IBM SPSS Modeler 易于使用的界面来邀请特定业务的专家。建模算法可确保得到强大而准确的模型。模型结果可以方便地部署和读入到数据库、IBM SPSS Statistics 和各种其他应用程序中。 使用 SPSS Modeler 即处理数据的三个步骤。 首先，将数据读入 SPSS Modeler， 然后，然后通过一系列操纵运行数据， 最后，将数据发送到目标位置。 这一操
6、作序列称为数据流，因为数据以一条条记录的形式，从数据源开始，依次经过各种操纵，最终到达目标 流工作区是 IBM SPSS Modeler 窗口的最大区域，也是您构建和操纵数据流的位置。 通过在界面的主工作区中绘制与业务相关的数据操作图表来创建流。每个操作都用一个图标或节点表示，这些节点通过流链接在一起，流表示数据在各个操作之间的流动。 在 SPSS Modeler 中，可以在同一流工作区或通过打开新的流工作区来一次处理多个流。会话期间，流存储在 SPSS Modeler 窗口右上角的“流”管理器中。 IBM SPSS Modeler 中的大部分数据和建模工具位于节点选项板中，该选项板位于流工作
7、区下方窗口的底部。 例如，可以使用“记录选项”选项板选项卡中包含的节点对数据记录执行操作，如选择、合并和追加等。 要将节点添加到工作区，请在节点选项板中双击图标或将其拖放到工作区。随后可将各个图标连接以创建一个表示数据流动的流。 每个选项板选项卡均包含一组不同的流操作阶段中使用的相关节点，如： 源。此类节点可将数据引入 SPSS Modeler。 记录选项。此类节点可对数据记录执行操作，如选择、合并和追加等。 字段选项。此类节点可对数据字段执行操作，如过滤、导出新字段和确定给定字段的测量级别等。 图形。此类节点可在建模前后以图表形式显示数据。图形包括散点图、直方图、网络节点和评估图表。 建模。
8、此类节点可使用 SPSS Modeler 中提供的建模算法，如神经网络、决策树、聚类算法和数据排序等。 数据库建模。 节点使用 Microsoft SQL Server、IBM DB2 和 Oracle 数据库中可用的建模算法。 输出。节点生成可在 SPSS Modeler 中查看的数据、图表和模型等多种输出结果。 导出。节点生成可在外部应用程序中查看的多种输出。 SPSS Statistics。 节点将数据导入 IBM SPSS Statistics 或从中导出数据，以及运行 SPSS Statistics 过程。 随着对 SPSS Modeler 的熟悉，您也可以自定义供自己使用的选项板内
9、容。 可以使用“流”选项卡打开、重命名、保存和删除在会话中创建的流。 “输出”选项卡中包含由 IBM SPSS Modeler 中的流操作生成的各类文件，如图形和表格。您可以显示、保存、重命名和关闭此选项上列出的表格、图形和报告。 “模型”选项卡是管理器选项卡中功能最强大的选项卡。该选项卡中包含所有模型块，这些模型块包含针对当前会话在 SPSS Modeler 中生成的模型。这些模型可以直接从“模型”选项卡上浏览或将其添加到工作区的流中。 窗口右侧底部是工程工具，用于创建和管理数据挖掘工程。有两种方式可查看您在 IBM SPSS Modeler 中创建的工程 - 类视图或 CRISP-DM 视
10、图。 依据“跨行业数据挖掘过程标准”，这一业内认可且无所属的方法理论，“CRISP-DM”选项卡提供了一种组织工程的方式。不论是有经验的数据挖掘人员还是新手，使用 CRISP-DM 工具都会使您事半功倍。 “类”选项卡提供了一种在 SPSS Modeler 中按类别组织您工作的方式。此视图在获取数据、流、模型的详尽目录时十分有用。 IBM SPSS Modeler 中最常见的鼠标用法如下所示： 单击。使用鼠标左键或右键选择菜单选项，打开上下文相关菜单以及访问其他各种标准控件和选项。单击并按住按键可移动和拖动节点。 双击。双击鼠标左键可将节点置于流工作区并编辑现有节点。 中键单击。单击鼠标中键并
11、拖动光标可在流工作区中连接节点。双击鼠标中键可断开某个节点的连接。如果没有三键鼠标，可在单击并拖动鼠标时通过按 Alt 键来模拟此功能。 建模简介 模型是一组规则、公式或方程式，可以用它们根据一组输入或变量来预测输出。例如，一家财务机构可根据对过往申请人的已知信息，使用模型预测贷款申请人可能存在优良还是不良风险。 能够预测结果是预测性分析的中心目标，并且了解建模过程是使用 IBM SPSS Modeler 的关键。 本示例使用决策树模型，该模型使用一系列决策规则对记录进行分类，例如： 如果收入 = 中等 并且卡 “优良” 本示例使用 CHAID模型时，旨在进行常规的介绍，大部分概念会广泛应用于
12、 SPSS Modeler 中的其他建模类型。 无论要了解哪种模型，均需要首先了解进入该模型的数据。此示例中的数据包含有关银行客户的信息。其中使用了下列字段： 字段名 描述 字段名 年龄 收入 教育 Car_loans 描述 Age in years 收入水平：1=低，2=中，3=高 教育程度：1=高中，2=大学 贷款的汽车数量：1=没有或一辆，2=超过两辆 Credit_rating 信用评价：0=不良，1=优良，9=丢失值 Credit_cards 持有的信用卡数量：1=少于五张，2=五张或更多 银行可维护一个包含银行贷款客户历史信息，包括这些客户是正在还贷还是在拖欠贷款的数据库。银行希望
13、使用现有的数据建立一个模型，允许他们预测未来贷款申请人拖欠贷款的可能性。 使用决策树模型，您可分析两组客户的特征，并预测拖欠贷款的可能性。 本示例使用了名为 modelingintro.str 的流，该流位于 streams 子文件夹下的 Demos 文件夹中。数据文件是tree_credit.sav。请参阅 主题 Demos 文件夹 详细信息。 我们来看一下流。 从主菜单中选择下列选项： 文件 打开流 单击“打开”对话框的工具栏上的金色模型块图标，然后选择 Demos 文件夹。 双击 streams 文件夹。 双击名为 modelingintro.str 的文件。 构建流 要构建流以创建模型
14、，至少需要三个元素： 一个从某些外部源读取数据的源节点，在本示例中为 IBM SPSS Statistics 数据文件。 一个指定字段属性的源节点或“类型”节点，字段属性包括测量级别以及每个字段在建模过程中的角色是目标还是输入等。 一个在运行流时生成模型块的建模节点。 在本例中，我们使用 CHAID 建模节点。CHAID，或卡方自动交互效应检测，是一种通过使用称作卡方统计量的特定统计类型识别决策树中的最优分割来构建决策树的分类方法。 如果在源节点中指定了测量级别，则可以去掉单独的“类型”节点。从功能上来说，结果是一样的。 该流中还包含“表”节点和“分析”节点，创建模型块并将其添加到流中后，将使
15、用这两个节点查看评分结果。 Statistics 文件源节点从tree_credit.sav 数据文件读取 SPSS Statistics 格式数据，该文件安装在 Demos 文件夹中。 类型节点指定每个字段的测量级别。测量级别是一种指示字段中数据类型的类别。我们的源数据文件使用三种不同的测量级别。 连续字段包含连续的数字值，而名义字段有两个或多个不同值，例如不良、优良或无信用历史。有序字段用于描述具有顺序固定的不同值的数据，在本例中为低、中和高。 对于每个字段，类型节点还指定角色，以指示每个字段在建模中扮演的部分。将字段信用评价的角色设置为目标，此字段指示指定的客户是否拖欠贷款。这是目标，或
16、者是要预测其值的字段。 对于其他字段，将角色设置为输入。输入字段有时也称为预测变量，或建模算法用其值来预测目标字段值的字段。 CHAID 建模节点生成模型。 在建模节点的“字段”选项卡中，已选中使用预定义角色，这意味着将按在类型节点中的指定使用目标和输入。我们可以在此处更改字段角色，但本例中我们不做任何更改使用这些角色。 单击“构建选项”选项卡。 此处包含的选项可以用于指定要构建的模型类型。 由于我们想要一个全新的模型，因此使用默认选项构建新模型。 我们还要求它为单个标准决策树模型，并且不包含任何增强，因此保留默认目标选项构建单个树。 我们可以选择启动允许对模型进行微调的交互建模会话，本示例只
17、使用默认设置生成模型来生成模型 对于此示例，我们希望保持树的结构简单，因此通过增加用于父节点和子节点的最小个案数限制树的增长。 在“构建选项”选项卡上，从左侧的导航器窗格选择停止规则。 选择使用绝对值选项。 将父分支中的最小记录数设置为 400。 将子分支中的最小记录数设置为 200。 在本例中，我们可以使用所有其他默认选项，因此单击运行以创建模型。 浏览模型 执行完成后，模型块将添加到应用程序窗口右上角的“模型”选项板中，它还会置于流工作区中，并带有指向创建它的建模节点的链接。要查看模型的详细信息，右键单击模型块并选择浏览或编辑。 对于 CHAID 模型块，“模型”选项卡以规则集的形式显示详
18、细信息，规则集实际上是可根据不同输入字段的值将各个记录分配给子节点的一组规则。 对于每个决策树终端节点-意味着那些树节点没有进一步拆分-返回优良或不良的预测值。对于落在该节点内的记录，所有个案中的预测均由模式或最常见的响应决定。 在规则集的右侧，“模型”选项卡显示预测变量重要性图表，该图表显示评估模型时每个预测变量的相对重要性。通过这一点，我们看到收入水平在此个案中最显著，而其他唯一显著的因子是信用卡数量。 模型块中的“查看器”选项卡以树的形式显示相同的模型，每个决策点上都有一个节点。可使用工具栏上的缩放控件放大特定节点，或缩小节点以查看更完整的树。 查看树的上部分，第一个节点为我们提供数据集
19、中所有记录的摘要。数据集中超过 40% 的个案分类为不良风险。这是相当高的比例，因此让我们看看树是否能为我们提供哪些因子负责的任何线索。 我们可以看到第一个分割是根据收入水平。收入水平位于低类别的记录被指定到节点 2，并且看到此类别包含贷款拖欠人的最高百分比不足为奇。我们可以很明显地了解，此类别中的客户具有高风险。 但是，此类别中的 16% 客户实际上没有拖欠，因此预测并非始终准确。没有模型能够预测每一个响应，但好的模型能够根据可用数据预测对每一个记录作出的最常见的响应。 同样，如果我们查看高收入客户，我们看到绝大部分 (89%) 是优良风险。但是在这些客户中 10 位中有超过 1 位也会拖欠
20、。我们能精炼自己的贷款标准以便将此处的风险最小化吗？ 注意模型如何根据持有的信用卡数量，将这些客户分成两个子类别。对于高收入客户，如果我们只向那些信用卡少于 5 张的客户贷款，则可以将我们的成功率从 89% 提高到 97%-甚至更满意的结果。 但中等收入类别中的那些客户是什么情况？他们更加均匀地划分为优良和不良评价。 子类别仍然能帮助我们。这次，只向那些信用卡少于 5 张的中等收入客户贷款，可将优良评价的百分比从 58% 提高到 85%，这是显著的改进。 因此，我们了解到输入此模型的每项记录都将被分配到一个特定节点，并且根据该节点最常见的响应分配优良或不良的预测值。 为各个记录分配预测值的这一
21、过程称为评分。通过对用于评估该模型的相同记录进行评分，可以评估该模型执行训练数据的准确度。让我们看看如何做到这一点。 评估模型 我们浏览了模型以了解评分方式。但是，如果要评估模型的准确度，则需要对一些记录进行评分，并将模型预测的响应与实际结果进行比较。接下来对用于评估该模型的相同记录进行评分，以将观察到的响应与预测响应进行比较。 要查看分数或预测值，请将表节点添加到模型块，然后双击“表”节点，并单击运行 表在名为 $R-Credit rating 的字段中显示预测分数，该字段由模型创建。我们可以将这些值与包含实际响应的原始信用评价字段进行比较。 按照惯例，在评分过程中生成的字段的名称基于目标字
22、段，但是要加上标准前缀，例如 $R- 表示预测值，$RC- 表示置信度值。不同的模型类型使用不同的前缀集。置信度值是模型自己的评估，尺度从 0.0 到 1.0，表示每个预测值的精确程度。 与预期的一样，预测值与大多数记录的实际响应相匹配。原因是每个 CHAID 终端节点均有混合响应。预期值与最常见的响应相匹配，但对于该节点中的其他响应，该预期值是错误的。 若要避免出现此情况，应继续将树分割为更小的分支，直到每个节点都是不含混合响应的 100% 纯节点为止即全部为优良或不良。但是，这样的模型可能会非常复杂，并且不易推广到其他数据集。 要查看具体有多少预测值正确，我们可通读表格，并计算预测字段$R
23、-Credit rating 的值匹配信用评价的值的记录数量。幸运的是，这里有更简单的方式-我们可使用分析节点，它自动进行此项操作。 将模型块连接到分析节点。 双击“分析”节点，然后单击运行。 分析表明，2464 个记录中有 1899 个记录的模型预测值与实际响应相匹配。 此结果受到评分的记录和用于评估模型的记录相同的事实的限制。在真实情况中，可使用分区节点将数据分割为培训和评估的单独示例。 通过使用一个样本分区生成模型并使用另一个样本对模型进行检验，您会得到该模型推广到其他数据集的情况。 通常分析节点，可以针对已知道其实际结果的记录来检验模型。下一阶段介绍如何使用模型对我们不知道结果的记录进
24、行评分。例如，这可能包括当前不是银行客户的人员，但他们是促销邮寄的潜在目标。 对记录评分 之前，我们对用于评估模型的相同记录进行了评分，以评价模型准确程度。现在，我们要查看如何对和用于创建模型不同的记录集进行评分。这是使用目标字段进行建模的目标：研究已知道其结果的记录，以标识您可以从中预测未知结果的模式。 可以更新 Statistics 文件源节点，使它指向其他数据文件，也可以添加一个新的源节点，从它读取要评分的数据。无论采用哪种方式，新数据集包含的输入字段必须与模型所使用的相同，但不包含目标字段信用评价。 另外，也可以将模型块添加到包含预期的输入字段的任何流中。无论是读取文件还是数据库，只要
25、字段名和类型与模型使用的相匹配，源类型都无关紧要。 也可以将模型块保存为单独的文件、将模型导出为 PMML 格式以用于其他支持此格式的应用程序，或将模型存储到 IBM SPSS Collaboration and Deployment Services 存储库中，这样可以在企业范围对模型进行部署、评分和管理。 无论使用何种基础结构，模型自身都按相同的方式工作。 摘要 本示例演示创建、评估模型以及对模型评分的基本步骤。 建模节点通过研究已知道其结果的记录来评估模型，并创建模型块。这有时称为训练模型。 可将模型块添加到包含预期字段的任何流中，以对记录进行评分。通过对已知道其结果的记录进行评分，可以
26、评估模型的运行情况。 如果您对模型的运行情况感到满意，则可以对新数据进行评分，以预测他们的响应。 用于训练或评估模型的数据可以称为分析数据或历史数据；评分数据也可以称为操作数据。 对客户响应建模 通过“自动分类器”节点，您可以为标志或名义目标自动创建和比较大量的不同模型。在本例中，我们将查找标志结果。在一个相对简单的流中，节点生成一组候选模型并对它们进行排序，选择最有效的模型，然后将它们合并为一个汇总模型。此方法将自动化操作的方便性与组合多个模型的优势融为一体，从而产生任何单一模型所不能带来的更为准确的预测。 本示例以某虚构的公司为例，该公司希望通过为每个客户提供最适用的报价以获取更丰厚的收益
27、。 本示例使用安装在 streams 目录下 Demo 文件夹中的流pm_binaryclassifier.str。所使用的数据文件为pm_customer_train1.sav。 文件 pm_customer_train1.sav 的历史数据可跟踪过去的营销活动中为特定客户提供的报价，由campaign 字段的值表示。Premium account 活动中的记录数最大。 campaign 字段的值在数据中实际编码为整数。稍后，您可为这些值定义标签以用于给出更有意义的输出。 此文件还包含一个响应字段，该字段表明所提供的报价是否被接受。这将是您希望预测的目标字段或值。 此外，其中还包括若干包含每
28、位客户的相关人口统计和财务信息的字段。这些字段可用于构建或“训练”一个可基于类似收入、年龄或每月交易次数等特征预测单个用户或用户群响应率的模型。 构建流 添加指向pm_customer_train1.sav 的 Statistics 文件源节点，该文件位于 IBM SPSS Modeler 安装程序的 Demos 文件夹中。 添加类型节点，然后选择响应作为目标字段。将此字段的“测量”设置为标志。 对于以下字段，应将角色设置为无：customer_id、campaign、response_date、purchase、purchase_date、product_id、Rowid和 X_random
29、。当您构建模型时，将忽略这些字段。 单击类型节点的读取值按钮以确保值获得实例化。 从前文看出，我们的源数据包含有关四项不同活动的信息，每个活动针对不同类型的客户帐户。这些活动在数据中编码为整数，以方便记住每个整数所代表的帐户类型，让我们为每一个都定义标签。 在活动字段的行上，单击值列中的条目。 从下拉列表选择指定。 在标签列中，键入活动字段四个值中每个值所显示的标签。 单击确定。 现在您可在输出窗口中显示标签而非整数了。 将表节点附加到类型节点。 打开“表”节点，然后单击运行。 在输出窗口上，单击显示字段和值标签工具栏按钮以显示标签。 单击确定关闭输出窗口。 尽管数据包含有关四项不同活动的信息
30、，但每一次的分析应集中关注其中一项活动。由于 Premium account 活动中的记录数最大，因此可以使用选择节点实现仅在流中包含这些记录。 生成和比较模型 附加一个自动分类器节点，然后选择总体精确性作为对模型进行排序的度量。 将要使用的模型数设置为 3。这意味着在执行节点时将构建三个最佳模型。 在“专家”选项卡上，可从最多 11 种不同模型算法中进行选择。 取消选择判别式和 SVM 模型类型。 由于在“模型”选项卡上将要使用的模型数设置为 3，因此节点将计算余下九个算法的准确性，并构建包含三个最准确算法的单个模型块。 在“设置”选项卡上，对于整体方法，请选择置信度加权投票。此选项确定如何
31、为每条记录生成一个汇总得分。 使用简单投票方式时，若三个模型中有两个模型均预测是，则是将以 2 比 1 的投票结果取胜。在使用置信度加权投票方式的情况下，将基于各预测的置信度值进行加权投票。因此，如果一个预测否的模型的置信度比两个预测是的模型合在一起的置信度还高，则否取胜。 单击运行。 几分钟后，将构建生成的模型块，并放到工作区和窗口右上角的“模型”选项板中。您可浏览模型块，或以多种其他方式将其保存或部署。 打开模型块，它将列出在运行期间所创建的每个模型的详细信息。 如果需要进一步探索任何单独的模型，可在模型列中双击此模型块图标，以向下浏览至单独模型结果，您可以从中生成建模节点、模型块或评估图
32、表。在图形列中，可以双击缩略图生成标准大小的图形。 默认情况下，模型会基于总体精确性排序，因为这是您在自动分类器节点“模型”选项卡中选择的度量。根据这一度量，C51 模型的精确性最高，但 C&R 树和 CHAID 模型的精确性与之相差不大。 您可以通过单击其他列的标题对该列进行排序，或者也可以从工具栏的排序方式下拉列表中选择所需的度量。 基于这些结果，您可决定使用所有三个最准确的模型。通过结合多个模型的预测，可以避免单个模型的局限性，从而使整体准确性更高。 在使用？列中，选择 C51, C&R 树和 CHAID 模型。 在模型块后附加一个分析节点。右键单击分析节点，然后选择运行以运行流 由整体
33、模型生成的汇总得分将显示在名为 $XF-response 的字段中。当根据训练数据度量时，预测值与实际响应匹配的总体精确性为 92.82%。 尽管这不如本例中三个模型的最高精确性高，但它们之间的差距小得可以忽略不计。一般来说，整体模型应用到除训练数据之外的数据集中时，通常更有可能效果较好。 摘要 综上所述，您使用自动分类器节点比较了多种不同的模型，然后使用三个最准确的模型并将它们添加到位于一个整体自动分类器模型块内的流中。 基于总体精确性，“C51”、“C&R 树”和 CHAID 模型对于训练数据效果最佳。 整体模型与最好的单个模型相比效果相差不大，而且当应用到其他数据集时可以起到更好的效果。如果您的目标是尽可能多地自动执行这一过程，您可以通过此方法获得在大多数情况下都很稳健的模型，而无需深入挖掘任意一个模型的细节。
