《[精品]证券公司数据分析与报表展现平台项目建设方案投标文件 技术部分.doc》由会员分享，可在线阅读，更多相关《[精品]证券公司数据分析与报表展现平台项目建设方案投标文件 技术部分.doc（241页珍藏版）》请在三一办公上搜索。
1、财达证券有限责任公司数据中心建设项目投标书正本财达证券有限责任公司数据中心项目投标文件 技术部分 北京xxxx信息技术有限公司本文件涉及信息为北京XXXX信息技术有限公司专有信息，敬请视同机密文件处理。除因需要而得到授权的财达证券有限责任公司及本公司有关人员外，请勿以任何形式向他人或任何第三方透露。 2011年10月18日目 录1总体概述101.1项目背景101.2总体设计目标101.3阶段建设目标101.4系统范围112整体解决方案122.1总体原则122.2总体架构132.2.1逻辑架构142.2.2物理架构142.2.3网络架构192.2.4标准化中间件192.2.5调度监控管理202.
2、3数据仓库建模方案212.3.1数据模型设计思路和原则212.3.2证券业概念模型222.3.3数据仓库解决方案242.3.4元数据设计模型322.3.5数据建模工具和方法352.4数据存储架构方案382.4.1数据层次392.4.2数据流转服务402.4.3存储管理412.4.4系统性能设计422.5标准化流程、模板432.5.1ETL流程432.5.2数据质量控制流程482.5.3规范及模板542.6信息安全解决方案552.6.1数据安全和访问机制阐述552.6.2数据保护技术552.6.3数据访问控制552.6.4数据备份和恢复策略552.6.5ETL流程调度和监控562.6.6数据存储
3、和传输的安全563应用系统解决方案573.1总体结构573.1.1总体结构图573.1.2报表实施流程603.2综合报表633.2.1综合报表分类描述643.2.2综合报表功能描述653.2.3报表服务平台673.2.4报表数据模型673.2.5综合报表实现683.3领导驾驶舱系统723.3.1功能结构图723.3.2数据模型733.3.3系统分析实现753.4分析型客户关系系统（ACRM）803.4.1360度客户基本信息视图803.4.2客户全方位分析视图813.4.3客户交易渠道分析863.4.4客户其他指标分析863.4.5客户数量分析873.4.6新开户客户分析873.4.7客户持仓
4、分析873.4.8客户交易分析873.4.9客户交易与持仓分析873.4.10客户资金变动分析883.4.11营销分析883.4.12产品综合管理883.4.13数据模型893.4.14系统分析实现893.5数据接口及数据分发平台903.5.1数据模型923.5.2系统分析实现924软硬件配置清单944.1选型依据944.1.1ETL选型依据944.1.2BI选型依据954.1.3ODS/EDW选型依据964.1.4数据模型选型依据974.1.5硬件系统选型依据974.2软件配置994.3硬件配置1005网络架构方案1075.1设计思想1075.2网络方案设计1075.2.1总体描述1075.
5、2.2核心局域网建设方案1085.2.3网络配置需求1085.3网络安全1095.3.1安全风险分析1095.3.2安全建设目标1105.3.3安全系统设计原则1105.3.4网络系统安全设计1116项目实施方案1156.1总体实施计划1156.2人力资源投入计划1156.2.1项目组织结构图1156.2.2项目组织结构图说明1166.2.3项目各方职责1176.2.4人力资源计划1196.3第一期第一阶段实施方案1196.3.1阶段性实施目标1196.3.2阶段性实施策略1206.3.3阶段性实施计划1226.3.4项目开发体制1236.3.5阶段性项目验收1246.4第一期第二阶段实施方案
6、1246.4.1阶段性实施目标1246.4.2阶段性实施策略1256.4.3阶段性实施计划1286.4.4项目开发体制1296.4.5阶段性项目验收1306.5第一期第三阶段实施方案1306.5.1阶段性实施目标1306.5.2阶段性实施策略1306.5.3阶段性实施计划1326.5.4项目开发体制1336.5.5阶段性项目验收1346.6第二期实施方案1346.6.1阶段性实施目标1346.6.2阶段性实施策略1346.6.3阶段性实施计划1366.6.4项目开发体制1376.6.5阶段性项目验收1386.7项目质量控制1386.7.1项目管理规范1386.7.2项目质量保证1396.7.3
7、配置管理1396.7.4配置管理活动1406.8项目风险及风险控制1416.8.1风险分析1416.8.2风险控制计划1426.9项目变更管理计划1426.10项目过程的沟通协调机制1426.10.1重大问题的汇报1436.10.2项目组内部的沟通协调1436.10.3与其他项目组的沟通协调1436.10.4与相关部门的沟通协调1436.11测试实施1436.11.1测试目标1436.11.2测试方法及内容1446.11.3实施规划1446.12项目验收1496.12.1开发文档文件的验收1496.12.2应用软件的验收1496.13项目成果移交1506.13.1应用系统源代码1506.13.
8、2开发过程文档1506.13.3项目提交件质量标准1516.13.4知识转移1536.14实施计划变更1546.15项目阶段描述1546.16售后服务1566.16.1服务承诺1576.16.2故障级别的定义1586.16.3障碍升级定义与标准1586.16.4故障申报及修正流程1596.16.5闭环的故障消除保障流程1596.16.6技术支持架构1606.16.7支持服务人员1606.16.8技术支持服务内容1616.16.9XXXX支持服务流程1626.16.10石家庄分支机构1636.16.11北京技术服务中心1636.16.12系统故障响应费用1637产品白皮书1647.1InfoSp
9、here DataStage产品介绍1647.1.1产品简介1647.1.2特性介绍1657.2InfoSphere CDC产品介绍1737.2.1InfoSphere CDC的技术特点1747.2.2InfoSphere CDCapture解决方案的优势1757.2.3InfoSphere CDC方案的特性1767.2.4使用InfoSphere CDC用户可以得到的利益1767.3Cognos BI 产品介绍1777.3.1产品架构1777.3.2主要模块1797.3.3可扩展性1817.3.4安全性1827.3.5灵活性1837.3.6流程1867.4InfoSphere Warehou
10、se产品介绍1877.4.1产品架构1877.4.2产品功能特性1877.5MOIA.RSP产品介绍1947.5.1MOIA.RSP简介1947.5.2MOIA.RSP逻辑架构1957.5.3MOIA.RSP主要界面1957.5.4MOIA.RSP功能1977.6MOIA.DSP介绍1977.6.1内容提要1977.6.2Moia历史1987.6.3产品定位1997.6.4产品结构2007.6.5功能简介2007.6.6拓扑结构2027.6.7调度支持2037.6.8调度引擎2057.6.9支持的计算模式2097.6.10数据管理服务2107.6.11事件服务2137.6.12高级功能2137
11、.6.13开发流程2147.6.14用户角色2147.6.15用户界面2157.6.16MOIA用户2157.6.17MOIA的价值2167.6.18应用案例2168附件221第 241 页1 总体概述1.1 项目背景财达证券作为全国性证券公司，拥有大量客户， 伴随着证券市场的日益成熟，证券交易活跃，市场竞争加剧，这些都对财达证券各项业务监管、风险控制、客户服务与营销、业务创新等提出了更高的要求。为了更好的满足公司业务、管理对数据集中应用的要求，财达证券需要建立统一的企业级数据仓库平台，及时有效地获取各项业务系统数据，进行数据集中管理和统一整合，建立统一的数据标准，形成准确、完备的数据访问平台
12、，为各个业务部门数据分析、客户服务、公司营销及业务监管提供基础支撑。1.2 总体设计目标财达证券数据中心的总体建设目标是建立基础数据模型、ETL平台、ETL管理调度平台、数据分发管理平台、经营绩效数据分析汇总及展现平台等，形成统一数据标准、确保数据采集完整、保证ETL数据质量、形成统一的数据展现。具体目标为：1、 完成数据标准化工作，形成公司唯一的、标准化数据源，支撑各业务管理系统的数据访问。2、 完成公司各项业务数据的统一采集、统一存储、统一访问管理等功能3、 建立集中财达证券各项业务数据的基础数据平台，完成财达证券所要求的数据输入输出交换实施。4、 使用专业成熟的ETL工具，进行不同种类数
13、据的抽取、转换、加载等各项部署、实施，并能对启动条件、依赖关系、状态及错误日志统一管理。5、 实现ETL全流程调度自动化管理，对ETL过程进行全面监控和管理维护。6、 提供标准和灵活的数据交换接口，保证现有系统平滑过渡到数据中心，支持公司拟建和未来需要建设的各类系统。7、 按需要提供各类数据的汇总，满足数据报表和不同主题数据集市的需要。8、 通过对基础数据模型的分析，支持数据集市，展现经营状况。9、 建立服务财达证券实际要求的数据中心技术架构。1.3 阶段建设目标数据中心项目实施涉及系统众多、实施复杂度高、周期长的特点。为保障项目顺利实施，将周期为7.5个月的项目分成3个阶段进行实施，每个阶段
14、具有相应的里程碑事件，具体目标如下：1、 第一阶段计划实施工期1.5个月，2010/11/202010/12/31，具体建设目标如下： 完成与数据中心相关业务系统的调研。 建立数据模型。 完成数据标准化工作，形成数据标准化的整体规范，并经财达证券业务部门认可。 建立符合财达证券的企业级数据仓库技术架构。 实施ETL定时，完成集中交易系统、法人清算系统、融资融券系统、投资管理系统、营销管理系统、财务管理系统、客户服务综合平台的现有数据采集、整合、入库。 实现基于数据中心的综合查询系统。2、 第二阶段计划实施工期2个月，2011/01/012011/02/28，具体建设目标如下： 完善数据模型及数
15、据仓库技术架构。 完成ETL的全部实施，并提供数据完整性、正确性以及可用性检查机制。 完成实时增量数据采集。 完成ETL管理调度平台建设。 初步实现数据分发管理平台开发。3、 第三阶段计划实施工期4个月，2011/03/012011/06/30，具体建设目标如下： ETL实施完善，并全部上线。 完成数据接口及数据分发管理平台开发部署及任务配置，并上线使用。 完成领导驾驶舱的系统开发，并正式部署上线。 完成ACRM的系统开发，并正式部署上线。 为公司其他在用和在建业务系统提供数据。1.4 系统范围本次数据中心项目实施涉及到的源系统和目标系统如下所示：2 整体解决方案2.1 总体原则数据中心建设是
16、个系统化工程，为确保系统建设成功，在系统设计、技术实现过程中需要遵循如下一些原则：1、 标准化原则系统方案的制定需要满足业界通用的系统建设准则，在系统需求与应用的结合、系统架构的确定、系统组件的划分、系统实施的考虑等方面，可以借鉴同业的建设经验，在业界标准、规范的系统建设准则下，结合系统建设要求制定出通用高效的方案。2、 可扩充原则系统方案的制定需要结合信息化建设的长远规划，充分考虑业务需求与发展要求，满足系统容量与系统效率要求，在系统设计上即能做到适应不断发展扩大的业务需求，又能做到最大限度地保护现有的软硬件的投入，为联机分析应用的持续发展奠定良好的基础。3、 开放性原则系统建设遵循开发标准
17、，采用行业标准技术，采用可扩展的系统架构，开放式语言，保证系统可在异构的系统之间方便移植。能够实现与现有相关系统的完全对接。4、 先进性原则系统技术架构与技术实现手段应在金融行业具有一定领先性。5、 前瞻性原则系统在满足现有业务要求的基础上，必须为未来业务发展变化留有拓展空间，方便对新业务的扩展与支持。6、 高效性原则因为涉及大数据量的处理，而且随着BI应用对业务人员、业务主管工作重要性的逐渐提升，目标系统对数据处理时间的要求会越来越严格，因此，在数据中心构建上需要确保高效性，在大数据量处理及大规模用户在线情况下系统仍能高效运行。7、 稳定性原则系统满足高峰处理的需要，适应各种特殊情况给系统带
18、来的压力。8、 安全性原则系统必须建立在成熟稳定的硬件环境和应用软件基础上，通过完善的备份恢复策略、安全控制机制、运行管理监控和故障处理手段来保障系统的安全、稳定。9、 可维护性原则系统应提供对对运行情况的完善的监测与控制功能，方便系统维护，在系统处理异常时能够根据日志，方便快捷的定位出错位置、原因，并可主动告警。10、 实用性原则结合财达证券各类业务系统的需求和发展现状提供系统产品平台，能够充分满足系统的业务功能需求，并能够兼顾到未来系统发展。11、 一致性原则系统方案的制定需要考虑与现有的信息化建设发展规划保持一致性。由于现有系统纷繁复杂，数据存在交叉的情况，需要考虑这些系统作为数据源进行
19、数据整合时，如何保持一致的处理逻辑，并保证在以后基于这些数据分析的结果具有一致性。一致性原则具体体现为：统一技术架构、统一数据架构、统一应用架构、统一技术标准和规范、统一的开发工具、统一开发流程。12、 松耦合原则数据中心的主要功能定位是数据交换和加工、存储，因此数据中心的数据是尽量不能和任何应用需求产生紧耦合的，应确立数据中心和应用的松耦合原则。也就是说，所有应用都应该也只能访问自己的数据库（也称为数据集市），而不能用SQL等方式直接访问数据中心的数据。2.2 总体架构在数据中心建设总体原则指导下，结合财达证券实际情况，综合各个方面的因素考虑，系统总体架构设计如下：数据中心从总体上包含以下五
20、个主要部分： 基础设施(物理架构)n 对于应用数据平台中使用的各种硬件资源的规划和部署； 这些硬件资源包括：数据库服务器、ETL集群、调度服务器、报表集群、文件传输集群、共享文件存储等； 软件和工具n 数据中心应用建设中的基础软件和工具：操作系统、数据库服务器管理软件、ETL工具软件、报表工具软件、全局调度和监控软件等； 存储管理n 数据存储策略、数据备份和恢复策略、数据生命周期管理、报表数据的存放和备份清理策略等； 数据架构：n 数据的在数据分区间流转、数据的组织(数据模型)、数据在数据流转过程中的属性(元数据管理)； 标准、规范、流程和模板n 贯穿数据中心及BI建设过程和处理流程中的各种规
21、范性文档和实施流程。2.2.1 逻辑架构数据中心是企业IT环境中重要的基础设施，其核心价值是提升企业经营管理辅助BI系统建设的ROI。因此其建设需要站在企业级的高度进行设计，整个企业内部构建一套标准的、可扩展的、开放的、先进的、高效的、稳定的、安全的、可维护的基础计算环境。通常企业信息化过程以应用为单位组织软硬件资源，为保证相关应用的平稳运行，需要为其最大化的配置相关资源，造成大量资源浪费。云计算及虚拟化是未来的企业级计算的发展方向，因此有必要将企业的计算资源统一规划、统一使用、统一维护管理，实现企业级计算资源的共享。2.2.2 物理架构数据中心按照企业级共享计算资源池设计，遵循相关设计原则：
22、 标准化原则n 该架构为当前业界主流数据整合硬件架构，符合行业标准。 可扩充原则n 数据获取、数据加工、报表、数据库、数据分发、数据存储、应用服务器、调度监控全部采用集群技术，Grid Anywhere。完美实现系统的横向扩展性。 开放性原则n 所有硬件均采用行业标准硬件，具有标准化的相关接口，保证系统开。放性。 先进性原则n 此架构为当前金融行业数据中心建设领先架构，符合云计算与虚拟化的流行技术方向。 前瞻性原则n 系统高度可扩展，根据业务发展可以随需应变，满足未来需要。 高效性原则n 系统采用主流的集群计算架构，实践证明该架构可以满足每天TB级数据整合架构处理。提供最廉价，性价比最优的解决
23、方案 稳定性原则n 采用成熟的硬件产品及集群计算架构，可以保障系统的连续运行要求。 安全性原则n 系统建立在行业标准的硬件环境基础上，通过Grid Anywhere保证系统的运行安全性，在单一节点故障情况下可以实现自动切换，保证系统的连续运行。n 为保障生产网安全运行，禁止管理网段直接访问生产网，通过防火墙进行隔离，生产网数据通过CDC推送的方式传输到管理网。 可维护性原则n 通过集中的调度、监控服务器对数据中心的所有任务进行管理，可以实现高效的系统维护与管理。 实用性原则n 系统硬件根据现有业务需求进行配置，满足现有需求，并保留未来扩展空间。 一致性原则n 建立企业级的计算环境，确保企业内部
24、相关环境的一致性。2.2.2.1 ETL服务集群ETL是BI应用建设的基础，ETL技术的出现和发展在BI技术发展的过程中具有里程碑式的意义。而以往企业的BI建设缺乏良好规划，每个业务部门都在立项建设自己的BI应用，因此每个BI应用都要从业务系统抽取数据，加工转换之后加载到BI应用的数据库中。这样每个BI应用不仅要购置ETL工具，ETL硬件资源，还要开发大量的ETL作业，这不仅造成了投资的浪费，开发工作的大量重复，对数据的使用缺乏统一的规范。而且造成很多BI应用直接访问业务系统的数据库，对业务系统数据库的性能、可维护性和安全性都造成了严重影响。如上图所示，构建面向整个企业级所有BI应用的ETL基
25、础设施(基础组件)，这个ETL组件将为企业中所有的BI应用提供ETL服务。各BI应用不再购置自己的ETL硬件资源和ETL产品。这个ETL组件由专门的数据部门进行统一管理和维护。企业级的ETL组件可以很好地完成企业的数据交换，达到数据标准化、规范化使用、减少资源投入的目的。建立企业级的ETL基础设施，具有下列优点： 大大减少资源投入，避免重复投资； 减少重复的开发工作； 有利于数据的规范和标准化使用； 使企业的BI应用架构更加清晰； 便于对企业的数据交换情况进行集中管理和监控；在集群模式下，ETL基础设施由一系列的普通PC Server构成，这些PC Server由调度Server进行集中管理和
26、调度。在一个ETL集群内，还可以划分成多个处理域(Domain)，也可以只包含一个Domain。每个处理域由一个或多个ETL SERVER 和若干个ETL CLIENT 组成。ETL SERVER主要负责ETL JOB的具体执行计划制定与分配。ETL CLIENT 主要负责ETL SERVER 分配的作业模块的具体执行，是作业的具体执行者。 实现企业软硬件资源的共享； 提供最廉价，性价比最优的ETL解决方案 提供了无限的横向扩展能力，企业无须再为数据规模的增长而发愁； 大规模的并行计算能力为海量数据的处理提供了强大支持； 整个架构不需要备份机，保障系统安全运行。集群中任何节点(调度Server
27、, ETL server和ETL Client)发生故障时，可以有集群中其它机器快速接管，特别是当ETL Client发生故障时候，无须人工干预，接管工作自动执行； ETL Server和调度Server发生故障时，只需要通过监控界面执行简单操作即可。2.2.2.2 报表服务集群报表的生成和展现，如同ETL 一样，在企业BI建设中是一种最基础的服务，因此本着集约的原则，我们将报表服务器作为集群方式部属，提供给其中所有需要报表生成和展示的应用使用。如上图形所示，我们将建立报表服务集群，集群中由一台报表集成门户服务器和多台报表服务器组成(逻辑上的)，各应用自行开发报表后将报表生成作业Package
28、部署到报表服务集群中集中运行，当各应用运行中需要请求报表服务时，将通过HTTP 方式向报表集成服务器发送报表请求，报表集成服务器将安装ADT MOIA.RSP，它实现报表集成和报表服务器管理，实现报表任务的动态分配和负载均衡。使用企业级报表服务集群的好处是： 实现企业软硬件资源的共享； 提供最廉价，性价比最优的大数据量报表解决方案； 提供了无限的横向扩展能力，企业无须再为数据规模的增长而发愁； 整个架构不需要备份机，保障系统安全运行。2.2.2.3 数据库服务器集群热备数据库服务器磁盘阵列数据库服务器 数据采用磁盘阵列存储， 数据库服务器共享磁盘阵列，通过数据库的群集功能实现数据库服务群集。从
29、而达到故障时生产不受影响。 群集2.2.3 网络架构在上面的网络拓扑关系图中，我们将网络划分为服务网络，数据库网络和存储网络。服务网络主要用于系统间调度服务器、ETL集群、报表服务器集群和数据库服务器三者之间的信息的交互和共享；存储网络主要用于系统间调度服务器、ETL集群、报表服务器集群和共享存储之间的信息交互和共享；数据库网络主要用于数据库服务器和数据存储之间的信息交互和共享；数据中心建设基于系统集群节点的并行处理，需要大量的信息交互，因此，上述三个网络的网络带宽均需要到达千兆网络的标准，以保证ODS内部的大量信息交互。集群内部主要使用的网络协议有：TCP/IP、HTTP、FTP、TELNE
30、T、NFS等。2.2.4 标准化中间件在企业级计算环境提供强大的计算能力、扩展能力等特性的同时，需要标准化的中间件部署在企业级计算环境中作为计算需求应用的基础服务。需要的计算服务为： 增量数据获取服务n 由CDC（Change Data Capture）软件提供基于数据库日志的准实时的、精确的增量数据获取服务。在此推荐使用IBM公司的InfoSphere CDC作为CDC工具。 数据加工处理服务n 数据中心是由大量的ETL（Extract Transform Load）过程有机结合构成的一个整体，因此ETL工具处于数据中心建设中数据加工的核心地位，需要一个能够实现并行扩展，适应集群架构的高效工
31、具。IBM的DataStage是ETL领域的领先产品，在国内金融行业具有众多成功案例及集群架构的最佳实践经验。 数据存储服务n 数据的流转与保存需要存在在高性能、稳定的数据库软件中，此部分采用InfoSphere Warehouse数据库。 报表服务n 数据中心服务的目标除了CRM等标准应用之外，还需要为业务统计分析、查询等提供数据展现服务，作为企业级报表平台的基础。此部分采用招标方选定的Cognos BI软件。2.2.5 调度监控管理企业级数据中心建设时一个系统工程，复杂度高、周期长，涉及到的数据处理步骤多，需要多种中间件协同配合来完成系统数据的有效流转于加工。如何指挥各个细分领域优秀的软件
32、有效协同，提升系统健壮性、保障系统高效性，降低运维难度，成为数据中心建设的重大难点。为了实现上述目标，需要一个先进的全局调度、监控管理软件。XXXX根据多年的实践经验，自主研发了企业级信息应用管理平台软件MOIA。主要功能为： Active Anytimen 自动剔除失败节点并重新运行失败节点上已运行任务n 自动切换调度主节点，保证主节点永久存活，保障业务连续性 多种调度管理对象n DataStage Jobn 各种可在命令行执行的程序及Commandn 各平台内置脚本编制的程序文件n 存储过程n 解释性语言编制的程序文件如Perl、SQL等 多种任务触发条件n 灵活的调度功能，按照执行日历、
33、执行时间窗口、作业依赖关系、数据依赖关系等多种条件，组合产生满足作业运行的条件。 深度集成CDC、DataStage、Cognosn API级驱动任务运行n 自动读取DataStage Job开发、配置信息 高效任务调度引擎n 调度流程管理；n 任务扫描和调度；n 可拖拉的图形化配置、依赖条件管理等； 有效的外部集成n “事件驱动”的调度模式，能将您的应用无缝集成到MOIA中，实现企业BI应用的全局调度；n 通过事件驱动实现异常情况下的外部通知。 动态负载均衡n 根据作业的逻辑复杂度和硬件资源情况，动态为Moia平台中作业做负载均衡处理； 数据管理n 业务数据管理；数据权限管理；n 数据部署管
34、理；数据状态管理。 资源管理n 资源采集和监控、动态负载均衡、动态并发控制 系统管理n 提供配置管理、用户管理、平台管理、日志管理、手工控制、监控服务等系统级功能2.3 数据仓库建模方案2.3.1 数据模型设计思路和原则1、 数据模型设计的主要思路 能够满足对证券多种业务分散的数据源进行有效整合 n 数据模型是一套对业务架构进行高度抽象和全面支持的设计思想，因此其基础是对业务架构的深层次理解；n 数据模型的设计是一个非常复杂而艰辛的过程，需要经过对目前和将来可预见的业务需求的深入分析，才能建立一个适应性强的数据模型； 便于对证券业务数据按主题概念进行理解和规范 n 参考国内外专家金融业建模经验
35、；n 每个主题下设计相应的数据模型，最后构成整个企业统一的基础数据模型； 对不同类型的数据进行统一组织、管理n 数据模型的实施需要有数据整合的经验积累；n 定义数据元素，把这些元素组织成主题/实体并组织这些主题/实体之间的关系；2、 模型设计的原则 统一规范 灵活性原则 可扩展性原则 高效性原则 实用性原则 存储空间合理性原则 3、 模型设计的依据 以数据源为基础：基于证券现有业务发展情况，在对集中交易系统、清算系统、投资管理系统等系统数据源进行详细和全面分析的基础上，结合未来业务发展的方向，使数据模型具有广泛的涵盖性、良好的扩展性、优越的高效性和实用性； 目标应用驱动：针对可预见的目标应用对
36、数据模型进行的必要调整，实现多个目标应用的公共加工汇总要求； 统一规范和管理：对证券业务数据按主题概念进行理解和规范，对不同类型的数据进行统一管理；4、 模型设计的目标 统一数据视图n 完整的数据n 良好的数据组织：合理的主题划分、明确的实体间关系等n 统一的数据解释n 清晰的数据流向 高度的数据可用性n 合理的数据冗余n 合理的存储分布策略n 必需的共性加工2.3.2 证券业概念模型1、 主题域数据仓库逻辑模型的设计通常采用自顶而下的方法，首先针对需求涉及范围内的业务对象从高度概括的概念层次归类，即划分主题域，再针对各个主题设计实体关系图。数据中心LDM参照了国际先进的FS-LDM模型，FS
37、-LDM（金融业逻辑数据模型）是TD多年来在全球实施近230家金融业数据仓库项目的经验结晶 如下图所示。整个逻辑数据模型把复杂的金融业务归纳成团体、产品、账户、事件、渠道、组织、地理区域和行销活动等八大主题。它蕴含了现代金融的分析决策和客户关系管理的各个方面。FS-LDM模型参照如下：设计思路：基于FS-LDM，根据所设定的目标和数据范围，确定需要建设的主题范围，构建LDM的原型框架。LDM原型框架决定数据仓库的数据组织原则和基本形式，也决定了数据仓库的应用范围和应用模式。 财达证券的数据中心的概念模型设计将参照参考了Teradata在金融领域提出的FS-LDM，对IBM的FMDM进行补充和完
38、善。2、 证券公司信息流分析证券行业的信息流，可分为以下几种： （a）客户信息流 （b）交易信息流 （c）资金信息流 （d）行情信息流 （e）基本信息流 （f）公告信息流 （g）政策信息流 （h）自用业务 （i）投行业务 （j）CRM系统 （k）营销系统 （l）绩效管理 （k）风险管理其中，按照其语义系统又可以分成7类。前a-c以交易主体为核心，可以归纳为交易数据集合。 d-g围绕交易对象展开，可以归纳为行情数据集合。 hI 是围绕业务种类展开，可以归纳为产品信息集合。 J可 是围绕营销和客户关系展开，归纳为营销服务集合。Lm围绕人力绩效和系统风险展开，归纳为内控数据集合。2.3.3 数据仓库
39、解决方案2.3.3.1 以TD的FS-LDM模型为基础参照TD的 FS-LDM（金融业逻辑数据模型），该模型多年来在全球实施近230家金融业数据仓库项目。把金融系统数据按照 组织机构、产品、客户、客户资产、事件、渠道、财务、合同、地理区域和行销活动（营销）等10个主题进行组织。XXXX保留了LDM中主题类别，对事件中的所定义的客服归入到营销主题。把客户名称修改为当事人。2.3.3.2 参照IBM的FSDM模型FSDM(Financial Services Data Model)是一个企业级数据模型，包括了金融机构约80%的业务数据。用于把预定义的业务模板连接到核心银行业务数据和数据仓库中。FS
40、DM把相关业务数据分为9大主题，它蕴含了现代金融的分析决策和客户关系管理的各个方面。 共包括“相关当事方、协议、条件、产品、位置、分类、业务方针、事件、资源项”。FSDM主题关系图如下图所示：FSDM大约提供了40多种业务模板，是IBM多年与世界各大金融机构合作的经验，涵盖了银行和证券及保险相关金融机构。业务模板包括如下4类：关系市场分析: 包括：市场策划分析、客户贡献分析、促销分析、个人客户归档、交叉销售分析、客户投资分析、客户忠诚度分析、客户行为分析、市场导向分析；利润分析: 包括：客户终生价值分析、产品利润、机构利润、客户利润、营销渠道利润、绩效衡量、地区利润、客户行为成本、产品分析。风
41、险分析: 包括：不良贷款评估、信用档案、欠款分析、安全分析、利率敏感分析、关系人风险。资产负债管理: 包括：基金成熟度分析、中央银行报表、收益分析、流动资产分析。XXXX保留了LDM中除去“条件”“业务方针”外的主题，对事件中的所定义的客服归入到营销主题。按照业务模板推导出16个数据集市。2.3.3.3 数据仓库的本质分析数据仓库的最基本职能就是数据集成和管理，但最基本职能不代表最简单，异构信息的采集存在诸多难点，如下图所示：信息采集的难点针对目前核心交易系统、清算系统、财务系统、资管系统、三方存管系统、融资融券系统、网上交易系统、风险监控系统、CRM系统、短信平台系统等的现状，将把上述系统作
42、为数据仓库的关键数据源。在建设初期，我们将把核心交易系统以及相关业务系统的数据集中存放、整合，快速构造数据平台，满足最迫切的业务应用需求。同时，我们将以核心交易系统为基础，参考FMDW构建逻辑数据模型，实现企业数据仓库的平滑过渡。源系统的选择标准和纳入数据仓库的先后顺序原则主要是：l 源业务系统选择标准：1. 按照IBM金融行业数据模型FSDM的数据概念要求梳理数据源信息。具体的逻辑数据模型组织可以参考FMDW，进行相应的定制。FSDM与FMDW之间的管理如下图所示：2. 按照业务和应用的需求优先级3. 系统能够产生有分析价值的数据l 纳入数据仓库的先后顺序原则：根据战略价值、数据充足度和实施
43、难易度、投资回报性来综合考虑，优先实施战略价值高、数据充足、易实施、投资回报高的。优先考虑全企业集中的系统和运行稳定的系统。2.3.3.4 主题域的定义1. 按照FSDM的要求。FSDM具有9大主题，包括相关当事方、协议、条件、产品、位置、分类、业务方针、事件、资源项，内容如下：2. 按照业务和应用的需求。3. 根据IBM与业务合作伙伴丰富的实施经验，选取有价值的表和字段。2.3.3.5 数据整合在选定数据源与数据内容的基础上进行的数据抽取、加载、转换工作同样面临各种信息整合加工难点，概要总结如下图所示：信息整合加工难点分析要保证ETL工作的顺利实现，灵活高效的专业ETL软件工具不可或缺。一般
44、建议的数据仓库ETL任务安排可以划分为以下五部分内容，如图所示：数据仓库ETL任务安排示意图ETL工作的目标包括：n 创建可扩展、高效、灵活的系统架构n 设计完整的数据集成架构，提高数据质量n 建立一套能提高开发效率的ETL架构n 抽取共性的数据处理，统一实施，提高整体实施效率，减少重复实施成本。 n 具备提供当前全量数据和存储短期全量数据的能力，并满足各类数据需求。 n 屏蔽源系统、减少或避免目标系统对源系统的干扰。 n 建立数据管理-控制机制。IBM建议的ETL工具主要是datastage，主要具备以下优势：n 图形化专业的ETL处理平台n 优异并行ETL处理能力，支持Cluster架构，使系统具有无限的横向扩展能力以适应数据量的快速增长n 丰富组件满足各种类型的业务需求
