统一大数据管理

统一大数据管理 提升平安银行竞争力

作者：洪蕾

来源：《中国信息化周报》2013年第18期

平安银行是中国平安保险（集团）股份有限公司旗下重要成员，作为一家跨区域经营的股份制银行，其总资产超1.6万亿元，在全国各地设有33家分行，机构网点达450家。 随着平安银行资产规模扩大、网点数量增长和业务创新的发展，各种元数据量爆炸性增长，平安银行对数据质量的要求不断提升。原有单纯的OLTP查询已经无法满足银行业务对数据的使用需求，监管报送、统计分析、决策支持、业务拓展等管理类系统在原数据中心体系下暴露出各种问题。 拉动大数据管理

由张小玉带领的平安银行信息科技部团队敏锐地意识到上述问题。

“信息化银行的核心特征是将数据转变为信息，将信息抽象和提炼成知识、智能、智慧，为全行战略发展、决策支持、管理分析、业务拓展提供服务。”张小玉认为，“平安银行信息科技部应重视与信息加工密切相关的大数据管理，将其视为为与核心系统建设、渠道与前置建设齐头并进的三驾马车之一。”

2008年，平安银行启动大数据管理项目。秉承信息化银行特征，通过建设操作型数据存储（ODS）、企业级数据模型、统一基础架构，配套以合适的管理制度及标准，实现数据管理与数据处理的集中、整合、共享。

张小玉团队对其中核心的ODS项目做出了明确定义，作为银行数据总线，ODS每日采集各业务系统源数据，加载到ODS，进入下一个处理环节。在管理历史数据时，对数据进行标准化处理和汇总加工，构建统一数据模型，支持各类集市与应用。各业务部门可按权限共享使用全行业务数据，为业务拓展、管理分析、决策支持提供丰富、统一的数据支持。 据张小玉介绍，ODS整体架构中的功能模块可分为两类，共6个统一平台。原有应用整合类模块：统一数据管理、统一数据模型、统一数据处理；新搭建基础平台类模块：统一调度监控、统一采集归档、统一文件交换。每一个模块的定义、规划、变更实施和运维等都面临很大的挑战，包括与原有业务系统的无缝整合，新系统与线上生产系统的并行切换，对未来业务发展的支持等。

龙源期刊网 http://www.qikan.com.cn

“通过以追求卓越为过程的不断钻研，同时借鉴国际经验，我们搭建起一套完善的大数据管理基础架构。”张小玉强调，这一过程中，年轻的信息科技部团队为ODS项目顺利实施注入了鲜活力量。

诠释“科技推动业务”目标

据张小玉介绍，在ODS项目建设中，信息科技部团队深入业务部门详细调研、充分沟通，得到了业务层的理解支持，并获得了大量业务指导和应用建议。因此，该项目不仅在技术上实现突破，在业务应用上也亮点突出。

一般而言，国内金融机构的信息系统有个从分散到集中的过程，原有MIS系统建设往往是单兵作战，各部门、各分支机构自为阵各显神通，导致开发不规范、运维不通用的弊端非常突出。而且各个业务系统、各个分支机构数据源分散、数据存储分散、同一元数据多处定义多处修改管理等问题也是大型金融机构面临的共性难题，经常是一个小的变更就牵涉到大量接口系统的调整，但因为存在大量历史数据，决策者一般很难下定决心彻底整合。

“通过ODS项目的建设，平安银行实现了统一的数据管理和处理。”张小玉向记者介绍，“一方面，通过建立面向ODS的元数据管理平台，我们实现了源→ODS→统一数据模型→应用汇总发布的元数据管理体系，辅以数据管理相关各项工作制度、开发标准、命名规范、质量标准、码值标准，可以从整体角度考虑数据集成与应用汇总之间的平衡。”

“另一方面，平安银行在全行层面统一数据处理，推动ETL工具使用，对所有数据处理环节进行统筹管理和调度执行，逐点检查和优化上下游依赖关系、优化和提升单环节处理性能，确保实现T+1数据支持。”张小玉向记者介绍。

除此之外，ODS项目的一个核心价值在于建立了一个统一数据模型。“在以往的信息系统建设过程中，开发人员往往是上一个系统就新定义一个数据模型，只考虑在本系统内的使用效率。随着项目和数据累积，连DBA都不再了解数据模型的意义。”张小玉表示，“在本项目中，信息科技部团队通过定义元数据管理标准和规范，对贴源数据、LDM数据、应用发布数据，实现了统一管理和建模。并且基于ODS数据处理，构建了面向全行各类管理信息应用数据处理的统一调度监控平台，实现对文件传输、数据集成、数据处理、数据发布的全流程管理和监控，使得运营操作人员可以直观地通过界面执行数据处理操作并监控运行状态，降低了夜间批处理运维的复杂性，提升了系统稳定性和安全性。 有效助力两行顺利整合

2010年，平安集团启动深圳发展银行、平安银行从业务整合到品牌再造、从总行机构到一线网点的整合工作。在此过程中，IT系统整合作为收官之战成为重中之重。ODS作为全行数据总线，发挥了积极的纽带作用，承担了两行数据采集、加工、发布，并确保上下游接口平

龙源期刊网 http://www.qikan.com.cn

滑过渡的关键任务。由于ODS整体架构的完整性、合理性、前瞻性，基础平台的实用性、稳定性，以及大数据管理流程制度的规范性、可执行性，快速实现了两行数据统一采集、建模、发布，确保了80%以上接口的平滑迁移。

目前，平安银行信息科技部已完成ODS两期建设以及两行整合改造，并建立了团体、协议、事件、财务、申请、产品、风险等七大主题模型，为主机、信用卡、信贷、渠道、网银等99个下游系统提供统一的数据发布。目前，两行主机、公贷、个贷、信用卡、前置、中间业务、管理应用等108个系统的数据都已实现集成。同时，通过ODS平台可以向各分行拆分和下发近20类业务数据，有效地为分行业务团队提供经营分析与销售支持。

得益于科技部前瞻性的规划研究，高效开发实施和与银行业务的密切衔接，平安银行ODS项目已荣获2011年度“银行科技发展奖”二等奖。