集团数据分析平台建设方案

1. 项目理解

1.1 项目背景

　 　作为一家管理着超过亿元总资产业务处于高速发展的大型集团公司，投集团很早就意识到信息化的重要性。为此集团打造了一套围绕高速工程建设项目全生命周期管理的企业级系统架构，为实现项目成本、进度、质量、安全、合同、信息、沟通协调、工程资料等项目管理细节的信息化，支持项目全周期、全方位管理，以及进行资金、人力、材料、库存、设计各个方面的统一管理，迫切需要搭建一体化的数据分析决策平台，以数字为依据提高领导决策的科学性、准确性、先进性。

1.2 建设目的

搭建中间库，将各系统数据抽取关联，etl后存储到中间库，这样可以实现将各系统数据关联整合，然后从中间库取数呈现。对于领导来说，不再存在各个系统的概念，直接通过统一平台便可以查看整合起来的全面的可视化数据呈现。

2. 总体方案设计

2.1 整体思路

2.1.1建立中间数据库

面向主题设计：根据具体的业务需求以及领导的分析模式来量身设计；用ETL工具从各个核心业务系统的数据库提取，转换数据，加载到统一的数据库中，即中间数据库。

2.1.2报表开发

基于报表软件（FineReport），依托中间库，采用19种控件，16种图表类型，56种图表样式，无失真导入导出EXCEL，三种打印方式进行报表开发设计，实现各种主题业务的汇总、查询、分析、预警等。采用多变量分析等方法，对数据进行分析，发现潜在关系，对下一步行为决策提供依据。

2.1.3数据报表展现与分析

基于中间数据库，按照实际业务的统计维度，结合图表展现、数据多级钻取、数据汇总对比计算等方式方法，进行丰富多样的数据展现分析，为各部门领导提供客观、准确的数据分析结果。

2.1.3平台及权限管理

基于报表软件（FineReport）的决策平台，结合角色控制与报表维度，实现对不同用户的数据填报、数据查看分析的权限管理，将权限粒度精确锁定到每一个单元格；同时，报表系统可以与门户portal集成，单点登录，无需再单独构建用户角色体系，实现快捷方便的统一权限管理。

2.2 总体技术架构

2.2.1 展现层

展现层是面向用户的, 报表软件（FineReport）提供了完全基于浏览器的纯浏览器界面，即使是复杂报表制作和动态查询也不需要插件，用户可以直接在浏览器中鼠标托拽实现各种操作。

这一层还包括其他系统对报表软件（FineReport）中服务和内容的调用。可以是其它的商业化门户，或者ASP、JSP页面，也可以是JAVA等各种语言编写的客户端。

2.2.2 应用层

应用层包括了报表软件（FineReport）完成用户请求的各种服务(dispatcher，报表，事件管理等、Content Manager等)。

报表软件（FineReport）支持的应用服务器包括：Weblogic ，Websphere， Oracle AS，SAP NWAS，SAP J2EE Engine，Tomcat等各种应用服务器。

2.2.3 数据层

数据层是后续所有步骤的数据来源，数据层包括了用户的数据，以及系统相关信息的数据。这里指中间数据库。

2.3 统一应用平台

报表分析平台采用B/S架构，用户通过Web浏览器即可访问系统，凭用户名密码查看其对应权限下的报表。

3. 中间数据库设计

3.1 数据来源

当前来源：浪潮ERP、OA、生产层系统MES、设备管理系统、能源管理系统等。

潜在来源：后期新系统的数据库，通过多级上报收集的数据。

3.2 数据仓库架构

通过ETL功能从各个核心业务系统数据库提取，转换数据，加载到统一的中间数据库中，基于中间库对有效数据进行汇总分析展现。

3.2.1 总体构架图

3.2.2 ETL技术方法

3.3 数据整合

etl工具：FineETL、kettle（开源）、informatica、datastage、SSIS、ODI等。

数据库：Oracle 、sql server 、DB2、Mysql等主流关系型数据库即可。

整合过程：

ETL是将业务系统的数据经过抽取、清洗、转换之后加载到数据仓库的过程，目的是将企业中分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节，ETL设计的好坏直接关接到BI项目的成败。    ETL的设计分三部分：数据抽取、数据的清洗转换和数据的加载。在设计ETL的时候我们也是从这三部分出发。 ETL三个部分中，花费时间最长的是“T” (Transform，清洗、转换)的部分。一般情况下，这部分工作量是整个ETL的2/3。数据的加载一般在数据清洗完了之后直接写入DW (Data Warehousing，数据仓库)中去。

5、统一应用平台

报表决策系统可以方便快捷的将文件管理起来，包括报表管理、用户管理、权限管理、定时调度、系统管理、平台外观、系统监控、移动平台等，且能够灵活地配置出符合用户风格要求的系统样式。

用户登录报表系统后，可根据自身业务特点，能够进行快速报表设计，对报表进行自定义创建或修改，并能够进行最终报表的发布，选择指定查看人。

系统可并列建多个机构，同一机构下可建立多层级组织，并支持对机构信息的方便修改，机构隶属关系的灵活调整，可设置机构在系统中的权限。

可在各机构下方便地建立系统用户。可单独设置用户在系统中的功能权限。要求系统具备角色设置功能，可建立多级业务角色，并将角色赋予用户。系统允许按角色进行赋权的操作，使用户继承角色所拥有的权限。

系统具备日志管理功能，对系统运行日志进行浏览、查询检索、备份保存、清除、恢复、打印等操作。系统日志包括用户登录系统后的所有操作，如用户登录、退出系统的时间、用户对数据的操作及用户使用过程中的出错提示等。

支持定时任务管理，支持定时填报和定时生成报表，定时发送邮件，制定报表生成目录。

报表系统易于跟其他业务系统、应用平台集成，可实现单点登录。

系统为B/S架构的Web应用，采用Java开发，基于J2EE标准，可跨平台部署与跨数据库部署。支持通过B/S管理平台配置报表服务的各种属性，完全不需要编码。

系统具有良好的可靠性、易用性（用户界面）、集成性、可维护性、可扩展性、可管理性等。