[南昌市本级]江西中恒招标咨询有限公司关于南昌市数据共享和开放一体化平台-公共资源交易主题库采购项目（招标编号：JXZH2020G010-09）电子化公开招标公告

信息来源：http://（略）cn/web/jyxx/00（略）/1.html （二）详细技术要求 1、建设背景 为贯彻落实《国务院关于印发促进大数据发展行动纲要的通知》（国发〔2015〕 50 号）、《**省人民政府关于印发促进大数据发展实施方案的通知》（赣府 发〔2016〕5 号）、《关于加快推进全省政务数据共享的工作方案》（赣府厅字 〔2018〕95 号）等文件精神，从破解制约大数据创新发展的突出矛盾和问题出 发，推进数据**开放共享，推动大数据统筹管理，打破数据**壁垒，深化数 据**应用，促进信息融合和产业跨界结合，加快推进我市政务服务系统支撑平 台应用，我市将按照国家要求和**省的工作部署，加快**市政府部门政务信 息系统清理整合、政务信息**共享开放，并完成整合后的系统统一接入全省电 子政务共享数据统一交换平台，推动实现政务服务系统支撑平台的统建共用，形 成互联互通、共享交换、安全防护等综合服务能力，为支撑政务业务协同、数据 汇聚共享奠定坚实基础。 2、项目需求分析 充分利用**市信息化现状建立**市政务信息共享开放体系。一是建立政 务服务信息**目录，按需与各类信息系统共享信息**；二是升级改造统一数 据交换平台，实现全市内部各子系统之间的数据共享交换；三是建设共享基础数 据库体系支持各业务部门从**中心获取共享或开放的数据，根据不同的需求对 获取的数据经清洗、加工、比对之后形成相应共享基础库与共享主题库，将清洗 过后的数据对外提供服务。并将所有经过数据交换平台的数据全量沉淀到大数据 局。**市数据共享和开放一体化平台建设具体的需求如下： 1）利用云计算、大数据等现代信息技术，充分整合现有政务数据**。 2）以政务数据**开发利用为主题，以数据采集、融合、服务为主线，构 建全市统一的政务**中心及相关基础数据。 3）通过数据治理，将不同源头的数据加以清洗比对，形成数据共享基础库， 以数据共享基础库为基础，根据业务需要形成针对各种业务的主题库（人口共享 库、法人共享库、地理空间共享库、宏观经济共享库、信用共享库、教育主题库、 纳税主题库、社保主题库、公共**交易主题库、电子证照主题库、投资项目主 题库、文化旅游主题库、医疗健康主题库、生态环境主题库、重点人才主题库、 交通主题库），根据具体的业务场景，以接口等形式对外提供服务。 4）实现跨部门、跨系统、跨网络和跨平台的数据交换、信息共享和业务协 同，形成**目录、数据交换、安全管理、标准规范、接口服务等体系。 5）有序推进政务**共享开放，提供一站式的政府数据开放共享服务，形 成与各行业部门、政府部门的数据开放共享体系。 3、建设方案 3.1 总体建设目标和分期建设目标 项目共分一期建设，依托我市现有的信息系统建设现状，利用云计算、大数 据等现代信息技术，充分整合现有政务数据**；以政务数据**开发利用为主 题，以数据采集、融合、服务为主线，构建全市统一的政务**数据中心及相关 基础数据库、主题库；实现跨部门、跨系统、跨网络和跨平台的数据交换、信息 共享和业务协同，形成**目录、数据交换、政务数据中心库、安全管理、标准 规范、接口服务等体系，为**市“城市大脑”的建设奠定数据基础。 推进政务**共享开放，提供一站式的政府数据开放共享服务，形成与各行 业部门、政府部门的数据开放共享体系，将数据共享开放平台打造为全市政府机 构和行业部门的政务数据、公共服务类数据的汇聚、管理、应用及共享的综合性 数据服务平台。 3.2 总体建设内容 （1）总体系统构架设计 **市数据共享和开放一体化平台的总体架构可以通过“一云，一中心，一 平台”的模式来描述。“一云”即**市电子政务云平台。“一中心”即**市 数据**中心。“一平台”即**市数据共享和开放一体化平台。 （2）总体业务流程 按照数据流向，从“采-存-算-管-用”五个方面对数据进行全流程管理，实 现数据的按需获取和使用。具体的数据流向，如下图所示： 按从左往右，从下至上的顺序介绍数据处理过程： 1）数据来源主要包括四类：一是从数据交换平台通过前置机采集的数据； 二是部门业务系统直接 ETL 推送的数据；三是部门上传或报送的半结构化或非结 构化的数据；四是从互联网中爬取的公共数据等。 2）通过数据交换结合数据采集标准，将数据交换平台的数据进行简单清洗 比对汇聚成原始库。此时数据已经进入了原始数据库当中，原始库通常包括政务 数据、社会数据、公用事业数据、信用数据、互联网数据、物联网数据等。 3）在**市政务云划分孤岛区用于**市政务数据的治理和共享基础数据 库数据的存储，孤岛区单独管理，原则上数据只进不出，只有经过治理过后的非 敏感数据通过数据共享交换平台以接口的形式对外提供服务。依托**目录管理 系统中梳理的信息**目录，将原始库的数据通过数据治理系统（清洗、加工、 数据提质、标准化转换），以及按照“一数一源”标准对数据进行治理、关联和 整合，形成符合规范要求的基础库（人口、法人、电子证照、地理信息、公共信 用等）。 4）**中心的所有数据按“分级分类”的方式进行存储。“分级存储”要 根据数据的重要性、敏感性和私密性来区分，涉及极为敏感或个人隐私的数据要 存储在最低层，同时做好加密存储。无条件共享的数据存储可存储在上一层的数 据共享网站的后台数据库中。“分类存储”要根据数据的共享和开放的主题类别、 共享和开放的数据格式等进行分类存储。例如有些非结构化的数据要共享或开 放，则可以存储在文件服务器上。 5）各部门通过数据共享网站的**目录管理系统维护目录、申请订阅** 和审批。**目录将驱动数据交换，将数据交换调度到各个厅局委办；将大数据 **池中的需要共享和开放的数据对应调度到共享和开放网站；将生成的接口服 务推送至 API 网关进行服务代理转发和监控。 （3）总体网络拓扑图 本项目采用“市级部署，多级应用”模式，统一建设部署全市数据共享和开 放一体化平台，构建市级政务数据共享和开放中心。 其中数据共享平台所涉及数据部署在政务外网区，由数据共享交换平台汇集 工商、地税、**等委办单位数据，通过数据分析管理平台维持政务信息**中 心，政务部门用户通过共享门户订阅，由共享交换平台生成调度任务，以库表、 文件、服务接口三种数据共享交换方式提供给**目录系统。数据开放门户部署 在互联网端，数据由政务外网单向推送到开放数据库中，普通用户可通过开放平 台门户查看和下载开放数据。 （4）技术路线 采用当前主流的体系结构，支持跨平台、跨数据库应用。采用云计算、Hadoop、 大数据技术，支持 Linux 操作系统，系统开发和运行环境的技术核心先进、可行、 合理、成熟，包括但不仅限于如下技术： 1）采用 Java 语言，采用微服务架构，采用 Rest 技术； 2）支持 Unix、Linux 等操作系统，支持大型主流数据库； 3）采用组件技术提供系统的快速开发和更新； 4）采用高性能中间件技术，解决事务、高并发等问题； 5）采用缓存技术、容器技术及前后端分离技术； 6）使用大数据技术，数据与业务分离，统一数据格式。 （5）数据标准建设 平台必须满足当前已有系统的整合、新业务系统新建，同时必须保证后续系 统的扩展、深化和新技术的应用。数据治理系统支撑新业务系统建库建表、汇聚 处理各类数据**、共享各类数据**，都应依据统一的数据标准体系。数据标 准从标准服务的最小单位数据元、代码集、验证规则建立在平台内，对数据标准 体系管理，形成各应用系统的标准业务对象，为数据处理提供标准化支撑。 1）建立统一的数据标准体系 数据标准体系的建立，从业务对象模型的标准化、基础数据的标准化、文档 的标准化以及数据操作的标准化来完成数据标准化、规范化建设，实现信息** 共享、消除各业务系统的“信息孤岛”。 2）建立统一的编码体系和验证规则 系统的编码方案，要求包括作为国家标准的行政区划编码、组织机构分类编 码以及各业务系统的业务编码、设备编码、故障编码、状态编码等，形成最终统 一编码体系，并采用该编码体系进行系统的开发设计。验证规则用于数据元规范 性校验，并可被应用系统调用。 3）建立统一的信息**标准流程 具备数据元定义（包括验证规则制定）、业务对象和数据库表设计，到数据 标准化持久层服务接口的部署注册的功能，并完成数据源层与数据访问层之间的 解耦，通过数据接入层的标准化处理实现业务系统的数据标准化同步管理，确保 数据的准确性、规范性、权威性和安全性。 4、本包建设需求 立足**市实际情况，以业务深化为重点，依托五大基础共享数据库，通过 数据治理、**抽取、整合等方式，形成公共**交易主题库。整合历年**市 公共**交易统计数据，以实现公共**交易数据的归集，实现对公共**交易 状况的全面掌握。通过对公共**交易数据体系的梳理，建设成完整统一的** 市公共**交易专题库。 4.1 数据加工 1）数据比对 数据比对是对多个数据源采集来的相同数据进行比较分析，数据一致时则无 影响，可以进行交换或者存储。但是当数据不一致时，需要对数据进行分析，判 别数据来源的优先级，确定采用数据来源优先级高的部门的数据。 主题库需要对从不同数据源采集来的相同数据，但是数据格式不相同的数据 进行转换，一些相同数据且数据格式相同的数据也需要转换，转换成基础数据库 中制定的数据格式。 2）数据清洗 在数据比对的基础上，对数据进行重新审查和校验，目的在于删除重复信息、 纠正存在的错误，并提供数据一致性。不符合要求的数据主要是有不完整的数据、 错误的数据、重复的数据三大类，录入后的数据清理由系统自动完成。 残缺数据主要是一些应该有的信息缺失，按缺失的内容分别写入不同 Excel 文件向用户提交，要求在规定的时间内补全，然后再入库。 错误数据主要是业务系统不够健全，在接收输入后没有进行判断直接写入后 台数据库造成的，这一类错误需要去业务系统数据库用 SQL 的方式挑出来，交给 业务主管部门要求限期修正，修正之后再抽取。 重复数据是由于用户录入导致，将重复数据记录的所有字段导出来，让用户 确认并整理。 数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题， 解决问题。对于是否过滤，是否修正一般要求用户确认，对于过滤掉的数据，写 入 Excel 文件或者将过滤数据写入数据表，在开发的初期可以每天向业务单位发 送过滤数据的邮件，促使他们尽快地修正错误,同时也可以做为将来验证数据的 依据。数据清洗需要注意的是不要将有用的数据过滤掉，对于每个过滤规则认真 进行验证，并要用户确认。 3）数据转换 通过数据转换对数据进行合并、清理和整合，实现不同的源数据在语义上的 一致性。当数据从各个部门的业务系统采集来时，经过数据比对、清洗，然后数 据转换将源对象的字段格式转变成目标对象的字段格式，从而建立高效、合理的 基础数据库表结构。 主题需要对从不同数据源采集来的相同数据，但是数据格式不相同的数据进 行转换，一些相同数据且数据格式相同的数据也需要转换，转换成基础数据库中 制定的数据格式。 4.4 数据入库 主题库表结构建立后，通过协调数据所在的相关部门，通过交换，进行数据 的清洗、比对，逐步完成数据的入库，为**市各类智慧应用提供公共**交易 主题信息服务。 （二）详细技术要求