[南昌市本级]江西中恒招标咨询有限公司关于南昌市数据共享和开放一体化平台-公共资源交易主题库采购项目（招标编号：JXZH2020G010-09第二次）电子化公开招标公告

（二）详细技术要求 1、建设背景 为贯彻落实《国务院关于印发促进大数据发展行动纲要的通知》（国发 〔（略））、《**省人民政府关于印发促进大数据发展实施方案的通 知》（赣府发〔2016〕5号）、《关于加快推进全省政务数据共享的工作方 案》（赣府厅字〔（略）等文件精神，从破解制约大数据创新发展的突 出矛盾和问题出发，推进数据**开放共享，推动大数据统筹管理，打破数据 **壁垒，深化数据**应用，促进信息融合和产业跨界结合，加快推进我市 政务服务系统支撑平台应用，我市将按照国家要求和**省的工作部署，加快 **市政府部门政务信息系统清理整合、政务信息**共享开放，并完成整合 后的系统统一接入全省电子政务共享数据统一交换平台，推动实现政务服务系 统支撑平台的统建共用，形成互联互通、共享交换、安全防护等综合服务能 力，为支撑政务业务协同、数据汇聚共享奠定坚实基础。 2、项目需求分析 充分利用**市信息化现状建立**市政务信息共享开放体系。一是建立 政务服务信息**目录，按需与各类信息系统共享信息**；二是升级改造统 一数据交换平台，实现全市内部各子系统之间的数据共享交换；三是建设共享 基础数据库体系支持各业务部门从**中心获取共享或开放的数据，根据不同 的需求对获取的数据经清洗、加工、比对之后形成相应共享基础库与共享主题 库，将清洗过后的数据对外提供服务。并将所有经过数据交换平台的数据全量 沉淀到大数据局。**市数据共享和开放一体化平台建设具体的需求如下： 1）利用云计算、大数据等现代信息技术，充分整合现有政务数据**。 2）以政务数据**开发利用为主题，以数据采集、融合、服务为主线，构 建全市统一的政务**中心及相关基础数据。 3）通过数据治理，将不同源头的数据加以清洗比对，形成数据共享基础 库，以数据共享基础库为基础，根据业务需要形成针对各种业务的主题库（人 口共享库、法人共享库、地理空间共享库、宏观经济共享库、信用共享库、教 育主题库、纳税主题库、社保主题库、公共**交易主题库、电子证照主题 库、投资项目主题库、文化旅游主题库、医疗健康主题库、生态环境主题库、 重点人才主题库、交通主题库），根据具体的业务场景，以接口等形式对外提 供服务。 4）实现跨部门、跨系统、跨网络和跨平台的数据交换、信息共享和业务协 同，形成**目录、数据交换、安全管理、标准规范、接口服务等体系。 5）有序推进政务**共享开放，提供一站式的政府数据开放共享服务，形 成与各行业部门、政府部门的数据开放共享体系。 3、建设方案 3.1总体建设目标和分期建设目标 项目共分一期建设，依托我市现有的信息系统建设现状，利用云计算、大 数据等现代信息技术，充分整合现有政务数据**；以政务数据**开发利用 为主题，以数据采集、融合、服务为主线，构建全市统一的政务**数据中心 及相关基础数据库、主题库；实现跨部门、跨系统、跨网络和跨平台的数据交 换、信息共享和业务协同，形成**目录、数据交换、政务数据中心库、安全 管理、标准规范、接口服务等体系，为**市“城市大脑”的建设奠定数据基 础。 推进政务**共享开放，提供一站式的政府数据开放共享服务，形成与各 行业部门、政府部门的数据开放共享体系，将数据共享开放平台打造为全市政 府机构和行业部门的政务数据、公共服务类数据的汇聚、管理、应用及共享的 综合性数据服务平台。 3.2总体建设内容 （1）总体系统构架设计 **市数据共享和开放一体化平台的总体架构可以通过“一云，一中心， 一平台”的模式来描述。“一云”即**市电子政务云平台。“一中心”即南 昌市数据**中心。“一平台”即**市数据共享和开放一体化平台。 （2）总体业务流程 按照数据流向，从“采-存-算-管-用”五个方面对数据进行全流程管理， 实现数据的按需获取和使用。具体的数据流向，如下图所示： 按从左往右，从下至上的顺序介绍数据处理过程： 1）数据来源主要包括四类：一是从数据交换平台通过前置机采集的数据； 二是部门业务系统直接 ETL推送的数据；三是部门上传或报送的半结构化或非 结构化的数据；四是从互联网中爬取的公共数据等。 2）通过数据交换结合数据采集标准，将数据交换平台的数据进行简单清洗 比对汇聚成原始库。此时数据已经进入了原始数据库当中，原始库通常包括政 务数据、社会数据、公用事业数据、信用数据、互联网数据、物联网数据等。 3）在**市政务云划分孤岛区用于**市政务数据的治理和共享基础数据 库数据的存储，孤岛区单独管理，原则上数据只进不出，只有经过治理过后的 非敏感数据通过数据共享交换平台以接口的形式对外提供服务。依托**目录 管理系统中梳理的信息**目录，将原始库的数据通过数据治理系统（清洗、 加工、数据提质、标准化转换），以及按照“一数一源”标准对数据进行治 理、关联和整合，形成符合规范要求的基础库（人口、法人、电子证照、地理 信息、公共信用等）。 4）**中心的所有数据按“分级分类”的方式进行存储。“分级存储”要 根据数据的重要性、敏感性和私密性来区分，涉及极为敏感或个人隐私的数据 要存储在最低层，同时做好加密存储。无条件共享的数据存储可存储在上一层 的数据共享网站的后台数据库中。“分类存储”要根据数据的共享和开放的主 题类别、共享和开放的数据格式等进行分类存储。例如有些非结构化的数据要 共享或开放，则可以存储在文件服务器上。 5）各部门通过数据共享网站的**目录管理系统维护目录、申请订阅** 和审批。**目录将驱动数据交换，将数据交换调度到各个厅局委办；将大数 据**池中的需要共享和开放的数据对应调度到共享和开放网站；将生成的接 口服务推送至 API网关进行服务代理转发和监控。 （3）总体网络拓扑图 本项目采用“市级部署，多级应用”模式，统一建设部署全市数据共享和 开放一体化平台，构建市级政务数据共享和开放中心。 其中数据共享平台所涉及数据部署在政务外网区，由数据共享交换平台汇 集工商、地税、**等委办单位数据，通过数据分析管理平台维持政务信息资 源中心，政务部门用户通过共享门户订阅，由共享交换平台生成调度任务，以 库表、文件、服务接口三种数据共享交换方式提供给**目录系统。数据开放 门户部署在互联网端，数据由政务外网单向推送到开放数据库中，普通用户可 通过开放平台门户查看和下载开放数据。 （4）技术路线 采用当前主流的体系结构，支持跨平台、跨数据库应用。采用云计算、 Hadoop、大数据技术，支持 Linux操作系统，系统开发和运行环境的技术核心 先进、可行、合理、成熟，包括但不仅限于如下技术： 1）采用 Java语言，采用微服务架构，采用 Rest技术； 2）支持 Unix、Linux等操作系统，支持大型主流数据库； 3）采用组件技术提供系统的快速开发和更新； 4）采用高性能中间件技术，解决事务、高并发等问题； 5）采用缓存技术、容器技术及前后端分离技术； 6）使用大数据技术，数据与业务分离，统一数据格式。 （5）数据标准建设 平台必须满足当前已有系统的整合、新业务系统新建，同时必须保证后续 系统的扩展、深化和新技术的应用。数据治理系统支撑新业务系统建库建表、 汇聚处理各类数据**、共享各类数据**，都应依据统一的数据标准体系。 数据标准从标准服务的最小单位数据元、代码集、验证规则建立在平台内，对 数据标准体系管理，形成各应用系统的标准业务对象，为数据处理提供标准化 支撑。 1）建立统一的数据标准体系 数据标准体系的建立，从业务对象模型的标准化、基础数据的标准化、文 档的标准化以及数据操作的标准化来完成数据标准化、规范化建设，实现信息 **共享、消除各业务系统的“信息孤岛”。 2）建立统一的编码体系和验证规则 系统的编码方案，要求包括作为国家标准的行政区划编码、组织机构分类 编码以及各业务系统的业务编码、设备编码、故障编码、状态编码等，形成最 终统一编码体系，并采用该编码体系进行系统的开发设计。验证规则用于数据 元规范性校验，并可被应用系统调用。 3）建立统一的信息**标准流程 具备数据元定义（包括验证规则制定）、业务对象和数据库表设计，到数 据标准化持久层服务接口的部署注册的功能，并完成数据源层与数据访问层之 间的解耦，通过数据接入层的标准化处理实现业务系统的数据标准化同步管 理，确保数据的准确性、规范性、权威性和安全性。 4、本包建设需求 立足**市实际情况，以业务深化为重点，依托五大基础共享数据库，通 过数据治理、**抽取、整合等方式，形成公共**交易主题库。整合历年南 昌市公共**交易统计数据，以实现公共**交易数据的归集，实现对公共资 源交易状况的全面掌握。通过对公共**交易数据体系的梳理，建设成完整统 一的**市公共**交易专题库。 4.1数据加工 1）数据比对 数据比对是对多个数据源采集来的相同数据进行比较分析，数据一致时则 无影响，可以进行交换或者存储。但是当数据不一致时，需要对数据进行分 析，判别数据来源的优先级，确定采用数据来源优先级高的部门的数据。 主题库需要对从不同数据源采集来的相同数据，但是数据格式不相同的数 据进行转换，一些相同数据且数据格式相同的数据也需要转换，转换成基础数 据库中制定的数据格式。 2）数据清洗 在数据比对的基础上，对数据进行重新审查和校验，目的在于删除重复信 息、纠正存在的错误，并提供数据一致性。不符合要求的数据主要是有不完整 的数据、错误的数据、重复的数据三大类，录入后的数据清理由系统自动完 成。 残缺数据主要是一些应该有的信息缺失，按缺失的内容分别写入不同 Excel文件向用户提交，要求在规定的时间内补全，然后再入库。 错误数据主要是业务系统不够健全，在接收输入后没有进行判断直接写入 后台数据库造成的，这一类错误需要去业务系统数据库用 SQL的方式挑出来， 交给业务主管部门要求限期修正，修正之后再抽取。 重复数据是由于用户录入导致，将重复数据记录的所有字段导出来，让用 户确认并整理。 数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问 题，解决问题。对于是否过滤，是否修正一般要求用户确认，对于过滤掉的数 据，写入 Excel文件或者将过滤数据写入数据表，在开发的初期可以每天向业 务单位发送过滤数据的邮件，促使他们尽快地修正错误,同时也可以做为将来验 证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉，对于每个过 滤规则认真进行验证，并要用户确认。 3）数据转换 通过数据转换对数据进行合并、清理和整合，实现不同的源数据在语义上 的一致性。当数据从各个部门的业务系统采集来时，经过数据比对、清洗，然 后数据转换将源对象的字段格式转变成目标对象的字段格式，从而建立高效、 合理的基础数据库表结构。 主题需要对从不同数据源采集来的相同数据，但是数据格式不相同的数据 进行转换，一些相同数据且数据格式相同的数据也需要转换，转换成基础数据 库中制定的数据格式。 4.4数据入库 主题库表结构建立后，通过协调数据所在的相关部门，通过交换，进行数据的 清洗、比对，逐步完成数据的入库，为**市各类智慧应用提供公共**交易 主题信息服务。