数据库的质量控制
一、质量保证控制体系在数据库建设过程中，各工作单位和计划项目综合组均制定了相应的质量保证体系和措施，从资料的来源、整理录入、检查汇总层层严格控制。质量保证控制体系内容包括：质量保证组织体系和质量保证制度体系，组织体系和制度体系又由承担单位和计划单位综合项目组两套体系组成。承担单位按照本单位全面质量管理制度和办法建立了以全面质量管理办公室、项目组和工作组为核心的质量保证组织体系以及完整的质量管理制度体系。以计划单位为核心的综合项目组的质量保证组织体系是由计划项目负责人、工作项目负责人和工作组构成。建立了三级质量检查监控体系：一是数据库工作人员的自检和互检；二是承担单位项目组组织的质量抽检；三是计划项目综合组组织的阶段性质量抽检和验收。在各级检查过程中，对发现的问题都做了详细的记录，并进行了认真修改，保证了录入资料的准确性。二、质量保证措施（一）属性数据的质量保证措施属性数据就是要真实地反映原始资料，质量保证措施最主要的就是质量检查、核对，形成录入→检查→修改→补充→汇总五个步骤的工作流程。每一项内容录入完成以后，录入人员必须将录入数据与原始数据进行校对，自检率为100%，发现问题及时解决之后，再开始下一项数据的录入。工作每告一段落，要进行互检，互检率也是100%；同时承担单位项目组进行质量抽检，抽检率为30%～50%；计划项目综合组的阶段性质量抽检和验收，抽检率为20%～30%。数据库工作人员平时工作有记录，每次检查有记载，发现的问题修改情况也有记录，做到出问题有据可查，责任有人承担，确保数据录入的准确和可靠。同时，还制定了安全防范措施，即防计算机病毒破坏、防数据库数据误删除、防蓄意破坏。（二）图形数据的质量保证措施1.地理底图质量保证措施本次使用的数字地理底图是国家测绘局1∶25万地理要素图，利用Map GIS的裁剪功能以松嫩平原界线为范围边界裁剪而成，图层要素有外图廓、经纬网、境界线、水系、公路、铁路、等高线、高程点等，并依据2005年11月中国地质调查局颁发的《1∶25万地理底图编辑要求》和水环所提供的图库进行了修编。原地理底图自带图库与水环所提供的图库有很大差别，都按图层及图元参数一一替换图案号及更改参数，保证了更换图库前后地理底图所示内容的一致性。2.成果图件数字化质量保证措施成果图件均由编图人员在喷绘的地理底图上绘制，然后采用300 dpi以上的分辨率进行扫描，提高了栅格文件的清晰度，减小了误差；制图人员利用Map GIS将图像配准到已矢量、修编好的地理底图上，所有经纬网交叉点都作为控制点采集对象，保证了图像配准的精度；矢量过程中窗口放大到40倍，鼠标跟踪输入；各类成果图件中松嫩平原边界在空间上严格重合，在面元建立拓扑时，不能作结点平差，分区线元与边界相交处分区线元用延长靠近母线、母线加点功能，在此基础上建立拓扑关系形成面元，保证了公共边界线元空间拓扑的一致性；对不同成果图件有相同要素的，要将其单独提取图层，根据图件要求予以增加，保证了不同图件中相同内容的一致性。通过上述工作方法，使图件数字化质量得到有效的控制。矢量化后，喷出彩图检查图元信息，图元信息检查是保证图形数据质量的关键，这项检查工作以自检为主，检查都在两遍以上。图形属性数据通过MAPGIS属性管理系统输入完成，其属性字段按照《地下水资源调查评价数据库标准》要求填写。3.提高数据库工作人员的质量意识人是保证质量的主动因素，提高数据库工作人员的质量意识是保证数据库质量的重要措施，因此在数据库建设过程中，无论是承担单位，还是综合项目综合组都开展了提高质量意识的重要性教育，使每一个工作人员在思想上重视数据库质量，在行动上保证数据库质量。
数据质量控制的基本要素有哪些
1. 建立数据的标准，明确数据的定义。通常，独立的应用系统会有一个比较模糊的、有时也会有比较清晰的数据标准和数据定义。为了保证系统的正常运行，这些系统的用户必须在数据的标准和数据的定义上达成一致。不过，这些标准和定义大多数时候与企业中其他系统中的数据标准和定义并不一致。因此，需要从整个企业的角度出发，建立统一的数据标准和数据定义，同时，整个企业必须就这个数据标准和数据定义达成共识。这一句话说起来容易做起来难。因为人通常本能地会拒绝改变，改变数据标准和定义并不是轻而易举的。为此，强烈建立在企业中除了设立一个高管级别的数据质量管理委员会外，还需要选定一个执行能力强的项目负责人，需要他推动相关人员接受新的数据标准和定义。
在具体建立新的数据标准和数据定义时，需要仔细权衡，哪些定义和标准是出于企业内部的原因(比如出于方便、习惯等)制订的，哪些定义和标准是因为要有效反映外部的真实世界而制订的。相对而言，前者更容易执行一些。
2. 建立一个可重复的数据收集、数据修改和数据维护流程。数据管理面临的两个主要挑战是企业本身的复杂性和身份信息不断变化。这两个客观原因的存在意味着企业的数据质量保证行动永远没有结束之日，因此，企业在制订数据质量的保证措施和数据质量指标时，必须保证这些措施和指标能够不断重复。
3. 在数据转化流程中设立多个性能监控点。数据的质量高低可以根据最终用户的需求来评价，也可以通过与同类数据源的比较来评价，还可以通过与前一阶段的数据质量进行比较来评价。但在制订数据质量的战略时，比较理想的办法还是根据最终用户的需求来进行。不过这里存在一个问题是，等到最终用户拿到数据时再针对数据的问题进行修正已经太迟了。一个有效的数据质量保证办法是在每当数据发生转换后就与前一时期进行比较，从而对数据质量进行评估。如果此前所采用的数据质量改进方法有助于提高最终用户的满意度，那么，这些中间指标的达标也预示着项目的最终成功。
数据质量管理5要素分析数据质量管理5要素分析
4. 对流程不断进行改善和优化。我们常常听到有人说，他们制订了很多办法来迅速而且大幅度提升数据的质量，但很少听说最后他们能真正得到满意的结果。其原因就在于数据的质量改进绝非一朝一夕的事情，而是一个持续的过程。正确的办法是通过一个不断改进的流程，持续不断地排除错误、对数据进行整合和标准化，最后达到流程的自动化，从而降低数据质量保证计划的总体开销。实际上，排除错误、数据整合和数据标准化从来就不是一件容易的事情。数据质量管理计划的负责人将配合公司高管组成的数据质量管理委员会来保证这个流程的顺利执行。要注意的是，作为该项目的负责人，不能墨守成规，仅仅因为自己以前一向采用某种方法，就要求别人也必须采用这一方法，特别是当发现这些方法成本高昂的时候，就应该考虑换一种方式了。
5. 把责任落实到人。通常，我们认为那些与数据的产生、维护相关的人员是负责任的，但是，很有可能，他们有很多其他的工作要做，因此作为数据质量的负责人光有善良的想法是难以提高数据的质量，很有可能一辈子也达不到目标。对于那些负责数据的产生、数据的合理化以及对数据进行清理和维护的人，应该给他们的活动制订明确的指标，这样他们才能真正理解人们到底希望他们达到什么目标。更重要的，他们还需要针对这些指标细化对他们自己的要求，当然，他们会因为达到或者超过这些指标而得到奖励。其中，一个执行力强的负责人的价值体现出来，他会针对具体情况适时调整数据质量的目标。
最后，再次强调考虑与数据管理和数据质量的改进项目有关的人的因素，他们的行为是非常重要的。从某种程度上说，要比具体选择什么软件要重要得多。上述5点有助于帮助组织规范数据质量管理中与人有关的流程。
如何实现成功的数据治理？
从技术实施角度看，数据治理包含“理”“采”“存”“管”“用”这五个步骤，即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。数据资源梳理：数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单，包含组织机构、业务事项、信息系统，以及以数据库、网页、文件和 API 接口形式存在的数据项资源，本步骤的输出物为分门别类的数据资源清单。数据采集清洗：通过可视化的 ETL 工具将数据从来源端经过抽取 (extract)、转换 (transform)、加载 (load) 至目的端的过程，目的是将散落和零乱的数据集中存储起来。基础库主题库建设：一般情况下，可以将数据分为基础数据、业务主题数据和分析数据。基础数据一般指的是核心实体数据，或称主数据，例如智慧城市中的人口、法人、地理信息、信用、电子证照等数据。主题数据一般指的是某个业务主题数据，例如市场监督管理局的食品监管、质量监督检查、企业综合监管等数据。而分析数据指的是基于业务主题数据综合分析而得的分析结果数据，例如市场监督管理局的企业综合评价、产业区域分布、高危企业分布等。那么基础库和主题库的建设就是在对业务理解的基础上，基于易存储、易管理、易使用的原则抽像数据存储结构，说白了，就是基于一定的原则设计数据库表结构，然后再根据数据资源清单设计数据采集清洗流程，将整洁干净的数据存储到数据库或数据仓库中。元数据管理：元数据管理是对基础库和主题库中的数据项属性的管理，同时，将数据项的业务含义与数据项进行了关联，便于业务人员也能够理解数据库中的数据字段含义，并且，元数据是后面提到的自动化数据共享、数据交换和商业智能（BI）的基础。需要注意的是，元数据管理一般是对基础库和主题库中（即核心数据资产）的数据项属性的管理，而数据资源清单是对各类数据来源的数据项的管理。血缘追踪：数据被业务场景使用时，发现数据错误，数据治理团队需要快速定位数据来源，修复数据错误。那么数据治理团队需要知道业务团队的数据来自于哪个核心库，核心库的数据又来自于哪个数据源头。我们的实践是在元数据和数据资源清单之间建立关联关系，且业务团队使用的数据项由元数据组合配置而来，这样，就建立了数据使用场景与数据源头之间的血缘关系。 数据资源目录：数据资源目录一般应用于数据共享的场景，例如政府部门之间的数据共享，数据资源目录是基于业务场景和行业规范而创建，同时依托于元数据和基础库主题而实现自动化的数据申请和使用。质量管理：数据价值的成功发掘必须依托于高质量的数据，唯有准确、完整、一致的数据才有使用价值。因此，需要从多维度来分析数据的质量，例如：偏移量、非空检查、值域检查、规范性检查、重复性检查、关联关系检查、离群值检查、波动检查等等。需要注意的是，优秀的数据质量模型的设计必须依赖于对业务的深刻理解，在技术上也推荐使用大数据相关技术来保障检测性能和降低对业务系统的性能影响，例如 Hadoop，MapReduce，HBase 等。商业智能（BI）：数据治理的目的是使用，对于一个大型的数据仓库来说，数据使用的场景和需求是多变的，那么可以使用 BI 类的产品快速获取需要的数据，并分析形成报表，像派可数据就属于专业的BI厂商。数据共享交换：数据共享包括组织内部和组织之间的数据共享，共享方式也分为库表、文件和 API 接口三种共享方式，库表共享比较直接粗暴，文件共享方式通过 ETL 工具做一个反向的数据交换也就可以实现。我们比较推荐的是 API 接口共享方式，在这种方式下，能够让中心数据仓库保留数据所有权，把数据使用权通过 API 接口的形式进行了转移。API 接口共享可以使用 API 网关实现，常见的功能是自动化的接口生成、申请审核、限流、限并发、多用户隔离、调用统计、调用审计、黑白名单、调用监控、质量监控等等。
如何有效的进行数据交换管理？
随着企业综合管理水平的提高和信息化建设的开展和深入，企业数值转型也越发迫切，企业在转型过程中必然会有业务系统之间数据交换，但是数据交换又会碰到诸如软件技术、数据格式等存在较大差异，缺乏统一交换规划和标准，而网络隔离、数权问题等因素都是阻碍建立有效数交平台的重要因素。想要建立有效的数据交换管理平台，我想有几点需要做到：
1.明确的目标和上层管理的支持。企业或政府部门必须在战略层面上赋予数据交换管理平台的职能，打通下面各部门各环节沟通机制，明确服务目标。同时也要注意从实际角度出发，结合自身管理及信息化程度，从实用性角度和未来可预见发展的角度落实数据交换管理平台建设规划。
2.数据交换管理平台的规划，少不了要考虑几个问题，其一、交换数据源从哪里来，有哪些数据，怎么获取？其二、交换的数据如何存储处理、如何规范管理流程。其三、交换的数据如何做供给。其四、如何保障数据在整个交换过程中的安全、高效、可靠，并能够进行直观监控运营。
3.在技术上来说，有效的数据交换管理平台，应支持广泛的数据交换格式，提供统一的交换标准，在数据传输过程中通过技术手段结合管理流程保证数据安全，提供数据加密、数据脱敏方法使用数据，并能对数据流向进行监控追踪。同时伴随着企业改革或业务发展，数据交换管理平台也要跟着迭代升级。
首先需要选择一个好的数据交换管理工具，由亿信华辰自主研发的数据治理平台-睿治就很不错。作为数据交换管理工具，它容纳多种多样数据格式，提供丰富数据处理与交换任务设计，提供可视化数据交换监控，统一、安全、高效的全局数据共享交换平台。支持对数据传输交换节点进行可视化配置，监控节点的数据传输状态；支持各种主流数据库、文本文件、Excel文件、API接口、WebService服务等数据格式的传输，屏蔽各系统之间数据类型差异；系统内置各种数据交换组件、数据处理组件，如表交换、文件传输、SFTP上传下载、Http组件、清洗与转换组件，满足各种不同场景的数据传输交换需求；平台支持拖拽式方式设计流程，通过可视化操作界面自动生成满足业务需要的交换任务。支持定时和事件触发，通过检测执行时间、监听数据库、指定文件变化来触发调度，灵活进行数据抽取和交换；平台拥有的数据加密传输、断点续传、各种脱敏算法、数据权限与功能权限双重控制，让数据传输更安全可控，数据分区、并行装载技术让数据传输更高效快速。
浅谈如何提高建筑业企业统计数据质量
1 、建设一支高素质的企业统计队伍
当今是“以人为本”的信息时代，人力资源是企业赖以成功的关键。所以，要提高统计数据质量，核心是建设一支高素质的企业统计队伍。建设途径有两个方面：一是改良，对现有统计人员进行科学的综合性培训，提高素质适应新时代要求；二是革新，剔除现有不合格统计人员，聘用高素质、高学历统计人才。何谓高素质统计人才？首先，应有良好的职业道德。不受外界干扰，严格按照《统计法》要求，保证统计“用事实说话”的特性和要求；其次，应具有新观念，不断更新知识。积极发挥统计各项职能，使统计工作不断创新。要在坚持国家统计制度、完成上级统计任务的前提下，从企业实际情况出发，创造性的开展工作，为企业经营发展服务；再次，应具有全新知识结构和观念。一个高素质的企业统计人才，不仅要有统计专业知识，而且还要具有计算机和网络技术、经济、金融等社会经济系统各个方面相关知识。
2 、加快现行统计改革，建立健全建筑企业行业统计制度
现行建筑业统计规则和统计制度的内容需要不断改善，尤其是对于一些实际工作中遇到的新问题，如对一些重要表外信息及重要非经济信息的统计。在制定建筑企业统计制度、规则、方法时，应尽量克服或减少其本身的不确定性。对制度中某些统计指标设立和解释要规范，给出明确权威性解释，表明各种理解的适用情况，这样就不会使规则的使用者造成误解，对一些统计核算方法选择的规定上，少用模糊性词语，使同一内容规定一致。建立新的有利于环境资本、人力资本、社会资本形成，有利于成本控制、运营资本管理和决策的数据资料统计体系，使建筑企业统计标准化。
3 、加强对企业统计数据监督，加大对建筑企业统计执法力度
加强对统计数据的监督力度，对上报数据准确性要通过数据审核、评估、定期检查、公布及举报制等增加统计数据透明度来遏制基层企业统计数据造假现象，确保统计数据质量。管理部门应建立审核制度，核对工程项目统计依据是否一贯，统计时间是否准确连续，统计数据逻辑性、勾稽关系是否正确等。另外，还要对统计数据进行评估。掌握企业近几年运行轨迹，选择适当方法进行综合评价。通过一系列措施，形成综合统计监督体系。
4 、深化统计职责范围，创新方法手段
在进一步深化改革完善统计制度的客观要求下建立一套科学实用的统计调查方法体系和报表制度是必然趋势。建筑企业要从为上级部门服务为主，转变为企业服务为主的方向上来。统计工作要以企业的生存发展为前提，大力开发信息资源，不断改进形成一套适合企业生产经营特点的一系列定期报表制度和抽样调查、典型调查、重点调查相结合的统计调查方法体系。通过加强基层统计数据管理，从源头上杜绝统计数据弄虚作假现象，提高统计数据质量。
5 、加强统计分析工作
统计人员不仅要为企业发展提供高质量统计数据，而且要搞好统计资料分析，并对企业生产经营状况提出建议、措施以增强对行业发展预测和对企业经营决策的预见性、科学性、有效性、指导性，从而为企业领导制定正确的经营决策提供可靠依据，同时也体现了统计工作的巨大作用。
统计信息的质量是影响企业综合竞争力的一个重要因素，因此加强对统计信息质量的管理有着十分重要的意义。在建筑企业中，统计数据的真实性和完整性是确保施工能够保质保量完成的一个关键因素，因此，建筑施工企业应当从提高统计队伍人员素质、加强统计数据的分析以及监督机制的完善等几个方面，提高统计数据的准确性，为管理者科学的决策提供依据。
浅谈如何提高统计数据质量
1加大统计执法力度，确保统计数据的准确性。对于那些严重的造假行为，绝对不能姑息，一旦发现，要严惩，情节严重的还要追究刑事责任，只有加大该项工作的执法力度，才能够让相关的统计工作人员认识到违法杜撰的严重性。而且要适当地增加处罚金额，毕竟一些企业在财务报表上弄虚作假主要是受利益的驱使，所以大量的罚款金额能够比较好地遏制财务数据的造假，从而保证统计数据质量。为了更好地建立统计诚信体系，仅仅靠部分人的努力是远远不够的，需要各大相关的部门相辅相成，共同合作，纪检司法等有关部门应该密切配合，在各司其职的基础上，共同为统计数据工作的诚信体系而不断努力
02
2树立新的统计数据质量观理念。提高统计数据质量是统计工作的一个永恒的主题。但是在不同时期对统计数据质量有不同的标准，明确新时期统计数据质量的含义和概念
