数据的数量、质量和应用

赛文交通网 智能交通 数据大脑

编者按：7月25日，在由交通运输部科学研究院、赛文交通网主办的交通运输“数据大脑”技术研讨会上，上海市城乡建设和交通发展研究院上海交通信息中心主任张祎作了关于《“量、质、用”三位一体 推动上海交通数据大脑发展》报告。

报告分别从交通数据的数量、质量和应用3方面介绍了上海市交通数据的处理与应用实践。在数据的 “量”方面，通过汇集行业多方数据，实现交通数据资源整合；在数据的“质”方面，分析了当前交通数据质量不高的4大原因，提出了基于系统监控、数据监控和设施监控等规范数据的方法；在数据的“用”方面，重点分析了上海市交通综合信息平台系统架构以及相应的应用实践。

一、数据的“量”是基础

上海智慧交通发展一直遵循的指导思想是“掌握现状、找出规律、科学诱导和有效指挥”，强调系统建设必须重视数据应用产生的效能。

概括地讲，上海这20年间的智慧交通经历了四个阶段：第一阶段是2003年之前，算作起步阶段；第二阶段，是2003年至2010年的规模化快速发展阶段；第三阶段是2010年世博会之后到2015年，属于交通领域大数据应用阶段；第四阶段是2015 年至今，属于交通数据“大脑”与智慧城市融合发展阶段。

实践证明，坚持指导思想，“开展数据建设，注重应用实效”是推动上海智能交通发展的主线。

2003年之前的上海智能交通系统主要是建设规模相对较小的业务系统，那时还缺乏规模化的数据量，也就谈不上数据汇集与共享。

2003年开始至2010年，为了迎接上海世博会，上海开始了规模化的交通信息化系统建设期，大量的数据汇集、挖掘分析和业务应用有力地支撑了世博会交通保障，有些文献中写到：上海智能交通系统在2010年上海世博会交通保障中发挥了不可替代的作用。

受益有世博会的综合应用经验，2011年开始，我们依然注重数据资源的持续汇集，尤其是移动互联网数据、运营商数据和跨领域数据的不断汇集，在上海交通综合信息平台的数据量暴涨。

也正因为有了大量的数据， 2012年交通信息中心承担了中国政府立项第一个大数据研究项目，构建了交通大数据平台，启动了城市快速路交通预测等新业务，提升了交通大数据赋能交通指挥。

同时，开展基于大数据的城市人口出行实时计算与迁徙分析，为后续机构合并后我院交通所的交通规划和交通政策研究提供了数据保障。

2015年，上海交通信息中心牵头实施交通综合信息应用与服务工程。该工程不但通过数据资源综合分析，赋能市级交通管理部门赋能区级交通管理；而且深度融入市“城运系统”和区“城运系统”，赋能一网通管。在移动互联网、移动支付、云计算、人工智能等新技术的驱动下，四新经济在上海有了蓬勃发展。

在交通领域，出现了网约车监管，共享单车监管、快递小哥监管等许多新管理要求，面对新形势，如何治理好特大型城市，对城市精细化管理和交通智能化治理提出了新的挑战，上海必须率先提出科学的解决方案。

为此，2019年我们建成上海公共停车信息平台系统、互联网赁自行车监管平台，这些平台都成为了兄弟省市学习的标杆。

以上这些系统，上海交通信息中心几乎都深度参与。总结经验，可知其所以能够取得实效，就是因为我们始终把数据作为核心要素和基本要求，始终把数据质量作为系统生命线，狠抓到底，绝不放松。

比如上海市公共停车平台以“数据”为基础，考评区管理部门、营运场库企业、设备供应商以及个人停车行为，将业务管理与系统深度融合，有效地体现了信息系统数据资源价值。

对于共享单车来说，在交通层面上解决了出行的“最后一公里”问题，也产生了大量的出行数据；但是也带来城市管理问题。如何解决共享单车的超投、乱停等等问题，必须把数据融入“城运系统”，纳入城市管理。

2022年，上海启动建设的上海城市管理精细化平台项目，将会充分融合各类数据，赋能城市精细化、智能化治理。

二、数据的“质”

交通数据天然具有大数据的特质，数据规模庞大，但常常听到的反应是数据质量不高。造成数据质量不高的原因大体上可以归纳为四方面原因：一是源头产生数据本身质量就存在缺陷，比如由于某类传感器本身就不稳定，传感器产生的数据本身的质量较差，后端提高数据质量就很困难。

二是对数据质量的问题发现和修复方法困难，比如受外场供电中断、通信故障等，范围交广、时间较长的数据缺失，修复就极其困难。

三是数据质量评价或者评估困难，很难对数据质量进行统一标准判断，需要根据不同的应用要求，提出不同的判断标准。比如“面”上的研究工作，统计类数据就可以支撑，即便有一定数据的缺失，也不会影响研究结果；但是对于“问题性”研究，就需要关注“极值数据”，通过极值揭示问题。目前城市管理的精细化，就必须重点关注基于极值的研究。

四是底层业务系统产生的业务数据难以满足上级部门综合监管和决策对数据质量的要求。因为业务系统是相对单一功能的系统，而上层的综合监管，尤其是综合决策需要的是综合类数据支撑，在进行综合决策时，底层业务系统的数据内容和数据要素不全，对上层的综合应用支撑缺乏有效支撑。

系统建设和日常运行管理时，必须重视对系统运行的监测和数据质量评价。我们的项目可行研究报告对于系统总体框架的表述都会有有两大支撑：一是“标准规范”，二是“体制机制”。

但在现实中，系统建设往往会忽视这方面工作。如何实现系统稳定运行、数据质量可靠？需要做很多细致的工作，需要从数据质量监测出发，对系统进行全面监测。

以上海交通综合信息平台为例，我们实时监测机房的每一台设备的运行健康状况，应用软件的进程和每一项数据更新及其质量变化，甚至给每条数据记录做可信度评价。若发现数据中断或者存在数据质量问题，则会追溯该数据关联应用、数据源头系统及其数据源管理单位。

例如上海市公共停车信息系统，通过数据质量，考核停车场场设备供应商，促使厂商提升产品质量，从而整体上提升行业的数据质量。

三、数据的“用”

在评估数据质量后，还需要对通过数据应用对数据质量做后评估。比如上海浦东新区地域范围较大，智慧交管系统多，为了更好地指导后续发展。

今年，浦东新区交通部门委托上海交通信息中心和同济设计院，对其智慧交通系统进行整体评估。这项工作依然紧扣数据质量及其支撑的应用效果，开展数据评估、数据应用和外部设施健康情况评价。

当然所有的应用，必须有可靠稳定的系统架构。我们团队根据自身业务的需要，设计搭建了符合自身条件的系统架构，能够很好地支撑我们的系统应用。

系统架构的设计，也是基于不同数据的处理需求，采用不同的技术方案。上海市交通综合信息平台架构如图，该架构从下至上包括采集层、通信层、数据层和应用层。

在数据层，最核心的问题就是根据数据质量和数据源搭建不同的存储过程，希望设备能大量应用，又希望系统稳定，还希望相关需求更高，可总结为“小核心、大外围”。

“小核心”即顶层核心数据库，满足所有业务功能的前提下，尽量减少数据的处理逻辑，尤其是繁重的分析性业务，通过采用双节点Real Application Cluster ORACLE Database（实时应用集群ORACLE数据库），具备快速联机事务处理类型业务访问、高可用和负载均衡的能力。

“大外围”为星型分支，包括分布式处理架构、内存数据库和轻量级数据库/处理服务器群。

HADOOP+SPARK用于处理全扫描分析型业务，其中将HADOOP自有的MAP/REDUCE替换为SPARK内存计算引擎以获取更高的性能收益；TIMESTEN内存数据库用于处理具有大量数据的流式业务，每个周期都需要处理大量的实时数据，内存中始终只保留最近一个或几个周期的数据，循环使用；轻量级数据库My sql用于业务处理逻辑相对简单，但IO吞吐量比较大的数据业务的处理，比如数据的校验清洗工作。

此外，通过采用VMware vSphere构建虚拟化平台，将内存数据库及轻量级数据库、处理服务器用虚拟化的方式提供服务，利用虚拟化平台提供高可用、负载均衡及横向扩展能力。采用KAFKA CLUSTER作为数据通信总线，简化通信接口管理，提升横向扩展能力和高可用性。

目前该架构使用了10多年，系统一直稳定可靠，很好地满足了上海交通信息中心数据汇集和数据分析的需求。目前，上海交通信息中心的交通数据主要有以下应用：

（1）实时监测：在交通层面，包括了道路交通、公共交通和对外交通的实时运行监测，在监测的同时，自动计算出交通异常；交通政策实施前的与评估和后评估。

例如，我们采用数据分析评估了上海市关于外牌车辆限行政策，上海市武宁路快速通道等缓堵措施。数据显示，缓堵效果的时效大约是2个月，即缓堵政策实施2个月后，拥堵会恢复至原先拥堵状态。

（2）公交评估：第二个应用是对公共交通的评估，交科院从交通部角度推进公交优先发展。上海交通信息中心也开展了公交基础设施供给、线网设计、运营效率、企业经济和安全环保等方面的评估，这些评估对公交线路优化、调度排班和服务提升有很大的帮助。

（3）信号评价：路口信号灯控制系统是保证地面道路畅通有序有力工具。上海交通信息中心采用GPS浮动车、SCATS等多源数据，开展了上海市交通信号控制系统分析与评价，系统可实时评估每个路口的信号系统优劣和可能的调优方案。

信号评价系统涉及的主要技术有三：数据应用体系与服务协同技术、交叉口拥堵全息画像技术以及交叉口管控智能评估技术。这些技术都必须有较高数据质量的保障。

（4）社会服务：上海是国内最早开展交通信息广播电台服务的城市。信息的及时、准确是开展交通信息服务的基础。

为此，我们开发了上海市交通广播电台信息播报系统，该系统为交通电台的出行服务提供实时、丰富的交通出行信息。系统设计时，根据出行者对不同层级信息的需求差异，将出行相关的信息进行分级设置，采用不同播报频次，以此确保电台交通信息服务质量。

（5）行业管理：上海市交通信息中心为了让数据赋能区级交通管理，为徐汇区、黄浦区、长宁区、静安区和杨浦区开发了融入区城运中心的交通管理平台，既减少区级政府外场采集设施投资，又可满足全市“一张图”、“一个码”等市级的数字化转型要求，同时也通过区级应用，检验市级信息系统的数据质量。

如图，市级数据支撑的上海市徐汇区交警指挥研判平台和徐汇区建交委交通综合分析平台，实现了区级层面数据在应用时的共享和交换。 

（6）综合应用：跨部门综合应用是检验数据的试金石。2022年上海疫情控制得到有效控制，复工的公共交通应从哪个方向开始恢复？

受市交通委委托，我们基于小区感染人员和人口数据，开展复工复产公共交通配备分析。上海交通部门和环保部门积极合作，开展机动车移动源污染监测和“双碳”政策研究，取得了很好的成效。