大数据时代下的城市交通治理平台TransPaaS

交通大数据平台汇聚了来源多样、类型繁杂、体量巨大的数据，为动态监测、分析研判、方案决策等多场景应用提供支撑。在整合不同需求、建设平台和应用系统过程中，面临着诸多痛点问题。

（一）缺乏顶层设计，平台建设盲目

城市交通治理是一个综合性的复合新兴领域，涉及交通全息感知、超大规模实体的知识表达、交通态势科学推演、高性能计算等方面的技术。支撑城市交通治理的智能计算平台缺乏相关的理论体系支持，缺乏顶层设计，数据采集盲目，平台建设盲目，具体表现在：

（1）信息收集碎片化，无法获取完整的出行链及活动时空规律；

（2）缺乏社会经济属性挖掘，规划政策难以“对症下药”；

（3）短期预测各个子系统的推演普遍独立，难以形成联动；

（4）长期预测缺乏城市生长演化的过程调控；

（5）前端采集、网络传输、计算资源动态调度遇到瓶颈；

（6）现状推演无法“秒出"结果，准确率无法支持实时调控。

由于缺乏顶层设计，现有的城市交通大数据平台难以形成对交通复杂规律的认知洞察能力、推演判断能力、规模计算能力和社会共治能力，制约了城市交通规划政策管控、实时状态调控、精细化需求引导等交通治理应用。

（二）要素关系多阶，知识表达不明

城市交通治理的核心是制定公共政策、协同规划建设、精准供需匹配、动态调节管理水平，需要对大中城市百万级甚至千万级出行规律的全面、客观、准确、及时地把握。

交通要素包括人、车、路、空间，随着城市交通的规模不断扩大、深度不断加深，各要素之间的关系从单阶向多阶转变，关系规模超过万亿级别，检索、计算的时空复杂度超过关系数据库的应对极限，亟需建立大规模城市交通知识表达、检索、抽取和推理的技术体系，刻画人、车、空间特性和活动链条的全息数据，按照时间、空间关联关系抽取，建立相互之间的直接因果以及多阶因果关系，用于揭示居民出行规律、交通运行规律以及城市演化规律。

（三）平台架构单一，难撑复合需求

城市交通治理业务功能多种多样，对应的数据种类不尽相同，数据组织与知识表达的存储格式、调用方式各异，研判的算法、模型具有不同的特征，对计算性能、时延等的要求也不一样。

此外，城市交通治理涉及大量的视频、信号灯、地磁等传感器，云、边、端的设备如何在同一个架构体系下协同工作，也是一个亟需解决的关键问题。

业务、功能、设备、数据、算法等方面的多样性需要一个强大的平台架构支持，而现有的大多数大数据计算平台架构较为单一，多采用云端分布式集群的技术架构完成数据汇集、治理、计算等操作，难以满足城市交通治理的复合业务需求、多样数据需求以及实时响应的研判计算需求。

（四）数据种类多样，缺乏数据体系

交通领域的数据分布广泛，类型多样，采集手段各异，数据资源如何分类和组织，是交通大数据在管理、使用和开放共享方面需要研究的首要问题。目前交通领域的数据组织、管理还处在很初级的阶段，具体表现在：

（1）缺乏统一的标准，对数据仓库、数据表、字段的命名、数据类型、数据长度、是否主键、是否应该建立索引等进行规范，使得每接入一项数据或增加一个表格，需要花大量时间对数据进行标准化的讨论与设计。

（2）缺乏数据模型的设计、管理与维护，当数据项发生变化时，往往是直接对数据表（物理层）进行更改，忽略了数据模型（逻辑层），从而难以对数据的版本进行管理与追溯。

（3）没有建立元数据的管理与维护机制，元数据的设计不完善，技术元数据与业务元数据缺项，难以满足数据管理与数据服务的需要；也没有建立元数据的自动采集程序，定期对元数据进行维护。

（4）没有建立各类数据的“血缘"管理，无法进行数据表与数据字段的影响分析，识别出会因数据表或字段发生变化而受影响的数据表与字段，也无法对数据的“血缘”进行追溯，无法建立数据全局地图，识别出交通大数据平台中的关键数据表与关键字段对它们进行重点维护与监控。

（5）没有建立主数据管理的流程与系统，目前交通大数据平台中哪些数据是主数据，这些主数据如何进行管理、如何正确维护、如何提供服务，这些问题并没有得到重视与研究。

（6）没有建立数据治理的流程规范，交通行业对于数据治理的理解还停留在数据管理的初级阶段，很多单位甚至没有专职数据管理员（Database Administrator，DBA），数据管理极为粗放，数据库账号密码管理不严，随意传播，任何人都可以对数据库进行操作，随意建表、删表、修改表，既无法对这些数据库操作进行监管，也无法评估这些操作带来的影响。

城市交通大数据计算平台需要解决的首要问题，是建立交通大数据管理、使用、开放共享的标准规范体系，包括多源交通数据的分类体系，建立各类数据的数据字典，对数据的数据项、数据结构、数据流、数据存储、处理逻辑等进行定义和描述；交通大数据的元数据框架体系，保证数据的高效管理、查找、评估与共享；涵盖交通大数据的处理、存储、组织、分析与应用的全生命周期。

（五）数据多源异构，汇聚监管困难

交通大数据的类型众多，如浮动车GPS数据、公交IC卡数据、路况数据、手机信令数据、气象数据、人口数据等，具有来源多、类型杂的特点。

（1）来源多。涵盖交通、气象、环境等领域数据，涉及交通警察局、交通委、自然资源局、公交公司、地铁公司、统计局、气象局等多个单位，来源于综合业务、指挥调度、交通监测、交通控制、信息服务等业务系统。

（2）类型杂。数据类型方面，既有结构化数据，也有各种非结构化、半结构化数据；从数据形式上看，既有传感器、线圈等产生的流数据，也有以文件形式保存的数据，还有数据库记录，以及视频、图片、文字等数据。

来源多样、类型杂乱的多种数据，对数据接入的管理提出了挑战。目前国内交通大数据平台数据接入使用 WebSocket、Kafka、ETL等多种不同的技术进行开发。

一方面，各个接入程序需要手动管理，没有形成统一的数据汇集平台，导致数据接收的管理与运维困难。接收程序可能分布在多台服务器中，需要管理员人工维护，如果集中在同一台服务器，又容易造成单台服务器的性能瓶颈；另一方面，难以对数据接收进行监控，对接收中断、数据量异常、数据质量异常等问题进行识别与预警，问题出现时，不能及时地掌握情况，难以排查出有问题的环节。

（六）数据量大增长快，挖掘效率低下

城市交通时时刻刻都在产生大量的数据，尤其是视频、图片等非结构化数据，例如北京、深圳等超大城市，每天产生的结构化数据超过100GB，考虑道路监控视频、卡口图片等非结构化数据，每天的数据量将达到PB级。

面对如此数量级的数据，传统的关系型数据库已经无能为力，进行数据处理与计算的传统单体程序也无法承受如此巨大的计算压力，必须将数据存储与计算迁移到分布式大数据集群中。分布式大数据集群通过大规模服务器集群实现存储与计算能力的水平扩展，适合海量数据的场景。

（七）质量标准不一，数据应用困难

目前交通大数据平台缺乏数据质量监管的工具与举措，无法保证数据的可用性，用户也无法获得数据质量的相关数据。数据质量的监管应该贯穿数据的整个生命周期。在数据接入的阶段应该对数据量是否异常、数据字段是否发生变更、车辆定位数据是何种坐标系、是否空值、是否异常值等进行监测。

在数据处理的过程中，对空值和异常值采取的是何种处理策略；计算交通指标或运用交通算法模型的时候，算法与模型的精度是多少，置信区间是多少与置信水平如何。这些关乎数据质量的重要问题，目前均没有相关的工具与规范。

（八）涉及个体隐私，缺乏安全分级

交通大数据涉及车辆牌照、个人身份、人脸特征等公民个人的各种隐私数据，迄今在交通数据的采集、存储、计算、管理以及共享开放方面尚未建立安全有效的制度保障和技术支撑。

涉及隐私的交通数据还存在难以进行跨部门数据关联分析、难以追溯审计等问题，而开放共享还存在个人隐私泄露、社会安全方面的风险。如何根据数据字段的敏感度，建立完善的分级管理制度，并根据数据字段的敏感级别和用户信用级别，确定大数据平台内的数据使用、数据下载等多场景下的脱敏策略，建立相关的数据安全管理制度，保护数据隐私，是交通大数据平台建设不得忽视的问题。

（九） 应用场景多样，服务对象广泛

1.应用场景多，离线分析与实时服务并存。

交通大数据被广泛应用于交通管控与交通规划的各个方面，包括道路运行监测、车辆运行监测、公交运行监测、停车监控、交叉口延误监测、交通碳排放监测等交通动态监测系统，职住平衡分析、出行需求分析、公交客流分析、货运通道研判、对外交通研判等分析研判系统，拥堵治理、道路规划设计、公交线网优化、交通改善方案评估等方案决策系统。结合不同应用场景特点，可划分为离线数据分析与实时数据服务两种。

（1）离线数据分析场景。核心是对多源数据的挖掘、分析和关联，发现交通运行的机理和规律，为交通决策者、管理者和出行者提供量化支撑。这些分析操作包括对数据进行不同的时间和空间粒度的切片、汇总、分类、组合分析等，大部分是基于归档和历史数据，对数据库基本上都是只读操作，对数据库操作的实时性要求不高。

（2）实时数据服务场景。如出租车、公交车等重点车辆的实时位置监测，公交实时到站预测，车辆轨迹查询等，这些数据服务会对数据库进行大量的并发查询，需要快速返回查询结果。两类不同的应用场景对应的系统目标与响应需求完全不同，为了保证不同场景下的使用性能，必须对交通大数据平台的数据架构进行针对性地设计，保证交通大数据的离线分析能力与数据的实时服务能力。

2.服务对象广，功能需求多。

交通大数据平台的应用场景多，服务的用户对象范围广，用户层次与用户需求各不相同，给平台带来诸多挑战。服务对象包括交通规划师、数据管理员、算法开发人员、业务系统开发人员等，不同用户使用平台的目的不一样，使用平台的方式也不一样，对平台的功能需求各不相同。

对于交通规划师，通常关注的是获取数据的便捷性、数据的质量和图表的美观，要求平台的数据能够按照应用场景进行组织，并提供清晰明确的数据说明，对平台的性能和响应时延要求较低。对于业务系统开发人员，更关注平台的数据服务能力和快速响应，而不太关注数据表格之间的逻辑层次。如何有效地整合各类服务对象的不同需求，设计平台的功能架构，是交通大数据平台构建的重点和难点。

（十）算法模型多样，难以统一标准

1.算法分散管理，重复开发严重

交通大数据的处理与计算还停留在单体程序的时代，不同的数据使用者往往根据自己的需要开发相应的算法，并在个人计算机上保存与运行。由于缺乏统一的算法平台，不同算法开发者之间难以互通有无，重复开发实现相同或类似功能的现象非常常见，严重影响团队的整体效率。此外，由于个人计算机的性能限制，常常需要耗费大量的时间在等待数据处理与计算。

2.算法模型多样，难以提供标准化的服务

交通领域的算法模型涉及经济学、社会学、行为学、交通工程学等多种交叉学科，交通模型可以分为宏观模型、中观模型和微观模型三个层次。这些模型与算法需要依托昂贵的专业软件，模型构建与使用的过程十分复杂，门槛极高，只有少数交通工程师能熟练掌握。这些模型与算法是交通行业的核心能力，如果不能够移植到交通大数据平台，那么平台的作用与效果将大打折扣。

交通模型建模专业软件差异（TransCAD、Cube、EMME、VISUM）与模型校核参数差异也造成了模型通用性差、建模过程难以公开透明、难以形成标准化的功能服务等情况。

3.计算资源管理调度难度大

交通大数据平台的数据量大，应用场景多，服务对象广，算法模型多，必然会导致平台上运行的计算任务多样，计算密集。这些计算任务不仅给平台提出了巨大的性能需求，也对计算任务的编排、计算资源的管理调度提出了重大挑战。

（一）应用层次尚属初级，深层次应用将成为发展重点

按照数据开发应用深入程度的不同，可将众多的大数据应用分为三个层次。

第一层，描述性分析应用，即指从大数据中总结、抽取相关的信息和知识，帮助人们分析发生了什么，并呈现事物的发展历程。

第二层，预测性分析应用，即指从大数据中分析事物之间的关联关系、发展模式等，并据此对事物发展的趋势进行预测。

第三层，指导性分析应用，即指在前两个层次的基础上，分析不同决策将导致的后果，并对决策进行指导和优化。当前大数据应用实践中的分析应用多是第一层次和第二层次，而最深层次的指导性应用较少。

这三种层次的大数据分析应用也可以对应人们决策过程的三个基本步骤：认识现状、预测未来和选择策略。三类应用的区别在于决策过程中人与计算机之间关系的不同。在描述性分析应用中，计算机仅承担描述当前状况的任务，将当前态势以图可视化等形式呈现出来，而判断未来态势或不同的决策后果等预测指导的工作依然需要人类专家来完成。

在更高层次的分析应用中，计算机负责更复杂的工作，对效率的提高更大，具有更高的价值。深度神经网络在大数据分析应用中虽已经得到一定发展，但除了不完善的基础理论，模型不具可解释性、鲁棒性较差等也是限制其在大数据应用领域发展的几大缺陷。随着大数据技术的发展，应用领域未来的重点是预测性和指导性的应用，将给多行业、多领域的人们和企业带来实质性的价值变化。

（二）治理体系未形成，隐私安全效率成短板

随着大数据在各个行业领域应用的不断深入，大数据已成为重要战略性资源，然而大数据治理体系的不完善是制约大数据发展的一大因素。

这导致对数据资产地位没有统一的认识，数据流通和管控困难重重；无法打破数据壁垒，数据开放共享面临不少阻力；数据泄露和滥用、隐私安全等问题，仍缺乏数据立法、信息保护等相应措施来应对大数据治理体系发展的落后使得数据价值难以得到发掘和利用。

其中隐私与安全问题尤其制约了大数据的开放共享，然而当前数据共享开放的整体需求、共享的使用量都在大幅提升。只有推进大数据流通与共享共赢，才能发挥大数据的巨大价值。

然而，数据在没有规则和法律保护下的开发与共享，可能导致个人隐私、商业秘密的泄露，甚至影响国家安全，因此必须对其立法，规范和限制数据的有效流通。

欧洲是全球数据立法最早的地区，鉴于互联网公司对个人数据的不正当使用而导致的隐私安全问题频发，于2018年5月25日正式实施了“史上最严格”的数据安全管理法规《通用数据保护条例》（General Data Protection Regulation，GDPR）。欧洲的《通用数据保护条例》生效后，Facebook和Google等互联网企业被指控强迫用户同意共享个人数据而面临处罚，引发舆论广泛关注。

2020年1月1日，美国发布《加利福尼亚消费者隐私法案》（California Consumer Privacy Act，CCPA），被称为最具典型意义的州隐私立法的个人隐私保护法案。CCPA明确了消费者权利清单，旨在加强消费者隐私权和数据安全的保护，相关企业收集个人信息后，企业负有保护个人信息安全的责任，消费者可控制并拥有其个人信息的权利。

2021年9月1日，中国正式施行《数据安全法》，规范了数据处理活动，保障数据安全，促进数据开发利用，保护个人、组织的合法权益，维护国家主权、安全和发展利益。中国的《数据安全法》将改变国内长期以来对数据的“重搜集、轻保护、弱治理"现象，加强全民数据安全保护理念，为个人、企业及政府数据安全“保驾护航”。

目前大数据治理的重要性已得到社会各界的广泛认可，人们已将其作为大数据发展的重点，但大数据治理体系建设仍处于萌芽期，仍需长期推进大数据治理体系建设。

（三）理论技术不成熟，技术体系渐进发展

随着科技的发展和社会的进步，人们的生活方式发生了重大改变，大到各行各业，小到衣食住行，几乎每个行为都以数据的形式存储下来，数据的规模、数据种类都在以几何级数增长。

国际信息技术咨询企业国际数据公司（IDC）的研究显示，全球数据存储容量在2020年就已经达到44ZB，预估到2030年就将突破2500ZB。

然而，目前数据处理能力已远远落后需要处理的数据量，因此大量数据无法得到及时处理，这导致数据利用率低，未能发挥应有的价值，大量数据在成为“暗数据”。国际商业机器公司（IBM）的报告同样显示了这一点，大量数据未被发掘和理解，大多数企业只分析和应用了其全部数据的1%。

近年来，在大数据采集、处理及分析等相关技术上取得了重大进展，但对于大数据基础理论的研究还处于起步阶段，同时存在下述问题：其一，虽然对于大数据的定义已有初步共识，但在大数据的一些本质问题上还有争议；其二，虽然在许多领域已有针对性的专用技术方案，但在通用性方面进展缓慢，迟迟没有形成通用的技术体系，甚至无法回答是否能够实现通用体系的问题；最后，由于大数据应用领先于理论和技术的发展，在数据分析的结论缺乏坚实理论基础的情况下，需谨慎使用这些结论。

信息技术未来将在相当长的时间内继续保持渐进的发展趋势。根据指数增长模型，技术发展带来的数据处理能力提高的速度将远远落后于快速增长的数据量，并且数据处理能力与数据资源规模之间的差距还将不断扩大。数据规模的高速增长将使得信息技术体系进行颠覆式创新和变革，这也带来了发展机遇。

例如，硬件资源虚拟化技术抽象地虚拟化了计算机 CPU、内存、硬盘等资源，硬件变得弹性可扩展和水平可扩展；中心化计算架构面临性能瓶颈后，云计算之后雾计算、霾计算的概念逐渐发展，“云-边一端”新型计算模式逐渐兴起等。

在此背景下，复杂城市交通治理应用，已具备初步的技术体系支撑，在信息化技术渐进发展过程中，城市交通大数据智能计算的应用实践也将持续演化，不断深化。

（四）交通大脑渐兴起，深度、精度、广度待提升

在中国，9亿城市化人口每天出行约17亿人次，主要大城市每天出行人次超千万。因此，能够全面、客观、准确、及时地把握城市级大规模交通运行规律，对交通治理具有至关重要的意义。

当前，中国各大城市已初步采集了各类交通大数据，研发了评价分析系统，但如何对各类数据进行有效整合，形成强大的交通计算平台，对交通实时运行状态进行掌控，对长期状态进行研判，是当前大城市交通治理的关键。

据中国信息通信研究院统计，我国36个主要城市中有10个开展了城市级大数据平台建设工作，总占比不足三成，城市数字底座基础支撑能力严重缺失。

同时由于对数据的认知仍停留在资源归集层面，缺乏有效的数据治理，大多数城市仅将收集的数据用于查验或简单统计分析，缺少融合挖掘分析，业务间深层次关联不足，交通决策仍以经验判断、“拍脑袋”为主，智慧赋能水平较低”。现有的城市交通大脑更多关注如何构建智能化感知和决策提升，而忽视了将决策分析与业务深度融合、用智能化技术手段解决业务上的痛点和难点。

一方面，交通综合运行监测与指挥调度平台（TransportationOperations Coordination Center，TOCC）属于“治标”承载体，包括对载运工具实时监测和安全监管、对出行流量的采集和预警以及对突发状态的指挥和调度等，采集到的数据为公共出行、运输数据等“大公共交通”概念数据，而非全域流量、全局态势感知数据。

另一方面，公安交通集成指挥平台属于“治本"承载体，包括对交通线路的规划建设、根据流量加密地铁和公交车次，以及根据出行需求增设道路等，而难以把控信号控制、事故处理、交通诱导及拥堵疏解等交警常态性处置工作，缺乏对城市交通实时性组织与控制。

2020年中央政治局常务委员会首次提及数据中心建设，大数据平台建设已上升到国家战略层面，如何利用数据驱动交通业务流程再造，为交通管理服务智慧赋能成为新的挑战。

现有交通系统在AI分析、交通知识图谱等快速分析技术与设施病害识别、个体锚点识别等高精度算法群能力上尚有较大提升空间，亟需通过建设基于大规模路网车道级实时在线交通仿真技术的城市级交通大脑，构建大数据赋能支撑能力，驱动业务精细化治理和多业务协同联动。

大数据是现代信息社会的重要战略资源，是加快社会数字化转型、提升政府治理能力现代化的重要驱动力。交通是大数据实践应用的关键领域，以数据治理驱动城市交通治理，全面提升城市交通服务和市民出行品质，是新时期城市交通发展的一项重要任务。

分布式云计算、PaaS多租户等平台技术日趋成熟，为突破传统交通治理模式，实现基于交通大数据智能计算的城市交通治理提供了新思路和新技术支撑。围绕城市交通治理的“应急事件识别及处置、短期交通态势研判及管控、中长期城市生长分析及决策”等多个场景应用，构建一个集数据治理体系、计算体系和服务体系于一体的交通大数据计算云平台TransPaaS。

平台提供按需调度的可伸缩、高可靠的云平台计算能力和可编辑的城市级图形生成能力，最终实现数据资源标准化共建共用、算法模型上架共享及积木式编排搭建复用和快速可视化全能制图能力，为城市交通规划、建设、管理和多部门决策业务需求提供重要基础支撑。交通大数据计算平台将作为城市交通治理的关键技术引擎，成为一种新型的城市交通治理基础设施和技术装备。