分享

收藏

点赞

  1. 主页 > 资讯 > 更多

基于云平台架构的警务大数据中心建设

当前,大数据、云计算、物联网等新技术的迅猛发展,深刻影响并改变着人们的生活、经济发展、国家治理方式等各个方面。

当前,大数据、云计算、物联网等新技术的迅猛发展,深刻影响并改变着人们的生活、经济发展、国家治理方式等各个方面。习近平总书记提出了“实施国家大数据战略”的重要思想,公安部赵克志部长明确了“大力实施公安大数据战略,着力提升公安机关核心战斗力”的工作目标。为了落实大数据战略思想,天津市副市长、公安局局长董家禄在4月20日全局科信工作会议上指出,当前和今后一个时期天津市公安局将以“大数据中心”建设为核心,全力推动八项重点工程建设,动态构建全局信息化建设应用格局,全面提升“全息感知、全能计算、全景应用”三大能力。

一、开展大数据中心建设的基础条件

大数据中心的建设是天津公安信息化工作未来三年的重中之重,是统一云计算环境下的大数据平台,向全局提供基础设施资源、大数据计算能力以及应用模型云上服务,进而实现数据规模效益和价值最大化。天津市公安局的警务大数据中心建设从优化顶层设计的角度,规划了未来三年的信息化工作核心,基础设施基本完备,具备开展警务大数据中心的条件:

第一,云计算平台基本建成,天津市局统一的弹性硬件环境搭建完成。综合考虑未来公安信息化发展趋势,保证未来信息化发展的可扩展性,先后分三批采购1000台服务器,建设云平台。目前平台搭建已基本完成,实现对全局计算、存储、网络、数据资源集约化建设与管理提供强有力的硬件环境支撑。

第二,数据整合工作完成,数据治理工作正在进行。天津市局近年来在整合局内外部数据方面取得了明显成效,自建的热点、卡口、电子警察、RFID等感知类设备采集的数据实时汇聚到云平台,与民政、卫生、人社等部门开展多种方式的数据共建共享,结合科信汇聚的各类实名制轨迹数据,开展深度关联分析。已初步具备为专业警种提供应用和数据分析类服务的条件,为进一步实现数据规模化效益和价值最大化奠定了基础。

第三,业务流程解耦再造已列入日程,云平台针对业务组件化、微服务化方式提出一套解决方案。硬件设备的集中管理、数据的集中存储计算,是为了实现全业务流程的整合,最终实现警务工作的“云化再造”。天津公安目前初步实现了数据共享、系统协同的功能,但仍存在着业务系统功能重复多、业务流程缺乏梳理、断点多、不连续、标准不统一等问题。警务大数据中心的建设规划,从公安整体发展需要,打破警种壁垒,以公安主流程为设计中心将业务流程解耦、去重、缝合、优化,从SaaS层、DaaS层、PaaS层、IaaS层逐层倒推,提出了以云技术为核心、引入大数据设计理念的完整架构。

二、云计算服务平台建设初具规模

云平台是开展大数据应用的基础。天津市局以搬迁新址为契机,科学规划了2400平米公安网机房,建设了1000台服务器规模的云计算服务平台。从天津的实际需求出发,规划设计了数据服务层和软件服务层,对外提供全方位服务。逐步解决公安信息化建设中存在支撑能力输出不足的问题,包括计算能力、存储能力、数据服务能力、应用支撑能力、安全保障能力等,而通过警务云大数据平台的建设,能够实现云平台全要素能力的输出,通过逐步统一技术架构、技术标准、数据服务,先实现应用系统的云化,最终实现警务工作的云化。

按照普遍概念中云计算平台的四层架构体系,规划设计了能够实现全要素服务的云计算服务平台。主要有以下几方面服务内容:

(一)基础设施服务

天津公安云计算服务平台能够面向用户提供全面的基础设施服务。平台在对底层计算、存储、网络、安全、小型机等各类IT基础设施进行全面纳管的同时,也将各类IT基础设施能力实现全面云化,并实现面向全警种交付服务的能力。在计算层面,能够交付虚拟机、裸金属、小型机等服务能力;在存储层面,能够交付块存储、文件存储、对象存储等服务能力;在网络层面,能够交付虚拟路由器、VPC、弹性IP等服务能力;在安全方面,能够交付虚拟防火墙、虚拟IPS、虚拟负载均衡等服务能力。所有基础设施服务均可以基于统一门户实现在线申请,并在流程审批通过后自动化交付。

(二)平台服务

平台的应用服务是针对应用提供的通用能力,包括应用运行框架、应用开发、中间件、API网关和服务总线。应用运行框架和应用开发主要提供开发流水线、微服务架构、应用生命周期管理、服务目录等能力,为云应用的快速迭代开发提供支撑;中间件主要提供应用运行环境的中间件服务,包括消息中间件、缓存中间件等;采用API网关对各类API提供托管服务,为API提供发布、管理、运维的全生命周期管理;服务总线是指各数据资源、应用服务资源通过服务总线实现对云计算服务平台之上各类应用的支撑,以及对各类服务的统一管理、统一监控和统一日志审计。

(三)数据服务

数据服务是指在大数据治理与数据目录的基础上,提供与数据相关的处理和服务能力,包括数据统一接入以及标准化,基于元数据的全流程生命管理和数据预处理,数据挖掘和模型分析等,并通过数据服务支撑各警种智慧应用。

数据服务需要构建完整的全量数据管控机制,满足大数据分析需要,实现数据从资产化管理升华到知识化管理,进而推动警务信息化建设模式的转变,由原来的应用驱动转向“应用+数据”的双引擎驱动模式。

(四)应用服务

应用服务是云计算服务平台能力输出的最重要体现,在云计算服务平台总体框架下,结合云计算和大数据技术,通过建设一批种类丰富、领域广泛、适合不同业务警种使用的软件服务,构筑功能强大、层次清晰、具有迭代发展能力的公安软件生态系统。

第一,在大数据基础应用方面,围绕“全警需要什么,平台就建什么”的原则,通过组织多次的需求调研和收集各方应用需求,开展面向全警应用的系统建设,如大数据智能搜索、数据魔方系统、智能标签应用、全轨迹智能研判、车辆大数据分析、人员大数据分析和空间大数据应用等。

第二,在智慧警务应用方面,“如何将公安信息化成果面向基层服务,如何通过信息化手段为基层民警减负”,是天津市云计算服务平台应用层建设需要解决的重点课题。智慧警务应用通过长达2个月,组织10多次基层信息化应用专家和业务骨干进行需求讨论和建设规划,依托警综、PGIS、移动警务系统、技防网等平台,开发实用型、创新型的针对全体民警使用的智慧警务应用。主要应用模块包括智慧采集、智能处警、数字社区管理和智能提现等。

三、警务大数据中心建设

在已经统一的云计算服务平台和数据资源的基础上,具备建设一个业务贯通协同、数据实时在线、应用智能简便、警务工作融合的警务大数据中心的条件。警务大数据中心包含资源中心和服务中心两部分,其核心建设内容分层解耦在整个云计算服务平台的数据服务层(DaaS层)和平台服务层(PaaS层)。

(一)大数据资源中心

主要融合公安网内部数据(包括市局各警种数据、分局自采数据、公安部下发数据、其他省市共享数据等)、涉密网数据、视频专网数据(以视频结构化数据为主)、政务专网数据(以其他政府部门共享数据为主)、互联网数据(互联网舆情数据+社会单位共享数据,如电信、银行、水电企业等数据)、物联网数据(从技侦、网安整合的wifi、热点、电子围栏、RFID以及从视频专网整合的人像、车辆卡口过车等数据)。

1. 数据治理流程

大数据资源中心充分发挥大数据中心的多场景支撑作用,数据的整合与治理工作至关重要。针对公安数据资源的复杂性以及应用的多样性,开展有针对性的数据治理能力输出,数据治理全流程设计如图1所示。

1531474936895964.png

(1)数据接入主要体现为对实时数据与非实时数据的接入,囊括了各警种现有存量数据、将来产生的业务数据,以及不同来源的行政管理数据、视频图像数据、互联网数据、物联网数据等;

(2)实时数据采用流式数据接入,进行流式计算;非实时数据采用文件数据接入和数据库接入,进行离线计算。两类数据形成结构化与非结构化的汇集库,汇集库“贴源”设计,保障与源头业务数据的一致性;

(3)汇集库通过数据标准化、数据提取、数据关联、数据打标等过程构建标准数据服务的基础库,基础库主要存储热数据、冷数据和问题数据,为后续的数据分析和关联挖掘提供高质量、高标准的数据服务;

(4)通过计算引擎与工具实现数据的深度加工,通过对基础库的数据进行对象识别、对象关联、数据标识等数据融合,构建具备增值数据服务的主题库,加工后的数据用于分析挖掘;

(5)主题库主要存储对象库、关系库、轨迹库、行为库;

(6)根据应用建设需求,对主题库的数据进行数据抽样、数据重构等业务提取,构建面向基础应用和警种专题应用的专题库,主要存储全文库、档案库、活动库基础应用专题库。同时,根据实战警种的模型、技战法等的业务知识,基于主题库和警种个性化数据,进行知识提炼形成知识库;

(7)通过索引提取,将业务对象在汇集库、基础库、主题库、专题库的位置信息提取出来,构建索引库,便于快速定位业务对象。

在整个数据处理过程中,大数据管控治理针对数据的全生命周期管理进行支持与监控。以上的全部过程均采用大数据存储计算系统进行数据的存储和计算,故也被称为数据治理工程的生命周期。

目前,数据治理初见成效,已完成首批500余张表数据治理分析工作,占资源库总数据种类的80%。112类重要数据资源汇集上云,并保持实时更新。通过数据的整合与治理,累计梳理完成5500个字段、480个代码字段及对应表码、208个标准化代码字段。提升了整体数据质量和整体使用性能,减少了数据冗余,减少了业务信息噪音、消除了业务信息孤岛,实现了业务数据知识化。在数据治理的基础上,深度挖掘数据关系,特别是对人员关系数据进行了深入分析,共挖掘出人员关系类型85类。

2. 数据服务

大数据资源中心提供的数据服务由数据接入、数据治理、数据知识化和数据服务构成。

(1)数据接入:实现对市局各类数据资源库进行整合、集成,数据主要格式包括结构化数据、半结构化和非结构化数据;数据来源包括公安网各警种数据、涉密网数据、公安网其他省市数据、政务网数据、互联网数据、视频专网整合数据和物联网整合数据;

1531474956803188.png

(2)数据知识化:基于公安业务理解,对数据进行深度加工,构建一系列的数据知识化流程,将数据演变成公安业务智慧,为智能化分析及应用提供数据支撑;

(3)数据服务:基于数据治理和数据知识化的成果,面向全警乃至全社会提供公安数据服务。

(二)大数据服务中心

大数据服务是大数据中心内构建“管用分离”的重要支撑业务。通过服务接口实现应用与数据的隔离,加强数据安全管控;通过对各类应用系统的数据需求进行深入分析与归纳,进行服务接口建设,提供类型更多、功能更丰富、性能更高的服务接口;通过基于融合大数据架构的大数据基础库与大数据专题库的支撑实现高性能的大数据服务接口,满足各警种对大数据应用的需要,同时,为更好地满足各警种应用需要,进一步加强服务治理,简化应用接入。

(三)大数据资源服务总线系统

大数据资源服务总线是警务云大数据平台为实现跨应用、跨警种、跨区域的信息共享而构建的传输通道,通过挂接本地数据服务接口、应用服务接口为应用系统提供丰富的资源服务;是《公安信息资源服务平台建设任务书》规划建设的核心支撑系统,资源服务总线可根据本地管理和应用需求进行定制,满足本地开展大数据服务和其它专题应用服务;可以集中管理本地所有类型的资源服务。

1531474977441290.png

大数据资源服务总线系统,主要服务对象包括公安部门、其他政务部门和群众;服务的类型包括数据交换、服务接口、页面服务等形式;服务的内容包括基础数据服务、第三方应用专题服务、基于简单应用场景的AI服务和面向各类复杂业务的组合服务。

四、总结与展望

天津市公安局在公安部出台的总体框架下,紧密结合天津实际,突出天津特色,以实战为引领,坚持集约化建设原则,努力汇集内外部数据,加强数据治理,建立各类主题库、专题库、模型库、特征库等,开发全警通用的基础应用工具和功能组件,引导各警种运用大数据思维、云平台的计算支撑能力,在公安全域内开展大数据应用。

基于云平台架构的警务大数据中心的建设是一个持续、长期、不断完善的工程,天津市公安局在下一步工作中将围绕以下重点开展工作:

(1)将以推进数据流、业务流、管理流融合为重点,按照警务体制改革发展方向,向基层实战部门赋能,为基层实战应用提供更多更高质量的大数据、智能化的服务与支撑;

(2)努力提高视频的结构化处理与AI智能分析的能力。随着新技术的不断发展,犯罪分子的反侦察能力也在不断加强,视频处理分析能力是未来发展的重点,也是警务大数据中心的重要组成部分,是 “警务+视频” 云融合的重要驱动力;

(3)实现“大数据即服务、内容即服务”等云即服务的理念,向贯穿全流程的警务工作云化前进。警务大数据中心的建设使天津公安的各环节警务工作人员在从中获益的同时,成为警务大数据中心的云节点,不断的补充完善大数据中心中的数据内容,使得警务大数据中心所提供的内容更具备实战性,最终实现以数字化技术重现现实社会,为指挥决策和应急反应、打击犯罪、服务群众、维护社会政治稳定提供强有力信息化基础平台。

未经许可,任何人不得复制、转载、或以其他方式使用本网站的内容。如发现本站文章存在版权问题,烦请提供版权疑问、身份证明、版权证明等材料,与我们联系,我们将及时沟通与处理。

加载中~

你可能也喜欢这些文章




稿
意见反馈0
商务合作

商务合作 扫码联系

返回顶部