分享

收藏

点赞

  1. 主页 > 资讯 > 更多

杨东援:站在大数据面前,交通工程师的思考(再续)

对于已经具有较深传统理论功底的学者,一提到大数据首先吸引眼球的自然是“数据”,将尽管“大”的数据放进“建模”的分析过程,是一种习惯成自然的研究套路。

对于已经具有较深传统理论功底的学者,一提到大数据首先吸引眼球的自然是“数据”,将尽管“大”的数据放进“建模”的分析过程,是一种习惯成自然的研究套路。一番兴奋之后却发现这个“大”的数据不那么好用。公交IC卡数据由于只有上车刷卡信息,需要推断用户下车站点。更在推断是否换乘德过程中,两次刷卡之间间隔多长时间属于“换乘”,远不像交通调查中的直接回答来的爽快。类似的问题在交通大数据分析中比比皆是,例如移动通信数据中的“单此出行”的判断,移动通信用户是否属于“通勤一族”的判断,车辆牌照数据中相邻两次检测是否属于同一次出行的判断等。在一系列假设基础上,终于将这个“大”的数据融入模型标定的框架之中,但是面对研究结果却充满疑惑:得到的结论如何检验,仍然是一个挥之不去的难题。

 一般来说对于数据驱动的研究工作,将“数据”组织成为“信息”,从“信息”中提炼发现“知识”,构成完整的分析流程。问题在于不一定非要将“数据”组织成为专门用于支持建模的“信息”,而且也不一定非要通过数学模型获取有关规律的“知识”。否则我们会忽视难以精确数字化的重要信息。

如果我们跳出传统研究的套路,不是把大数据视为需要通过“模型”来说明因果关系的“原材料”,而是将其表达为判断者能够理解的“证据”,峰回路转又呈现出一片新天地。

交通大数据分析过程其实是一个“证-析”的过程。所谓“证-析”一方面强调判断和决策中的证据,尤其是数字化的具象证据,以求增加判断与决策的权威性和说服力;另一方面强调通过证据产生洞察,而不是让复杂的数学模型剥夺了我们思考的能力。

在这一技术路线指导下,两个必须突破的关键技术问题成为有待攻破的“堡垒”——构建“证据视图”,以及基于证据形成科学判断的方法。所谓“证据视图”是将一系列通过数据提取特征后形成的图表,按照某种专业逻辑(证据链)组织起来,展现在决策判断者面前的形式。基于证据形成科学判断的方法,其关键在于如何从专家组群关于证据对于假设判断支持程度的意见中,提炼出整体共识。

“证据视图”与“证据链”的概念具有密切的联系。交通大数据分析之所以强调“证据链”,是由于大数据本身非完备特征,使得据此产生的证据是大多属于“间接证据”。由此产生的问题是——如果只有间接证据,能否形成可信的判断?

一个非常有用的启示来自司法领域,间接证据理论的奠基人,杰里米.边沁(Jeremy Bentham)最早提出间接证据的概念:“在间接证据中,仍存在着一种‘特殊的推论’,而在直接证据中,从原始命题到结论的推演却相对简单”。

间接证据不能独立证明命题,需要与其他证据结合,并经过推理才能证明命题。间接证据的应用可以分为三种情况:①在具有直接证据的情况下,间接证据可以对直接证据进行印证,以使得直接证据获得足够的可靠性;②间接证据还需要对直接证据没有证明的事项予以补充证明,以实现对事实的完整证明;③在不具备直接证据的情况下,间接证据如果确实充分,也具有独立证明命题的功能。

构建“证据视图”就是将各类证据组织起来,形成“证据链”来证明所提出的命题。

基于证据形成科学判断的方法,则是借助专家组群的智慧,验证技术分析人员关于通过具体证据来证明命题的理解正确与否。也就是说,让专家相对独立地对于证据视图能否有效地证明命题做出判断,并对自己的判断采用某种打分的方式加以形式化,再进一步加以综合产生最终结果。与德尔斐法不同,这样得出的结论有可能包含“目前证据尚不足以说明问题”这样的判断,更加能够体现专家的意见。(未完待续)

未经许可,任何人不得复制、转载、或以其他方式使用本网站的内容。如发现本站文章存在版权问题,烦请提供版权疑问、身份证明、版权证明等材料,与我们联系,我们将及时沟通与处理。

加载中~

你可能也喜欢这些文章




稿
意见反馈0
商务合作

商务合作 扫码联系

返回顶部