分享

收藏

点赞

  1. 主页 > 资讯 > 更多

叶杰平:滴滴在人工智能和大数据领域的探索

我2015年10月份加入滴滴,刚好两周年,我2015年的暑假回国探亲的时候,顺便访问了一下滴滴,见到程维、柳青、张博等,回到美国就决定加入滴

我2015年10月份加入滴滴,刚好两周年,我2015年的暑假回国探亲的时候,顺便访问了一下滴滴,见到程维、柳青、张博等,回到美国就决定加入滴滴,接触滴滴之前看过了很多滴滴新闻,以为营销驱动、资本驱动,不需要太多的技术,跟司机一匹配就可以了。

搜狗截图17年10月31日1031_3.png

来了之后我发现里面核心的AI特别重要,而且当初我在程维办公室,他说这个技术会越来越成熟。而且AI会创造极大的用户价值改变出行,后来决定加入滴滴。

微信图片_20171031103109.jpg

先给大家最新的一个数据,滴滴是我们非常年轻的,今年6月份刚过完5周岁,从出租车开始到一站式的出行平台,现在每一天完成的订单量超过2500万,用户数量是4.4亿。

大家都知道,在人工智能时代,数据是石油燃油,滴滴最大的财富应该是有海量的交通数据,滴滴是一个大数据公司,人工智能公司。在滴滴的每一辆运行的车,每两到三秒钟会给我们传递信号,我们有整个轨迹数据,还包括其他的一些驾驶行为,司乘互相的评价等数据。

我每天新产生的数据数是70TB,这么大海量的交通数据给我们提供巨大的潜力,也是越大的挑战,每天我们处理做非常巨大的4500TB,大量的数据采集、数据分析、数据分析等等,我们希望用数据提高出行的安全、体验效率,巨大的数据背后有巨大的挑战,现在每天的路径规划,A到B应该怎么走,应该怎么导航,非常核心的一个功能,每天量是200亿次,然后我们需要知道司机在哪,乘客在哪里,每天的定位数是150亿,而且这些数据会随着我们每天订单量的增加而不断增加。这对我们整个系统的实时性,算法性能的要求都是非常高。

同时,我们这个系统对算法的精度要求也是比其他很多的行业,很多的方向要求要高很多,一个算法精度在与99.9%,就非常理想,非常高,当然滴滴的产品,这么大能量,这么大的数据值0.1%的误差都会导致成千上万个司机乘客的体验受到伤害。所以我们的目标是每一个产品,希望每一个算法都做到极致,希望找到每个乘客出行的体验。

我们希望基于我们海量的交通数据有一个智慧的交通大脑。中间还是我们有海量的交通数据,有算法,现在人工智能的话,大家都知道需要三个核心的要素:海量数据、模型算法、强大的计算能力,所以现在是三个“大”:大数据、大模型、大计算平台。

人工智能今年刚好60周年,几个高峰低谷,这一波浪潮最核心的几点。一是大数据,我们现在采集数据的能力和量,比前面几次人工智能浪潮要大很多。有了海量数据之后,我们能建非常复杂、非常大的模型,以往的模型在我读模式的时候,一个模型仓储(参数)可能几百、几千,目前的仓储量一般都是几十亿、几百亿,十年前都是不可相信的,这么大的模型必须有大数据。有了这么大的数据算法算不动就需要几十年,所以非常重要的,需要非常大的计算平台,非常高效的计算,比如说机器学习的出现。

滴滴刚好符合这个场景,我们有海量的交通数据,非常多的应用场景,在滴滴研究院,我们积累了很多前沿的算法,我们有国内比较领先的计算平台,我们需要人才,我们过去两年滴滴研究院积累了很多的AI方面的工程师,用技术大数据改善用户出行。

这里头我列了一下过去两年我们在大数据、AI方面的一些比较成功的典型的应用场景,交易引擎在滴滴最核心的一部分就是订单的匹配,乘客跟司机如何做,这个有点类似于Google搜索,刚才Will(程维)提到跟搜索非常不一样的地方,搜索我们给一个排序用户还是可以选择的,我们做最优的匹配,我们就给优惠券,这个难度,精度的要求就会比传统的搜索要高。还有一点不一样,时效性,Google搜索、百度搜索隔5分钟,有可能隔一个月再搜索可能都是类似的结果,实时性要求没有那么高,但是在滴滴的场景非常不一样,因为司机是时时刻刻在动,你隔了5秒钟这个司机可能上了高速,可能过了交叉路度,可能过了这个河,如果过了5秒钟他过来接你,这个路径距离可能完全不一样。滴滴产品对于实时要求比很多其他行业高很多,目前我们订单分配是每两秒钟做一次订单分配,我们会把两秒钟之内所有的需求,所有的司机放在一起做一个最优的匹配。

这里匹配的话,就有一个匹配度的问题,只不过不算最优的匹配,这里面牵扯到很多的技术。大家可能认为距离你最近的司机应该是匹配度最高的。滴滴最早期是用的直线距离,因为这个最简单,只要知道定位,定到两点就可以做出来直线距离,这个显然不是太合理,因为过了一条河直线距离会很近,后来技术的演进之后,后来就开始有路径规划,路径规划就会找到司机实际过来接你的距离。当然,滴滴的产品是特别复杂,因为我们需要考虑实时路况,需要考虑到我们每一天做200次的路径规划,而且路径规划是点跟点之间路径规划,北京来说有上百万个点,在毫秒级别计算大量的路径规划这个挑战是巨大的。

刚刚讲到的是直线距离,后来是路面距离,其实路面距离也不是固定的,同样的A到B,星期六和星期五时间路径完全不一样,最理想的是我们估算出来A到B精确行驶的时间,用行驶的时间作为司机乘客的匹配,这时间定义的一天那是更难的一个问题,因为预估实际A到B的时间需要找未来,因为你要计算如果这个司机过来接你,未来路况会怎么样,他会过哪几个十字楼,他可能碰到的红灯还是绿灯,因为是红灯还是绿灯就不一样。路上可能会经过十几个甚至上百万个十字路口,每个路口都有一些不确定性,如何把这么多不确定性都考虑进去,估算出来比较精准的时间,这是比较大的挑战。

滴滴在一天的话ETA,这个方向我认为是在大数据AI比较成功的一个应用的案例,虽然说我们还有很多,前面还有很大的发展潜力去不断的提高,过去两年的话,我们的误差大幅降低。

我们提高了将近100%到200%误差下降,利用大数据和人工智能一天误差下降了100个点。

微信图片_20171031103113.jpg

供需预测在很多场景下都有使用,我们打不到车,其实不是因为我们缺司机,而是司机分配不足、供需不足,比如说这个区域发单量比较多,但是司机可能比较少,旁边一个区域司机量很大,但是乘客量很少,我们有效率特别高的司机,也有特别低的司机,还有很多新司机,他们不是特别清楚,每一天不同时刻应该在什么地方。所以就建立一套系统叫供需的预测,我们会预测未来,比如说15到30分钟,北京的每个区域大概有多少人发单,多少个司机,缺多少个司机,如果能提前预测,比如说这个区域再过一个小时可能会缺50辆车,我们会把周围剩余的司机调度过来,当过15分钟,半个小时发单的时候,司机已经在周围了,用传统的方法实时看到哪一个地方缺司机,你跟司机说这个时刻距离5公里缺司机,司机一般不愿意去,因为他一般开过去空驶时间耗油,另外一方面运力和供需是动态的,等司机开过去的时候,可能这个区域已经不缺司机了,所以一定要用AI、大数据提前做预测,一定要提前15到20分钟预测未来供需分布。  

还有一个是拼车,如果比如说北京城市大家都愿意拼车,去年顶级的杂志上有一篇文章,讲述了一位大学教授做过很多的数据分析,他们在做扭矩的数据,如果两两大家都愿意拼车,两两拼成,这样司机的需求数减少一半,我们的路况会极大的改善,我们的环境污染会极大的改善,而且拼车是滴滴常年以来少数有规模效益的,更多人愿意拼车,拼车的概率就会增加,拼车之后的体验绕的路会减少,目前滴滴在大量的推拼车,我们可以两拼也可以三拼,小巴是6座拼车。

我们平台上有司乘判责,因为有这么多的订单,每天还会有一些冲突,这个比例是很小的,司机乘客会有冲突,比如说乘客取消到底是乘客先取消,还是司机打电话诱导他取消,这个需要判责,传统上有冲突的时候,首先司机会受到伤害,他很有可能回答电话到客服,如果有一个引擎,有一个模型,利用大数据模型,利用实时的,当这个冲突发生的时候,就能够还原当时的场景,能够判断出这个冲突是司机的责任,或者说乘客责任,这样司乘的体验,他们在商量之前我们就解决这个问题,会极大的降低客服压力。      

还有一个安全问题,我们始终把安全放在NO.1,最近我们也在摸索如何用大数据,如何用AI来提高我们的司乘的安全。如果你打开滴滴的首页,其实这背后已经有非常多的算法在支持大家的出行,比如说我们定位你现在在哪,这是你的起点,出发点我们会做一个预估,很多出行场景有规律性,早上打开APP有可能上班,中午打开APP有可能吃午饭,晚上打开可能我要回家,很多场景有规律性,我们可以利用历史数据,我们今天发了一个PPT是建立一个模型为预测乘客可能去的目的地,如果预测的目的地比较确定的话,我们就可以直接把这个写出来,我们预测准确的话,现在精度超过大概90%,覆盖率为40%,这样有很多的用户打开APP就不需要输入起点,不需要输入目的地直接发给你好了,这样极大的提高乘客的体验。

这里还有一个难点,这个难的地方是推荐上车点,大家都知道你发动之后,用过滴滴的话,司机如何有效的尽快的接到这个乘客,这是一大痛点,经常如果你在陌生的地方,你不知道在哪上车,司机给乘客打一个电话问在哪,我们有一个团队利用大数据,利用算法来做精准的推荐,哪一个点在你周围上车体验会更好,这里上车点会结合乘客的历史数据,实时的情况,也会考虑周围的,比如说你家有打车的话,你会考虑他历史打车的情况,所有这些首页的话,我们希望通过算法,通过AI来提高司机乘客的体验。

下面讲一下派单的效率,派单需要非常实时,我们会把两秒之内所有的乘客,所有的司机放在一起做一个最优的匹配,这里核心是匹配度的问题,匹配度可以是路径规划,或者更好的是某一天预估时间,时间一天预估在滴滴是非常重要的,因为用户需要具体的情况,比如说我希望8点到清河,我打车需要看一下目前状况需要多久,大概多少钱,这样可以提前做安排。预估价是多少,如果预估价偏高的话,比如说10块钱有点贵,如果偏低的话,本来预估10块钱,后来100块,非常快。我们希望预估出来,这方面我们过去两年做了非常多的工作,首先第一步我们需要用估值,滴滴路况也是最好的,我们有海量的数据,我们每一秒钟只要滴滴在开的道路我们就知道路,我们还会有大量的历史数据,因为上个礼拜五和这个点类似,我们可以结合实时的数据,再结合海量的历史数据做一个比较精准的,我们还会预测未来,未来路况的情况。有了路况之后我们就会结合海量的大数据,轨迹数据,实时的历史还有其他行为的数据建一个系统。

目前我们进行路径规划,一天的时间情况怎么样,这个系统上线之后,这个性能算法一天的精度有了显著的增强,有了这个匹配度之后,我们下面做的分单,每一个乘客需要知道离你最近的时间或者距离,其实你打到车不一定离你最近的司机的车,因为离你最近的司机可能离一个司机最近,刚才Will提到,这两秒平均最优,这个最优只是说全局最优还是说这两秒钟?能不能更长时间维度的最优.

去年,上半年大家都知道阿法狗打败了李世石,当初我们就想在滴滴的场景,能不能利用阿法狗的技术来提高我们出行匹配的效率,我们想到滴滴的场景就是订单分配,订单分配跟下棋本质上是非常类似的。因为下一步棋会改变未来棋局的形势,分单也是一样的,你分单会改变全程司机乘客的情况,比如说你让司机接这个乘客,过半个小时之后,这个司机就会出现这个乘客的目的地,所以每一次分单本质上是对司机做了一个我们可以知道他大概在某一个区域,某一个时间范围之内,这个跟下棋是类似的,其实分单比下棋更复杂一点。 

当然了,我们的算法比阿法狗还是差很多,我们还是在不断的优化,我们很多场景问题比下棋还要复杂,下棋下几单就结束了,我们的分单是每两秒钟一次,整个状况比下棋复杂。

给一个简单的例子,就可以说明问题,假设就两个乘客一个司机,说这个要么就是司机,要么就是乘客,第一个乘客他到达目的地之后,假设隔半个小时,刚好有另外一个乘客发单,第二个乘客到目的地之后就没有订单了,假设一天就这三个地方,司机做决策的时候他应该选第一个人,接完第一单再接第二单,也就是说如果你知道未来,我们目前分单是两秒最优,假设额外你知道未来,或者说你对未来有一定的预估,因为阿法狗的核心是说这个棋局,如果我放在某一步大概赢的概率是多少,这个概率很低的,只要比随机要好,你的方法就会比随机的好。

刚才我提过供需预测,预测未来我们的精度大概是85%,就是说预测未来15到半个小时每个区域的供需精度是85%,这就充分够了,因为我们是应用。这个场景的话,就说明如果考虑未来我的效率会提高,因为我是半个小时最优,而不是两秒钟。从现在(活动举办的时候是晚间)到凌晨效率提升方面,这个我们摸索了将近一年,最近在我们大部分的大城市上线了。在体验不下降的情况下,效率提高非常显著,这是另外一个场景。

非常前沿的技术在滴滴,是因为我们有海量的数据,这个项目有一个高级顾问是密西根大学的,他是增强学习领域世界前三或者前五,非常资深,跟他合作之前,密西根大学副附校长跟我说,这个教授不一定愿意参与,后来我飞过去跟他聊了三个小时之后,聊完之后他就跟我说,他说他看过很多应用和项目,大部分场景是阿法狗的应用,这个之外的非常少,滴滴可能是少数几个场景里面有海量的数据,刚好这个场景跟以前类似,最前沿的阿法狗能够移植过来,这里面牵扯到很多创新,极大的提高了出行的效率。我们刚刚设置阿法狗的时候,效率就有提高了,后来我们持续打磨了半年后,在不伤害用户体验的情况下,提高了出行的效率,所以在滴滴我们始终把安全体验放在首位的,做任何优化决策不伤害用户体验。

刚才已经讲过调度了,在供需不匹配的时候,我们能不能预测未来,预测比如说隔半个小时这个地方会缺几辆车,一定要提前15到半个小时提前精准调度,这是我们的一个系统,我们把它画成六边形,每个六边形有一个值,这个值是表示缺多少司机,红色说明我们这个区域缺很多司机,绿色是多个司机,可以看到任何一个时刻总是有供需不平衡,有些地方我们缺司机,有些地方我们剩余司机,供需不平衡我觉得应该是影响整个交易效率非常核心的因素,我们最近的话,做非常大量的工作,也是利用大数据人工智能,希望给司机一个指引或者调度,然后让这个供需不平衡尽量的能够缓解。

比如说我们有项目会引导效率低的新司机,我们也会研究这个司机怎么做,因为你跟他说你应该去这个区域,司机不一定听话,他说我还是喜欢呆在这边或者喜欢去另外一个区域,我们现在跟外面合作,希望通过行为心理学研究一下司机怎么做决策的。希望我们跟他尽量是匹配的,这背后是比较复杂的AI、大数据再结合一些行为心理学。

拼车刚刚我提过,如果路径类似的话,我们可以打包起来减少运力需求,缓解马路上的交通路况,如果两两能拼上的话,拼车最核心的一点是如何能够保证乘客的体验,很多人比如说早高峰可能会迟到等等,是不用的。今年我们在北京重点推的战略,乘客可能会稍微走一点路,在一个站点,在选定的一些点上上车,我们绕路时间会有一定的保证等等,但是背后也是非常复杂的大数据人工智能算法,比如说用户体验每个人都不一样,我们现在要做个性化的用户体验,比如说绕路时间10分钟,另外一个乘客说不OK,每个人体验维度都不一样。同一个人在不同时间也不一样,早上的时候可能绕10分钟不行,中午吃饭的时候说绕20分钟也OK,时间没有那么敏感,对时间的敏感,体验的敏感度,乘客在不同的时间都不一样,我们需要做一些个性化体验的东西,背后肯定是大数据和算法。

我们从去年有一个项目是服务分,传统可能有五星,这个4.9分,后来发现单维度的星级信息不够灵敏,就是说特别好的司机没法区分去用。后来我们就引入了大数据的模型,我们可以采集基于司机过去几个月各种行为的数据,比如说取消率、投诉率等等,我们会把过去的数据结合起来,用这样的模型测算预测它的分数,我们保证它的分数高的话,它的收入越高,这样的话,保证司机有动力去提高,去年上线之后整个司机的服务,乘客满意度显著提高。同时,我们也保证,而且我们核心的服务好的司机,他的收入得到提高。

然后就是司乘判责,订单有取消,取消就说不清楚,乘客取消有可能是司机的责任,有一个经典例子我自己发生的,我为了做司机体验,有一次我们技术同事出去做司机体验,我们接一个乘客,接到订单了,然后开过去接他,看到这个乘客了,都快开到了,总算接到乘客了,他却整个取消了。后来这一单没有完成,当时我跟他体验特别差的,司机都开到乘客面前了,后来我们利用这个判责,利用滴滴海量的数据尽量还原当时的场景,比如说司机都开到乘客附近了,还有一些对话等等综合起来做一个模型,我们测一下到底谁的责任。

目前经历5到6轮的改进,8月23号滴滴举办了首届人机大赛,我们就举办了我们的一个判责系统,滴滴几个员工的比赛,员工有非常基础的,有非常了解业务的,最后这个系统判责准确率这个系统精度大概93%。我们在大部分场景能够精准的预测到底是谁的责任。这还只是取消,我们还有很多其他的场景,我们可以用模型去做判责,极大的提高体验,减少客户压力,比如说绕路,比如说乘客恶意取消也可以被防止,这个可以举例,取消、差评、绕路等等,只要司乘有冲突的地方我们就希望用模型。

最后说一下安全问题,安全是最重要的。安全我分两种,一种是驾驶安全,有些司机可能驾驶容易出交通事故,我们能不能通过大数据,通过模型,客户这个司机的驾驶行为是比较稳的还是什么样的,比如说这个司机历史当中是经常急刹车的,我们希望自动把它驱除识别。历史上发生过交通事故的,司机是主责的,历史上开了一年多没有发生交通事故的,我们思维好司机的,目前的UC比较高,就说明历史的轨迹数据,滴滴现有的轨迹数据是能够比较准确,这个准确度数据还在改进,这样我们能做一些教育,这是驾驶行为。

另外一个是司乘有冲突的时候,比如说吵起来,打起来的时候能不能提前预测,这个模型我们做了半年,目前我们发现只要能控制少部分的司机干预,事故率能降低10%到60%,具体用如果我们认为这个可能会有潜在冲突的,我们就会对司机做一些教育,这里面最核心两点,一个是用大数据模型提前做预测,预测潜在的风险,再加上策略怎么做,怎么提高安全,所以我们还在探索这两个方向。

刚才简单介绍的就大数据、AI如何提高司机乘客的体验和效率,我有提到一些我们还有很多方向,很多数据也可以用来提高整个城市,整个社会的出行的体验,比如说智能信号灯,我,用我们的流量、数据职能控制红绿灯等等还有很多,包括怎么优化增长,我们也用了阿法狗的技术更加智能的进行司机乘客的经验分享,还有很多应用场景,我们也特别关注非常前沿的技术,我们非常Open跟国内外的高校进行合作,目前跟密西根大学,跟香港科技大学,跟上海的交通大学进行了深度的战略合作伙伴关系,我们一起探讨交通相关大数据、AI相关技术,一起探讨,用AI改变出行。

1111111.png

未经许可,任何人不得复制、转载、或以其他方式使用本网站的内容。如发现本站文章存在版权问题,烦请提供版权疑问、身份证明、版权证明等材料,与我们联系,我们将及时沟通与处理。

加载中~

你可能也喜欢这些文章




稿
意见反馈0
商务合作

商务合作 扫码联系

返回顶部