时间 2017-06-12 12:00:15 亿欧网
原文 http://www.iyiou.com/p/47628
在纽约，每年超过1亿7000万条的出租车行驶数据揭示了这个城市人口活动的脉搏。
面对复杂的交通情况， 在Uber系统对事件预测使我们能够根据预测用户需求来提高我们的服务质量。最终目标是准确地预测出在预定的时间内Uber将会在何处，何时以及收到多少次的乘车请求。
一般来说，极端事件——诸如假期、音乐会、恶劣天气和体育赛事等高峰旅行时间，只会提高工作规划预测的重要性。在极端事件期间计算需求时间序列预测（demand time series forecasting）是异常检测（anomaly detection），最优资源分配（optimal resource allocation）和预算的关键组成部分。
但不可忽略的一个事实是， 虽然极端事件预测在Uber操作中占有举足轻重的作用，但数据稀疏性使得准确的预测具有很大的挑战性。 考虑到元旦之夜（NYE），这是Uber最繁忙的日子之一。可是我们只有少数几次元旦之夜的数据可以借鉴参考，而且每个实例可能有不同的用户群组。除了历史数据，极端事件预测还取决于许多外部因素，包括天气、人口增长和诸如驾驶员激励措施这样的市场营销的变化。
在现实生活中，在标准R预测包中发现的经典时间序列模型，通常和机器学习方法组合在一起，从而用于特殊事件的预测，然而，这些方法对于Uber来说，既不灵活也不可扩展。
在本文中， 我们介绍一种将历史数据和外部因素相结合的Uber预测模型，以便更精确地预测极端事件，突出其新架构，以及如何与先前的模型进行比较。
创建Uber的新的极端事件预测模型
随着时间的推移，我们意识到为了扩大发展规模，我们需要升级我们的预测模型，从而准确预测Uber市场的极端事件。
我们最终决定基于长短期记忆网络（LSTM）架构进行时间序列建模，LSTM架构是一种具有端到端建模特征，易于整合外部变量和自动特征提取能力的技术。通过在多个维度上提供大量数据，LSTM方法可以建造模拟复杂的非线性特征交互模型。
在选择好架构之后，我们评估了训练模型所需的数据储存，如下所示：
在城市中随时间推移而变化的规模性旅行次数是用于训练我们模型的历史数据储存的一部分。请注意除夕夜期间数据的一个下跌，然后急剧上涨，表示人们在除夕夜期间乘用Uber回家。
其实，极端事件的预测是一件很困难的事情， 主要原因是它们的不频繁性 。为了克服这个数据缺陷，我们决定训练一个单一的、灵活的神经网络来一次性地对许多城市的数据进行建模，从而大大提高了我们的准确性。
用神经网络构建新的架构
我们的目标是设计一个通用的、端到端的时间序列预测模型，它要具有可扩展性，准确性并且适用于异构时间序列。为了实现这一点，我们使用了数千个时间序列来训练一个多模块神经网络。
我们测量和追踪了原始的外部数据从而构建了如下图所示的神经网络：
我们的模型是使用外部变量，包括天气（例如降水、风速和温度预报）和城市级信息（例如在特定地理区域内的任何给定时间进行的旅行，已注册Uber用户，本地假期或事件）的组合进行训练的。
这个原始数据用于我们的训练模型中，来进行包括日志转换，缩放和数据转换这样简单的预处理。
用滑动窗口进行训练
神经网络中的训练数据集需要滑动窗口X（输入）和Y（输出）来限定常规值（例如输入大小）以及预测范围。使用这两个窗口之后，我们便可以通过最小化损失函数（loss function），如均方差（Mean Squared Error）来训练神经网络。
X和Y窗口都是以单个增量滑动的，从而生成训练数据，如下所示：
X和Y滑动窗口是由批次，时间，特征（对于X而言）和预测特征（对于Y而言）组成的。
接下来，我们就 解释如何使用我们的训练数据来设计自定义的LSTM模型。
调整我们的LSTM模型
在测试期间，我们确认，与基线模型（其中包括单变量预测和机器学习元素的组合）相比，vanilla LSTM操作并没有表现出优异的性能。vanilla模型在未被训练的领域内不能适应时间序列，这导致在使用单个神经网络时表现并不是很好。
使用每一个时间序列要处理百万级指标的方式来训练一个模型是不切实际的：根本没有足够的资源可用，更不用说时间的有限性了。此外，训练单一的vanilla LSTM不会产生竞争性的结果，因为模型不能区分不同的时间序列。虽然时间序列特征和输入可以手动加载到vanilla LSTM模型中，但这种方法是冗长乏味且容易出错的。
为了提高我们的准确度，我们在模型中引入了一个自动特征提取模块，如下所示：
我们的模型由手动派生的时间序列特征（左）和我们提出的具有自动特征提取模型（右）的LSTM架构组成
我们决定构建一个通过自动特征提取模块提供单一模型、异质性预测的神经网络架构。 正如上图所示，模型首先通过自动、基于集成的特征提取来初始化网络；在提取特征向量后，再使用标准集成技术对其进行平均。然后将最后一个向量与输入连接从而产生最终预测。
在测试期间，我们能够实现基于LSTM架构的14.09％的对称平均绝对百分比误差（SMAPE）改进，同时比Uber的实时监控和根本原因探索工具Argos中的经典时间序列模型提升25%。
随着我们的架构的成功开发、定制和测试，现在正是将该模型投入生产使用的时候了。
使用新的预测模型
一旦计算了神经网络的权重，它们就可以以任何编程语言形式进行导出和执行。我们当前的途径是首先使用Tensorflow和Keras进行离线训练，然后将生成的权重导出为本地Go代码，如下所示：
该描述模型首先进行离线训练，然后导出到目标语言进行本机执行。
为了本文最初所设定的目标，我们建立了一个模型，使用的数据主要来自于美国五年间使用 Uber 来完成假期旅行的时间段，比如，像在圣诞节和元旦来临的七天之前、之间和之后所产生的数据。
在一些城市进行预测的期间，我们收集了使用之前的和现在的两种模型所产生的平均SMAPE，如下所示：
我们的新预测模型的效果显著优于以前的预测模型。 例如，我们的新模式发现，预测最困难的假期之一是圣诞节，这与需求中的最大错误和不确定性相对应。
我们描绘了一个城市200天的预期和实际完成旅行的图表，如下所示：
一个城市200多天完成旅行次数的模拟，我们对同一数据的预测凸显了我们新模型的准确性
我们的测试结果表明，与我们的专有模型相比，现有的模型的预测精度提高了2-18％。
虽然神经网络对Uber来说益处颇多，但这种方法并不是“万金油”。根据以往的经验，我们定义了一个三维思维，以此来决定神经网络模型是否适用于你的情况：（a）时间序列数，（b）时间序列长度和（c）时间序列之间的相关性。相对于经典时间序列模型而言，这三个维度增加了神经网络方法进行更准确的预测的可能性。
未来预测
我们打算继续使用神经网络，为异构时间序列创建一个通用的预测模型，作为一个独立的、端到端模型或更大的自动化预测系统中的构建块。
重磅福利！【 2017中国互联网+新商业峰会 】， 6月15-16日两天3000人次，携程创始人梁建章，嘉御基金创始人、前阿里巴巴CEO卫哲，分众传媒创始人江南春等嘉宾已确认出席，期待你的参与， 限量钜惠 票 等你拿！
