机器学习讨论班2019年暑期

Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting

Published as a conference paper at ICLR 2018 王腾构

Outline

Motivation

问题定义

Spatiotemporal dependencies Spatial dependency

Temporal dependency

DCRNN模型

Experiments

7/29/2019 东南大学计算机学院万维网数据科学实验室 3

Motivation

7/29/2019 东南大学计算机学院万维网数据科学实验室 4

交通的空间结构是非欧氏空间结构

具有方向性

双向扩散卷积

问题定义

7/29/2019 东南大学计算机学院万维网数据科学实验室 5

给定道路网络和过往交通速度预测未来的交通速度

是带权有向图

是顶点集合，个数为N

是边集合

是带权有向图的邻接矩阵

是t时刻的图信号

是目标方法

Spatiotemporal Dependencies

7/29/2019 东南大学计算机学院万维网数据科学实验室 6

Spatial Dependency

将交通流动视为一个扩散过程(diffusion process)

考虑方向影响，提出双向扩散过程

用图上的随机游走(random walk)来描述扩散过程

Temporal Dependency

Gated Rucurrent Units(GRU)

Sequence to Sequence

Scheduled Sampling(计划抽样)

Spatial Dependency

7/29/2019 东南大学计算机学院万维网数据科学实验室 7

是状态转移矩阵

单向扩散卷积：

随机游走：

双向扩散卷积：

Spatial Dependency

7/29/2019 东南大学计算机学院万维网数据科学实验室 8

双向扩散卷积：

Relation With Spectral Graph Convolution

ChebNet：

令

其中 ，

Spatial Dependency

7/29/2019 东南大学计算机学院万维网数据科学实验室 9

单向扩散卷积：

Efficient Calculation：

是稀疏矩阵其中[1]

Diffusion Convolutional Layer

7/29/2019 东南大学计算机学院万维网数据科学实验室 10

扩散卷积层：Q个卷积过滤器(filter)输入： 输出：

其中 为双向扩散卷积， 为训练参数

扩散卷积层：

Temporal Dependency

7/29/2019 东南大学计算机学院万维网数据科学实验室 11

Diffusion Convolutional Gated Rucurrent Unit(DCGRU)

GRU原来的形式[2]：

DCRNN

7/29/2019 东南大学计算机学院万维网数据科学实验室 12

1. Sequence to Sequence[3]

2. Scheduled Sampling(计划抽样)[4]

Experiment

7/29/2019 东南大学计算机学院万维网数据科学实验室 13

METR-LA207个速度传感器2012.03 - 2012.06四个月的数据

PEMS-BAY325个速度传感器2017.01 - 2017.05六个月的数据

Experiment

7/29/2019 东南大学计算机学院万维网数据科学实验室 14

Experiment

7/29/2019 东南大学计算机学院万维网数据科学实验室 15

DCRNN-NoConv 用单位矩阵代替卷积

DCRNN-UniConv 只有正向扩散卷积

DCRNN 双向扩散卷积

GCRNN 使用了ChebNet的卷积方式

Experiment

7/29/2019 东南大学计算机学院万维网数据科学实验室 16

DCNN 未使用RNN

DCRNN-SEQ 使用Seq2Seq，未使用Scheduled Sampling

作者提出的DCRNN

Experiment

7/29/2019 东南大学计算机学院万维网数据科学实验室 17

Conclusion

7/29/2019 东南大学计算机学院万维网数据科学实验室 18

DCRNN

Spatiotemporal Dependencies

Spatial Dependence

Temporal Dependence

双向扩散卷积

GRUSequence to Sequence

Scheduled Sampling

Future Work:

将该模型应用于其他时空预测任务

动态图的时空预测

Reference

[1] Defferrard M, Bresson X, Vandergheynst P. Convolutional neural networks on graphs with fast localized spectral filtering[C]//Advances in neural information processing systems. 2016: 3844-3852.

[2] https://zhuanlan.zhihu.com/p/32481747

[3] Sutskever I, Vinyals O, Le Q V. Sequence to sequence learning with neural networks[C]//Advances in neural information processing systems. 2014: 3104-3112.

[4] Samy Bengio, Oriol Vinyals, Navdeep Jaitly, and Noam Shazeer. Scheduled sampling for sequence prediction with recurrent neural networks. In NIPS, pp. 1171–1179, 2015.

7/29/2019 东南大学计算机学院万维网数据科学实验室 19

7/29/2019 东南大学计算机学院万维网数据科学实验室 20

谢 谢