1. 제목
- Capsule Network = Dynamic Routing Capsule Network
- Traffic Speed = Time Series data (which is get from coplex road network)
- task = Prediction
2. Abstract
본 논문은 복잡한 도로망에서의 traffic 흐름 예측에 대한 deep learning 방법을 제시한다. Traffic flow data는 time series이자, 도로의 부분에 대해서 공간적인 특성도 가지고 있다. 즉, 이런 spatio-temporal 한 특성의 traffic data는 3D 공간 상의 image 데이터로 변환 가능하다. 비록 CNN이 image의 이해 및 처리에 있어 놀라운 성과를 보여주고 있지만, 치명적 단점이 있다. max pooling은 CNN으로 하여금 가장 큰 값만을 취하게 만듦으로써, 중요한 정보를 잃게 만든다. 하지만 inter-relationship(도로의 공간상에 위치한 sensor들이 여러 시간대의 정보를 만듦) 특성을 가진 traffic data의 정확한 예측을 위해서는 정보를 잃지 않는 것이 중요하다. 따라서 본 논문은 max pooling을 dynamic routing으로 대체한 capsule network를 제안한다. 그리고 이는 capsule network를 time series forecasting에 적용한 첫 번째 사례이다. 게다가 Santander city(Spain)의 real traffic speed data로 실험했을 때, CNN기반의 SOTA모델보다 13.1%나 (MSE에서) 더 우수한 성능을 보였다.
3. Introduction
i) Why traffic prediction is important?
- Central tasks for building intelligent transportation management systems in metropolitan
즉, smart-city 및 smart-물류 시스템을 만드는데 중요하다는 뜻이다.
ii) Early approaches to traffic flow prediction
Statistical techniques (such as SVM, ARIMA, etc...)
These statistical approaches have been demonstrated to be effective as regression techniques for time series.
However these techniques do not address spatio-temporal relationship of transporation network and cannot be applied to a large-scale network.
Authors think that spatio-temporal relationship data need new approach to handle spatial and (also) temporal relationship together.
Understanding the spatial evolution of traffic for the entire road network rather than for a small part of network is necessary
기존의 statistical 한 방법론 적으로는 time series forecasting을 할 수는 있으나, 이는 temporal 한 특성만을 반영하기 때문에 traffic data의 경우에는 spatial 한 특성이 반영되지 못한다는 단점이 있다. 그래서 temporal & spatial 특성을 동시에 반영하면서 그 관계성 또한 학습할 수 있는 모델이 필요하다.
iii) Which model(network or layer) can greatly handle this spatio-temporal relationship(traffic data)?
- CNN: succesfully can deal with spatial feature
- RNN: considering traffic flow prediction as time series forecasting
iv) Data pre-processing: convert time series to image
본 논문에서는 traffic data를 3D(each time step x traffic speed sensor of each road x time window)의 image sequence로 구성한다. 이 방법은 time series data의 time dimension을 단순히 image data의 channel로 넣는 것과는 다른 방법이다. 그리고 이 3D를 통해 공간적으로 서로 연관성 있는 도시의 도로망을 표현할 수 있다.
(Road Segment 열로서 서로 인접해 있는 도로가 반드시 실제 도로망에서 인접해 있어야 하는 것은 아니다)
v) Why choose CapsNet?
Some spatial features would be disregarded by CNN, because it uses max-pooling operation to construct higher order feature locally. However CapsNet replaces pooling operation with dynamic routing, which enables to take into account important spatial hierarchies between simple and complex object.
이 설명은 이제 위에서 말했던 것과 겹치는 부분이다. Max-pooling이 local 하게 max값만 취하는 특성으로 인해 정보 손실이 있으나, dynamic-routing은 정보의 손실이 없고 simple to complex에 대한 계층적 공간 구조를 학습한다는 장점이 있다.
4. Experiment
i) Data
ii) Model
iii) Performance Validation with Real Data
- Experiment Setting
- Experiment Result
CapsNet의 성능이 CNN보다 우수함을 볼 수 있다.
5. Conclusion & Summary
- Time Series domain에 CapsNet을 적용한 첫 사례이다.
- 하지만 raw 한 time series에 대해서는 시도해 보지 않았다는 점이 아쉽다 (바로 heatmap image로 변환해서 실험한 부분).
- 본 논문에서 Dynamic routing이 spatial hierarchical relationship을 학습한다고 되어 있지만, 그에 대한 증명이나 실험이 없다.
- 본 논문은 또한, recursive model이 spatio-temporal 한 data에 적합하지 않다고 말하고 있으나 RNN계열에 대한 실험이 없다.
- 하지만 본 논문은 spatio-temporal relationship 특성의 time series data에 대해서 CapsNet이 잘 작동함을 보이고 있다는 점에서 insight를 얻을 수 있다.