[논문리뷰]Time Series Forecasting With Deep Learning A Survey

 

Time Series Forecasting With Deep Learning A Survey

https://arxiv.org/pdf/2004.13408.pdf

 

 

Numerous deep learning architectures have been developed to accommodate the diversity of time series datasets across different domains. In this article, we survey common encoder and decoder designs used in both one-step-ahead and multi-horizon time series forecasting – describing how temporal information is incorporated into predictions by each model. Next, we highlight recent developments in hybrid deep learning models, which combine well-studied statistical models with neural network components to improve pure methods in either category. Lastly, we outline some ways in which deep learning can also facilitate decision support with time series data.

 

1. Introduction

• Deep learning 기반의 time series forecasting architecture에 대한 review를 진행
  • CNN, RNN,Attention mechanism
  • quantitative time series model과 deep learning model을 결합한 hybrid model

 

• Deep learning 기반의 time series forecasting modeldml application
  • 다양한 산업 현장에서 time series forecasting이 어떻게 사용 되는가?

 

• time series data란
  • 시간의 경과와 함께 일정한 간격마다 관측 값이 기록되어 있는 데이터
  • 일상생활에서 가장 쉽게 접할 수 있는 데이터 중 하나로 주가, 기온, 설비 로그 데이터 등이 있음

시계열의 특성 : trend(추세성), Seasonality(계절성), Aberration(이변성), Volatility(변동성), Non-linearity(비선형성)

 

• deep learning 기반의 time series forecasting model의 application
  • 다양한 산업 현장에서 time series forecasting이 어떻게 사용 되는가?

 

• Temporality
  • 동일한 imterval로 구성된 time series data에 대해 현재의 data는 과거의 data에 dependent
  • joint distribution을 chaining rule을 통해 다음과 같이 변형 할 수 있음
  •  

joint distribution 결합 분포 : 동일한 표본 공간에서 정의되는 두개 이상의 확률 변수의 분포 
chaining rule : 합성 함수 미분의 원리. 특정 값을 계산 하기 위해 연속 적으로 미분을 진행 하는 것  

 

• Dimensionality

 

다변량 데이터 : n개 개체에 대해 p개 변수 측정 값인 전체 데이터

 

• Nonstationarity (비정상성)
  • Statistical property가 시간이 지나도 변하지 않는 경우 stationarity

• 대부분의 time series data는 Nonstationary -> Seasonality, Concept drift, Change points

---

• 시계열 데이터는 크게 정상성 데이터와 비정상성 데이터로 나눌 수 있음
• 1. 정상성 데이터
  • 해당 시계열 데이터가 관측 된 시간에 대해 무관한 데이터를 뜻함.
  • 백색 잡음 (white Noise) 시계열은 정상성을 나타내는 시계열이다.
  • Strongly Stationary(강정상) 과 Weakly Stationary(약정상)으로 나눌 수 있는데 통계적 특성이 일정한 정도에 따라 나뉘게 됨.
  • 약정상 시계열도 정상성을 띄고 있다고 표현함.
  • 정상성의 만족 조건은 아래 와 같다.
    • 평균이 일정
    • 분산이 시점에 의존 하지 않음
    • 공분산은 시차에만 의존하고, 시점 자체에 의존 하지는 않음
• 2. 비정상성 데이터
  • 추세(trend)나 계절성(Seasonality)이 내포 되어 있는 시계열은 비정상성을 나타내는 시계열이다.
  • 시간에 따라 통계적 특성이 변한다
  • 시계열 데이터가 non-stationary하다면 평균, 분산, 공분산은 시간의 함수가 될 수 없다.
  • 비정상성 데이터의 만족 조건
    • 시간에 따라 시계열의 평균 수준이 다름
    • 시간에 따라 시계열의 추세를 가짐
    • 시간에 따라 시계열의 계절성을 보임
    • 시간에 따라 시계열의 분산이 증가하거나 감소

* 데이터가 정상성을 띄는지 비정상성을 띄는지에 따라 활용하는 모델이 다르기 때문에 이를 파악하는 것이 필수

 

---

 

• Noise ( ε)
  • model이 조절 할 수 없는 error -> y = f(x) + ε

https://direction-f.tistory.com/64
- White Noise: Uncontrolable variable, 즉 회귀식에서 설명되지 않은 error의 의미와 유사하다고 볼 수 있음
🧐🧐Time Series From Scratch - White Noise and Random Walk 🧐🧐
https://towardsdatascience.com/time-series-from-scratch-white-noise-and-random-walk-5c96270514d3

 

Time series data 관련 연구 갈래

• Time series data의 classification, anomaly detection, forecasting 등의 연구가 활발히 이루어 지고 있음
  • Classification: Time series가 어떤 label에 속하는지를 분류하는 Task
  • Anomaly Detection: Time series data에서 이상치를 탐지하는 Task
  • Forecasting: 과거 데이터를 이용하여 미래 시점의 값들을 예측하는 Task

Yˆi,t+1 = f(yi,t−k:t , xi,t−k:t , si),

yi,t−k:t = {yi,t−k, . . . , yi,t}, xi,t−k:t = {xi,t−k, . . . , xi,t}

 

2. Deep Learning Architecture

• Time series forecasting form
  • Yˆi,t+1 = f(Yi,t−k:t , Xi,t−k:t , Si)
  • Yi,t−k:t = {Yi,t−k, . . . , Yi,t}, Xi,t−k:t = {Xi,t−k, . . . , Xi,t},   k: window size, Si: static metadata
• Basic building blocks
  • f(yt−k:t , xt−k:t , s) = gdec(zt)
  • zt = genc(yt−k:t , xt−k:t , s)
  • CNN, RNN, Attention-based model의 model의 encoder 구조를 조사

https://s00jinii.tistory.com/117

[Deep Learning Architecture] CNN, RNN, Attention-based

2022.11.24 - [Machine Learning] - [Deep Learning Architecture] CNN, RNN, Attention-based 

 

-> 상세 설명은 여기 추가로 작성했어용

 

3. Hybrid Models

Domain knowledge, non-probabilistic, probabilistic

• Domain knowledge
  • Domain knowledge를 model에 반영하는 것은 hypothesis space를 줄여주는 역할을 함
  • low data 환경에서 매우 효과적인 방법
• Hybrid models
  • Non-probabilistic, probabilistic로 분류 할 수 있음
  • Non-probabilistic의 경우 multiplicative level, seasonality components를 조합하여 구성
  • Probabilistic의 경우 predictive distribution을 통해 Parameter를 생성

4. Facilitating Decision support using Deep Neural Networks

Time series forecasting의 활용

• Time series forecasting 은 다양한 분야의 의사 결정에 도움을 줌
  • model builder는 정확도가 관심 포인트 이지만, end-user의 경우 future action에 대한 guide 의 지표
• interpretability With Time series Data
  • time series forecasting 과 XAI(Explainable AI)를 접목시켜 구체적인 guide line을 제시 할 수 있음
  • local interpretable modell-Agmostic Explanations(LIME), Shapley additive explanations(SHAP)등을 이용한 post-hoc 분석
  • Attention weights 를 통한 내재적 표현력 산출

5. Conclusion

summary & limitation

• Summary
  • time series forecasting 에서 사용 되는 다양한 구조의 Neural networks 구조에 대한 소개
  • domain knowledge를 활용한 hybrid models에 대한 소개
  • time series forecasting 은 다양한 산업의 decision supporter 역할
• Limitation
  • Time series data의 interval의 배수가 되는 구간만 예측 할 수 있음
  • -> Neural Ordinary Differential Equations 를 통해 연결
  • Time series data의 특성상 계층적 구조를 갖는 data가 존재하며 이는 Forecasting에 영향을 줄 수 있음

 

 

 

 

 

 

참고 : https://www.youtube.com/watch?v=Cn-3NAgGBKQ&t=743s