Skip to content

Latest commit

 

History

History
99 lines (91 loc) · 10.6 KB

LTSF-Benchmark.md

File metadata and controls

99 lines (91 loc) · 10.6 KB
Raw

Features

  • To facilitate the follow-up research, we have provided the method comparison results under commonly used datasets, and the follow-up methods will continue to be updated.
  • Support recent SOTA and traditional but popular methods.
  • Any Pull requests are welcome!

Multivariate long-term series forecasting results on four ETT datasets with best input length and prediction length O ∈{96, 192, 336, 720}

Methods Dataset ETTH1 ETTH2 ETTm1 ETTm2
Metric 96 192 336 720 96 192 336 720 96 192 336 720 96 192 336 720
Linear MSE 0.375 0.418 0.479 0.624 0.288 0.377 0.452 0.698 0.308 0.340 0.376 0.440 0.168 0.232 0.320 0.413
MAE 0.397 0.429 0.476 0.592 0.352 0.413 0.461 0.595 0.352 0.369 0.393 0.435 0.262 0.308 0.373 0.435
NLinear MSE 0.374 0.408 0.429 0.440 0.277 0.344 0.357 0.394 0.306 0.349 0.375 0.433 0.167 0.221 0.274 0.368
MAE 0.394 0.415 0.427 0.453 0.338 0.381 0.400 0.436 0.348 0.375 0.388 0.422 0.255 0.293 0.327 0.384
DLinear MSE 0.375 0.405 0.439 0.472 0.289 0.383 0.448 0.605 0.299 0.335 0.369 0.425 0.167 0.224 0.281 0.397
MAE 0.399 0.416 0.443 0.490 0.353 0.418 0.465 0.551 0.343 0.365 0.386 0.421 0.260 0.303 0.342 0.421
FEDformer-f MSE 0.376 0.420 0.459 0.506 0.346 0.429 0.496 0.463 0.379 0.426 0.445 0.543 0.203 0.269 0.325 0.421
MAE 0.419 0.448 0.465 0.507 0.388 0.439 0.487 0.474 0.419 0.441 0.459 0.490 0.287 0.328 0.366 0.415
FEDformer-w MSE 0.395 0.469 0.530 0.598 0.394 0.439 0.482 0.500 0.378 0.464 0.508 0.561 0.204 0.316 0.359 0.433
MAE 0.424 0.470 0.499 0.544 0.414 0.445 0.480 0.509 0.418 0.463 0.487 0.515 0.288 0.363 0.387 0.432
Autoformer MSE 0.449 0.500 0.521 0.514 0.358 0.456 0.482 0.515 0.505 0.553 0.621 0.671 0.255 0.281 0.339 0.433
MAE 0.459 0.482 0.496 0.512 0.397 0.452 0.486 0.511 0.475 0.496 0.537 0.561 0.339 0.340 0.372 0.432
Informer MSE 0.865 1.008 1.107 1.181 3.755 5.602 4.721 3.647 0.672 0.795 1.212 1.166 0.365 0.533 1.363 3.379
MAE 0.713 0.792 0.809 0.865 1.525 1.931 1.835 1.625 0.571 0.669 0.871 0.823 0.453 0.563 0.887 1.338
Pyrafromer MSE 0.664 0.790 0.891 0.963 0.645 0.788 0.907 0.963 0.543 0.557 0.754 0.908 0.435 0.730 1.201 3.625
MAE 0.612 0.681 0.738 0.782 0.597 0.683 0.747 0.783 0.510 0.537 0.655 0.724 0.507 0.673 0.845 1.451
LogTrans MSE 0.878 1.037 1.238 1.135 2.116 4.315 1.124 3.188 0.600 0.837 1.124 1.153 0.768 0.989 1.334 3.048
MAE 0.740 0.824 0.932 0.852 1.197 1.635 1.604 1.540 0.546 0.700 0.832 0.820 0.642 0.757 0.872 1.328
Reformer MSE 0.837 0.923 1.097 1.257 2.626 11.120 9.323 3.874 0.538 0.658 0.898 1.102 0.658 1.078 1.549 2.631
MAE 0.728 0.766 0.835 0.889 1.317 2.979 2.769 1.697 0.528 0.592 0.721 0.841 0.619 0.827 0.972 1.242
Linear-I MSE 0.378 0.415 0.447 0.489 0.408 0.575 0.643 1.075 0.286 0.330 0.372 0.428 0.196 0.281 0.380 0.484
MAE 0.397 0.422 0.441 0.488 0.415 0.500 0.543 0.711 0.334 0.361 0.387 0.419 0.284 0.347 0.406 0.475
DLinear-I MSE 0.377 0.420 0.448 0.486 0.399 0.483 0.686 1.039 0.286 0.327 0.366 0.427 0.182 0.298 0.423 0.799
MAE 0.396 0.426 0.443 0.486 0.409 0.458 0.553 0.700 0.335 0.358 0.380 0.416 0.274 0.352 0.434 0.580
NLinear-I MSE 0.383 0.414 0.438 0.451 0.287 0.345 0.371 0.416 0.288 0.330 0.371 0.431 0.163 0.218 0.273 0.369
MAE 0.402 0.421 0.436 0.459 0.347 0.387 0.413 0.445 0.336 0.360 0.383 0.418 0.251 0.290 0.326 0.384
Methods Dataset Electricity Exchange Rate Traffic Weather ILI
Metric 96 192 336 720 96 192 336 720 96 192 336 720 96 192 336 720 24 36 48 60
Linear MSE 0.140 0.153 0.169 0.203 0.082 0.167 0.328 0.964 0.410 0.423 0.436 0.466 0.176 0.218 0.262 0.326 1.947 2.182 2.256 2.390
MAE 0.237 0.250 0.268 0.301 0.207 0.304 0.432 0.750 0.282 0.287 0.295 0.315 0.236 0.276 0.312 0.365 0.985 1.036 1.060 1.104
DLinear MSE 0.141 0.154 0.171 0.210 0.089 0.180 0.331 1.033 0.410 0.423 0.435 0.464 0.182 0.225 0.271 0.338 1.683 1.703 1.719 1.819
MAE 0.237 0.248 0.265 0.297 0.208 0.300 0.415 0.780 0.279 0.284 0.290 0.307 0.232 0.269 0.301 0.348 0.858 0.859 0.884 0.917
NLinear MSE 0.140 0.153 0.169 0.203 0.081 0.157 0.305 0.643 0.410 0.423 0.436 0.466 0.176 0.220 0.265 0.323 2.215 1.963 2.130 2.368
MAE 0.237 0.249 0.267 0.301 0.203 0.293 0.414 0.601 0.282 0.287 0.296 0.315 0.237 0.282 0.319 0.362 1.081 0.963 1.024 1.096
FEDformer-f MSE 0.193 0.201 0.214 0.246 0.148 0.271 0.460 1.195 0.587 0.604 0.621 0.626 0.217 0.276 0.339 0.403 3.228 2.679 2.622 2.857
MAE 0.308 0.315 0.329 0.355 0.278 0.380 0.500 0.841 0.366 0.373 0.383 0.382 0.296 0.336 0.380 0.428 1.260 1.080 1.078 1.157
FEDformer-w MSE
MAE
Autoformer MSE 0.201 0.222 0.231 0.254 0.197 0.300 0.509 1.447 0.613 0.616 0.622 0.660 0.266 0.307 0.359 0.419 3.483 3.103 2.669 2.770
MAE 0.317 0.334 0.338 0.361 0.323 0.369 0.524 0.941 0.388 0.382 0.337 0.408 0.336 0.367 0.395 0.428 1.287 1.148 1.085 1.125
Informer MSE 0.274 0.296 0.300 0.373 0.847 1.204 1.672 2.478 0.719 0.696 0.777 0.864 0.300 0.598 0.578 1.059 5.764 4.755 4.763 5.264
MAE 0.368 0.386 0.394 0.439 0.752 0.895 1.036 1.310 0.391 0.379 0.420 0.472 0.384 0.544 0.523 0.741 1.677 1.467 1.469 1.564
Pyraformer MSE 0.386 0.386 0.378 0.376 0.376 1.748 1.874 1.943 2.085 0.867 0.869 0.881 0.896 0.622 0.739 1.004 1.420 7.394 7.551 7.662
MAE 0.449 0.443 0.443 0.445 1.105 1.151 1.172 1.206 0.468 0.467 0.469 0.473 0.556 0.624 0.753 0.934 2.012 2.031 2.057 2.100
LogTrans MSE 0.258 0.266 0.280 0.283 0.968 1.040 1.659 1.941 0.684 0.685 0.734 0.717 0.458 0.658 0.797 0.869 4.480 4.799 4.800 5.278
MAE 0.357 0.368 0.380 0.376 0.812 0.851 1.081 1.127 0.384 0.390 0.408 0.396 0.490 0.589 0.652 0.675 1.444 1.467 1.468 1.560
Repeat MSE 1.588 1.595 1.617 1.647 0.081 0.167 0.305 0.823 2.723 2.756 2.791 2.811 0.259 0.309 0.377 0.465 6.587 7.130 6.575 5.893
MAE 0.946 0.950 0.961 0.975 0.196 0.289 0.396 0.681 1.079 1.087 1.095 1.097 0.254 0.292 0.338 0.394 1.701 1.884 1.798 1.677
Linear-I MSE 0.090 0.241 0.336 1.658 0.425 0.438 0.452 0.482 0.134 0.148 0.164 0.201 0.146 0.188 0.242 0.317 2.161 2.204 2.240 2.424
MAE 0.218 0.370 0.445 1.033 0.298 0.304 0.312 0.330 0.230 0.245 0.263 0.297 0.212 0.256 0.302 0.359 1.014 1.010 1.025 1.102
DLinear-I MSE 0.099 0.782 0.676 1.499 0.426 0.438 0.452 0.483 0.134 0.148 0.164 0.201 0.144 0.187 0.240 0.317 1.999 2.142 2.203 2.475
MAE 0.232 0.639 0.651 0.940 0.298 0.304 0.312 0.330 0.230 0.245 0.263 0.297 0.209 0.254 0.298 0.359 0.945 0.977 1.011 1.096
NLinear-I MSE 0.096 0.209 0.358 1.133 0.423 0.435 0.447 0.476 0.134 0.150 0.167 0.206 0.144 0.187 0.240 0.318 1.686 1.619 1.679 1.821
MAE 0.214 0.325 0.429 0.785 0.294 0.299 0.305 0.322 0.229 0.243 0.260 0.293 0.193 0.236 0.278 0.333 0.798 0.777 0.818 0.866

Univariate long-term series forecasting results on four ETT datasets with input length I = 96 and prediction length O ∈{96, 192, 336, 720}

Methods Dataset ETTh1 ETTh2 ETTm1 ETTm2 Paper Pub.
Metric 96 192 336 720 96 192 336 720 96 192 336 720 96 192 336 720
Linear MSE 0.189 0.078 0.091 0.172 0.133 0.176 0.213 0.292 0.028 0.043 0.059 0.080 0.066 0.094 0.120 0.175 https://arxiv.org/pdf/2205.13504.pdf AAAI23
MAE 0.359 0.212 0.237 0.340 0.283 0.330 0.371 0.440 0.125 0.154 0.180 0.211 0.189 0.230 0.263 0.320
NLinear MSE 0.053 0.069 0.081 0.080 0.129 0.169 0.194 0.225 0.026 0.039 0.052 0.073 0.063 0.090 0.117 0.170
MAE 0.177 0.204 0.226 0.226 0.278 0.324 0.355 0.381 0.122 0.149 0.172 0.207 0.182 0.223 0.259 0.318
DLinear MSE 0.056 0.071 0.098 0.189 0.131 0.176 0.209 0.276 0.028 0.045 0.061 0.080 0.063 0.092 0.119 0.175
MAE 0.180 0.204 0.244 0.359 0.279 0.329 0.367 0.426 0.123 0.156 0.182 0.210 0.183 0.227 0.261 0.320
FEDformer-f MSE 0.079 0.104 0.119 0.142 0.128 0.185 0.231 0.278 0.033 0.058 0.084 0.102 0.067 0.102 0.130 0.178 https://arxiv.org/pdf/2201.12740.pdf ICML22
MAE 0.215 0.245 0.270 0.299 0.271 0.330 0.378 0.420 0.140 0.186 0.231 0.250 0.198 0.245 0.279 0.325
FEDformer-w MSE 0.080 0.105 0.120 0.127 0.156 0.238 0.271 0.288 0.036 0.069 0.071 0.105 0.063 0.110 0.147 0.219
MAE 0.214 0.256 0.269 0.280 0.306 0.380 0.412 0.438 0.149 0.206 0.209 0.248 0.189 0.252 0.301 0.368
Autoformer MSE 0.071 0.114 0.107 0.126 0.153 0.204 0.246 0.268 0.056 0.081 0.076 0.110 0.065 0.118 0.154 0.182 https://arxiv.org/pdf/2106.13008.pdf NeurIPS21
MAE 0.206 0.262 0.258 0.283 0.306 0.351 0.389 0.409 0.183 0.216 0.218 0.267 0.189 0.256 0.305 0.335
Informer MSE 0.193 0.217 0.202 0.183 0.213 0.227 0.242 0.291 0.109 0.151 0.427 0.438 0.088 0.132 0.180 0.300 https://arxiv.org/pdf/2012.07436.pdf AAAI21
MAE 0.377 0.395 0.381 0.355 0.373 0.387 0.401 0.439 0.277 0.310 0.591 0.586 0.225 0.283 0.336 0.435
LogTrans MSE 0.283 0.234 0.386 0.475 0.217 0.281 0.293 0.218 0.049 0.157 0.289 0.430 0.075 0.129 0.154 0.160
MAE 0.468 0.409 0.546 0.629 0.379 0.429 0.437 0.387 0.171 0.317 0.459 0.579 0.208 0.275 0.302 0.321
Reformer MSE
MAE
S4 MSE 0.316 0.345 0.825 0.19 0.381 0.332 0.655 0.63 0.651 0.19 0.428 0.254 0.153 0.183 0.204 0.482 https://openreview.net/pdf?id=uYLFoz1vlAC ICLR22
MAE 0.49 0.516 0.846 0.355 0.501 0.458 0.67 0.662 0.733 0.372 0.581 0.433 0.318 0.35 0.367 0.567
FILM MSE 0.055 0.072 0.083 0.09 0.127 0.182 0.204 0.241 0.029 0.041 0.053 0.071 0.065 0.094 0.124 0.173 https://arxiv.org/pdf/2205.08897.pdf NeurIPS 2022
MAE 0.178 0.207 0.229 0.24 0.272 0.335 0.367 0.396 0.127 0.153 0.175 0.205 0.189 0.233 0.274 0.323
ARIMA MSE 0.058 0.073 0.086 0.103 0.273 0.315 0.367 0.413 0.033 0.049 0.065 0.089 0.211 0.237 0.264 0.31
MAE 0.184 0.209 0.231 0.253 0.407 0.446 0.488 0.519 0.136 0.169 0.196 0.231 0.34 0.371 0.396 0.441