Pandas填充時間序列缺失值的方法

沒有目錄

在做時間序列的機器學習時，時常會遇到資料缺失部分時間序列的狀況，像是如果從銷售資料中groupby，未必每天都有銷售發生，這是就會產生某幾天的時間序列遺漏的問題，以下提供方法解決：假設資料長成以下這樣(data.csv)

ds	y
2022-12-30	5
2023-01-03	4
2023-01-04	11
2023-01-05	6
2023-01-07	7

讀取csv檔案

import pandas as pd

data = pd.read_csv('data.csv')
data['ds'] = pd.to_datetime(data['ds']) # 可以加這行將時間索引欄位設為datetime，不然會出錯(後面reindex時fill_value會將全部值覆蓋掉)

產生時間序列索引

date_range = pd.date_range(start='<開始時間>', end='<結束時間>', freq='<單位>')

這裡我們就以DS的最小日期作為開始時間、最大日期作為結束時間，而單位則是D(日)。

date_range = pd.date_range(start=data['ds'].min(), end=data['ds'].max(), freq='D')
print(data_range)

這裡你就會得到一個從2022-12-30到2023-01-07的時間序列索引

DatetimeIndex(['2022-12-30', '2022-12-31', '2023-01-01', '2023-01-02',
               '2023-01-03', '2023-01-04', '2023-01-05', '2023-01-06',
               '2023-01-07'],
              dtype='datetime64[ns]', freq='D')

將時間索引回填進data，並補y值

由於這邊我假設y是銷售資料，因此就直接補0

data = data.set_index('ds') # 將ds設為index
data = data.reindex(date_range, fill_value=0) # 將date_range設為data的index，並將空值用0填滿
data = data.reset_index() # 重設index(即把ds設回一般欄位)
data.columns = ['ds', 'y'] # 重命名欄位

重命名欄位的部分，由於reset_index會將index欄位的名稱設為`index`，所以可以重新命名把欄位名設回你所需要使用的欄位，像是ds、y是Prophet所指定的欄位名稱。另外，如果你不想把空值設為0，而是想另外用其他方式來補空值，則不要設定fill_value參數即可，pandas會保留那些缺失值的欄位為NaN，則可以利用其他方式進行資料遺漏值處理。