在做時間序列的機器學習時,時常會遇到資料缺失部分時間序列的狀況,像是如果從銷售資料中groupby,未必每天都有銷售發生,這是就會產生某幾天的時間序列遺漏的問題,以下提供方法解決:
假設資料長成以下這樣(data.csv)
ds | y |
---|
2022-12-30 | 5 |
2023-01-03 | 4 |
2023-01-04 | 11 |
2023-01-05 | 6 |
2023-01-07 | 7 |
讀取csv檔案
import pandas as pd
data = pd.read_csv('data.csv')
data['ds'] = pd.to_datetime(data['ds']) # 可以加這行將時間索引欄位設為datetime,不然會出錯(後面reindex時fill_value會將全部值覆蓋掉)
產生時間序列索引
date_range = pd.date_range(start='<開始時間>', end='<結束時間>', freq='<單位>')
這裡我們就以DS的最小日期作為開始時間、最大日期作為結束時間,而單位則是D(日)。
date_range = pd.date_range(start=data['ds'].min(), end=data['ds'].max(), freq='D')
print(data_range)
這裡你就會得到一個從2022-12-30到2023-01-07的時間序列索引
DatetimeIndex(['2022-12-30', '2022-12-31', '2023-01-01', '2023-01-02',
'2023-01-03', '2023-01-04', '2023-01-05', '2023-01-06',
'2023-01-07'],
dtype='datetime64[ns]', freq='D')
將時間索引回填進data,並補y值
由於這邊我假設y是銷售資料,因此就直接補0
data = data.set_index('ds') # 將ds設為index
data = data.reindex(date_range, fill_value=0) # 將date_range設為data的index,並將空值用0填滿
data = data.reset_index() # 重設index(即把ds設回一般欄位)
data.columns = ['ds', 'y'] # 重命名欄位
重命名欄位的部分,由於reset_index會將index欄位的名稱設為`index`,所以可以重新命名把欄位名設回你所需要使用的欄位,像是ds、y是Prophet所指定的欄位名稱。
另外,如果你不想把空值設為0,而是想另外用其他方式來補空值,則不要設定fill_value參數即可,pandas會保留那些缺失值的欄位為NaN,則可以利用其他方式進行資料遺漏值處理。
秉持著我都會遇事別人怎麼不會的精神分享解決事情的經過。