handle outliers

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22yohou%5Bplotting%5D%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.8%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20How%20to%20Handle%20Outliers%20in%20a%20Forecasting%20Pipeline%0A%0A%20%20%20%20This%20notebook%20shows%20how%20to%20detect%20and%20clip%20outliers%20using%20threshold%0A%20%20%20%20and%20percentile%20handlers%2C%20then%20demonstrates%20their%20effect%20on%20conformal%0A%20%20%20%20prediction%20intervals.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20from%20sklearn.linear_model%20import%20Ridge%0A%0A%20%20%20%20from%20yohou.compose%20import%20FeaturePipeline%0A%20%20%20%20from%20yohou.datasets%20import%20fetch_sunspot%0A%20%20%20%20from%20yohou.interval%20import%20SplitConformalForecaster%0A%20%20%20%20from%20yohou.metrics%20import%20MeanAbsoluteError%0A%20%20%20%20from%20yohou.plotting%20import%20plot_time_series%0A%20%20%20%20from%20yohou.point%20import%20PointReductionForecaster%0A%20%20%20%20from%20yohou.preprocessing%20import%20LagTransformer%0A%20%20%20%20from%20yohou.preprocessing.outlier%20import%20OutlierPercentileHandler%2C%20OutlierThresholdHandler%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20FeaturePipeline%2C%0A%20%20%20%20%20%20%20%20LagTransformer%2C%0A%20%20%20%20%20%20%20%20MeanAbsoluteError%2C%0A%20%20%20%20%20%20%20%20OutlierPercentileHandler%2C%0A%20%20%20%20%20%20%20%20OutlierThresholdHandler%2C%0A%20%20%20%20%20%20%20%20PointReductionForecaster%2C%0A%20%20%20%20%20%20%20%20Ridge%2C%0A%20%20%20%20%20%20%20%20SplitConformalForecaster%2C%0A%20%20%20%20%20%20%20%20fetch_sunspot%2C%0A%20%20%20%20%20%20%20%20pl%2C%0A%20%20%20%20%20%20%20%20plot_time_series%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201.%20Load%20Data%20and%20Inject%20Synthetic%20Outliers%0A%0A%20%20%20%20Load%20the%20sunspot%20dataset%20and%20inject%20a%20few%20synthetic%20outlier%20spikes%20to%0A%20%20%20%20demonstrate%20the%20handlers.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(fetch_sunspot%2C%20pl%2C%20plot_time_series)%3A%0A%20%20%20%20data%20%3D%20fetch_sunspot().frame%0A%0A%20%20%20%20%23%20Inject%20synthetic%20outliers%20at%20specific%20positions%0A%20%20%20%20outlier_indices%20%3D%20%5B50%2C%20120%2C%20200%5D%0A%20%20%20%20outlier_mask%20%3D%20pl.Series(%5Bi%20in%20outlier_indices%20for%20i%20in%20range(len(data))%5D)%0A%20%20%20%20data_with_outliers%20%3D%20data.with_columns(%0A%20%20%20%20%20%20%20%20pl.when(outlier_mask)%0A%20%20%20%20%20%20%20%20.then(pl.col(%22sunspot_number%22)%20*%205)%0A%20%20%20%20%20%20%20%20.otherwise(pl.col(%22sunspot_number%22))%0A%20%20%20%20%20%20%20%20.alias(%22sunspot_number%22)%0A%20%20%20%20)%0A%0A%20%20%20%20plot_time_series(data_with_outliers%2C%20title%3D%22Sunspots%20with%20Synthetic%20Outliers%22)%0A%20%20%20%20return%20(data_with_outliers%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202.%20Clip%20with%20Fixed%20Thresholds%0A%0A%20%20%20%20Use%20%5B%60OutlierThresholdHandler%60%5D(%2Fpages%2Fapi%2Fgenerated%2Fyohou.preprocessing.outlier.OutlierThresholdHandler%2F)%20when%20you%20know%20plausible%20value%20bounds%20from%0A%20%20%20%20domain%20knowledge.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(OutlierThresholdHandler%2C%20data_with_outliers%2C%20plot_time_series)%3A%0A%20%20%20%20handler_fixed%20%3D%20OutlierThresholdHandler(low%3D0.0%2C%20high%3D200.0)%0A%20%20%20%20handler_fixed.fit(data_with_outliers)%0A%20%20%20%20clipped_fixed%20%3D%20handler_fixed.transform(data_with_outliers)%0A%0A%20%20%20%20plot_time_series(clipped_fixed%2C%20title%3D%22After%20Fixed%20Threshold%20Clipping%20(0%2C%20200)%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203.%20Clip%20with%20Learned%20Percentiles%0A%0A%20%20%20%20Use%20%5B%60OutlierPercentileHandler%60%5D(%2Fpages%2Fapi%2Fgenerated%2Fyohou.preprocessing.outlier.OutlierPercentileHandler%2F)%20when%20bounds%20should%20be%20learned%20from%20the%0A%20%20%20%20data%20distribution.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(OutlierPercentileHandler%2C%20data_with_outliers%2C%20plot_time_series)%3A%0A%20%20%20%20handler_pct%20%3D%20OutlierPercentileHandler(low%3D1%2C%20high%3D99)%0A%20%20%20%20handler_pct.fit(data_with_outliers)%0A%20%20%20%20clipped_pct%20%3D%20handler_pct.transform(data_with_outliers)%0A%0A%20%20%20%20plot_time_series(clipped_pct%2C%20title%3D%22After%20Percentile%20Clipping%20(1st%20to%2099th)%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204.%20Place%20Handlers%20in%20a%20Pipeline%0A%0A%20%20%20%20Both%20handlers%20are%20stateful%20transformers.%20Place%20them%20before%20lag%20features%0A%20%20%20%20and%20stationarity%20transforms.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20FeaturePipeline%2C%0A%20%20%20%20LagTransformer%2C%0A%20%20%20%20MeanAbsoluteError%2C%0A%20%20%20%20OutlierPercentileHandler%2C%0A%20%20%20%20PointReductionForecaster%2C%0A%20%20%20%20Ridge%2C%0A%20%20%20%20data_with_outliers%2C%0A)%3A%0A%20%20%20%20from%20yohou.model_selection%20import%20train_test_split%0A%0A%20%20%20%20y_train%2C%20y_test%20%3D%20train_test_split(data_with_outliers%2C%20test_size%3D24)%0A%0A%20%20%20%20pipeline%20%3D%20FeaturePipeline(%5B%0A%20%20%20%20%20%20%20%20(%22outlier_clip%22%2C%20OutlierPercentileHandler(low%3D1%2C%20high%3D99))%2C%0A%20%20%20%20%20%20%20%20(%22lags%22%2C%20LagTransformer(lag%3D%5B1%2C%206%2C%2012%5D))%2C%0A%20%20%20%20%5D)%0A%0A%20%20%20%20forecaster%20%3D%20PointReductionForecaster(%0A%20%20%20%20%20%20%20%20estimator%3DRidge()%2C%0A%20%20%20%20%20%20%20%20feature_transformer%3Dpipeline%2C%0A%20%20%20%20)%0A%20%20%20%20forecaster.fit(y_train%2C%20forecasting_horizon%3D24)%0A%20%20%20%20y_pred%20%3D%20forecaster.predict(forecasting_horizon%3D24)%0A%0A%20%20%20%20scorer%20%3D%20MeanAbsoluteError()%0A%20%20%20%20scorer.fit(y_train)%0A%20%20%20%20score%20%3D%20scorer.score(y_test%2C%20y_pred)%0A%20%20%20%20score%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205.%20Verify%3A%20Outlier%20Effect%20on%20Conformal%20Intervals%0A%0A%20%20%20%20Outliers%20in%20the%20calibration%20set%20inflate%20interval%20width.%20Compare%0A%20%20%20%20intervals%20with%20and%20without%20outlier%20clipping.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20FeaturePipeline%2C%0A%20%20%20%20LagTransformer%2C%0A%20%20%20%20OutlierPercentileHandler%2C%0A%20%20%20%20PointReductionForecaster%2C%0A%20%20%20%20Ridge%2C%0A%20%20%20%20SplitConformalForecaster%2C%0A%20%20%20%20data_with_outliers%2C%0A%20%20%20%20pl%2C%0A)%3A%0A%20%20%20%20n2%20%3D%20len(data_with_outliers)%0A%20%20%20%20y_train2%20%3D%20data_with_outliers.head(n2%20-%2024)%0A%0A%20%20%20%20%23%20Without%20clipping%0A%20%20%20%20forecaster_raw%20%3D%20SplitConformalForecaster(%0A%20%20%20%20%20%20%20%20point_forecaster%3DPointReductionForecaster(%0A%20%20%20%20%20%20%20%20%20%20%20%20estimator%3DRidge()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20feature_transformer%3DLagTransformer(lag%3D%5B1%2C%206%2C%2012%5D)%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20forecaster_raw.fit(y_train2%2C%20forecasting_horizon%3D24)%0A%20%20%20%20pred_raw%20%3D%20forecaster_raw.predict_interval(forecasting_horizon%3D24%2C%20coverage_rates%3D%5B0.9%5D)%0A%0A%20%20%20%20%23%20With%20clipping%0A%20%20%20%20forecaster_clean%20%3D%20SplitConformalForecaster(%0A%20%20%20%20%20%20%20%20point_forecaster%3DPointReductionForecaster(%0A%20%20%20%20%20%20%20%20%20%20%20%20estimator%3DRidge()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20feature_transformer%3DFeaturePipeline(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22outlier_clip%22%2C%20OutlierPercentileHandler(low%3D1%2C%20high%3D99))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22lags%22%2C%20LagTransformer(lag%3D%5B1%2C%206%2C%2012%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D)%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20forecaster_clean.fit(y_train2%2C%20forecasting_horizon%3D24)%0A%20%20%20%20pred_clean%20%3D%20forecaster_clean.predict_interval(forecasting_horizon%3D24%2C%20coverage_rates%3D%5B0.9%5D)%0A%0A%20%20%20%20%23%20Compare%20interval%20widths%0A%20%20%20%20raw_width%20%3D%20(%0A%20%20%20%20%20%20%20%20pred_raw.select(pl.col(%22%5E.*upper.*%24%22)%20-%20pl.col(%22%5E.*lower.*%24%22)).mean().to_series()%5B0%5D%0A%20%20%20%20)%0A%20%20%20%20clean_width%20%3D%20(%0A%20%20%20%20%20%20%20%20pred_clean.select(pl.col(%22%5E.*upper.*%24%22)%20-%20pl.col(%22%5E.*lower.*%24%22)).mean().to_series()%5B0%5D%0A%20%20%20%20)%0A%20%20%20%20print(f%22Mean%20interval%20width%20without%20clipping%3A%20%7Braw_width%3A.1f%7D%22)%0A%20%20%20%20print(f%22Mean%20interval%20width%20with%20clipping%3A%20%20%20%20%7Bclean_width%3A.1f%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Next%20Steps%0A%0A%20%20%20%20-%20%5BHandle%20Outliers%5D(%2Fpages%2Fhow-to%2Fhandle-outliers%2F)%20for%20the%20full%20guide%0A%20%20%20%20-%20%5BClean%20and%20Resample%20Time%20Series%5D(%2Fpages%2Fhow-to%2Fclean-and-resample%2F)%20for%20related%20techniques%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A