- 相関係数に基づく特徴量の削減: 相関係数を計算し、目標変数との相関が低い特徴量を削除する方法です。相関が強い特徴量は、目標変数を予測する上で重要な役割を果たす可能性が高いため、相関が低い特徴量は削除することができます。
import pandas as pd
# 相関行列の計算
correlation_matrix = df.corr()
# 目標変数との相関が低い特徴量の削除
low_correlation_features = correlation_matrix[correlation_matrix < 0.2].dropna(axis=1).columns
df = df.drop(low_correlation_features, axis=1)- ユニークな値の数に基づく特徴量の削減: 特定のカテゴリ変数に大量のユニークな値がある場合、その特徴量はモデルにとって有用でない可能性があります。このような場合、ユニークな値の数が一定の閾値を超える特徴量を削除することができます。
# ユニークな値の数の計算
unique_value_counts = df.nunique()
# ユニークな値の数が閾値を超える特徴量の削除
high_unique_value_features = unique_value_counts[unique_value_counts > 100].index
df = df.drop(high_unique_value_features, axis=1)- L1正則化に基づく特徴量の削減: L1正則化は、特徴量の重要度に基づいて係数を0に近づけることで、モデルの複雑さを減らす手法です。L1正則化を適用することにより、重要でない特徴量の係数が0になるため、これらの特徴量を削除することができます。
from sklearn.linear_model import Lasso
# L1正則化モデルの作成
lasso = Lasso(alpha=0.1)
lasso.fit(X, y)
# 重要でない特徴量の削除
non_important_features = X.columns[lasso.coef_ == 0]
X = X.drop(non_important_features, axis=1)これらは特徴量の削減においてよく使用される方法の一部です。適用する方法はデータセットや問題によって異なる場合があります。効果的な特徴量削減を行うためには、データの理解やドメイン知識が重要です。さまざまな方法を試して、最適な特徴量削減手法を見つけることをお勧めします。