まず、ストキャスティック勾配降下法の基本的な考え方について説明します。通常の勾配降下法では、各学習ステップでデータセット全体の勾配を計算し、パラメータを更新します。一方、ストキャスティック勾配降下法では、各学習ステップでランダムに選ばれたサンプルのみを使用して勾配を計算します。これにより、計算コストを削減しながらも、近似的に最適なパラメータを見つけることができます。
以下に、Pythonを使用したストキャスティック勾配降下法の実装例を示します。
import numpy as np
# データセットの読み込み
X = np.array(...) # 入力データ
y = np.array(...) # 出力データ
# ハイパーパラメータの設定
learning_rate = 0.01 # 学習率
num_epochs = 100 # エポック数
batch_size = 32 # バッチサイズ
# パラメータの初期化
w = np.random.randn(...) # 重み
b = np.random.randn(...) # バイアス
# エポックごとに学習を行う
for epoch in range(num_epochs):
# データセットをバッチサイズごとに分割する
num_batches = len(X) // batch_size
for batch in range(num_batches):
# バッチの範囲を計算
start = batch * batch_size
end = (batch + 1) * batch_size
# バッチデータの取得
X_batch = X[start:end]
y_batch = y[start:end]
# 勾配の計算
y_pred = np.dot(X_batch, w) + b
error = y_pred - y_batch
grad_w = np.dot(X_batch.T, error) / batch_size
grad_b = np.mean(error, axis=0)
# パラメータの更新
w -= learning_rate * grad_w
b -= learning_rate * grad_b
# エポックごとに損失を計算して表示
y_pred = np.dot(X, w) + b
loss = np.mean((y_pred - y) 2)
print(f"Epoch {epoch+1}, Loss: {loss}")
# 最終的なパラメータの表示
print("Final Parameters:")
print("Weight:", w)
print("Bias:", b)上記のコードでは、NumPyを使用してストキャスティック勾配降下法を実装しています。データセットをバッチサイズごとに分割し、各バッチごとに勾配を計算してパラメータを更新します。エポックごとに全体のデータセットを使用して損失を計算し、学習の進捗をモニタリングします。
このブログ投稿では、ストキャスティック勾配降下法の基本的なアイデアとPythonによる実装方法を紹介しました。ストキャスティック勾配降下法は、機械学習の最適化において重要な手法であり、大規模なデータセットでの効率的な学習に適しています。コード例を通じて、具体的な手順とパラメータの更新方法を理解できるでしょう。