【機械学習】勾配降下法による重みとバイアスの最適化(損失関数・学習率)

# ライブラリのインポート
import numpy as np
import matplotlib.pyplot as plt

#　損失関数(二乗誤差)
def squared_error(t, y):
  return  0.5*(y - t)**2

# 損失関数のパラメータ
a = 5

# tの初期値を設定
t_initial = -5

# 損失値を求める
E = squared_error(t_initial, a)
print('loss = ' + str(E))

# 損失関数をプロットする
t_line = np.linspace(-10, 20) 
E_line = squared_error(t_line, a)
plt.figure(figsize=(6,6))
plt.plot(t_line, E_line)
plt.xlabel('parameter t')
plt.ylabel('loss function E')

# 現在の t と損失値をプロット
plt.scatter(t_initial, E, color='r')
plt.xlim([-10, 20])
plt.ylim([-5, 100])
plt.show()

# 勾配の計算
def calc_gradient(t, y):
  grad = -(y - t)
  return grad

grad = calc_gradient(t_initial, a)

# 損失関数をプロットする
t_line = np.linspace(-10, 20) # -10から10に引かれたx軸
L_line = squared_error(t_line, a)
plt.figure(figsize=(6,6))
plt.plot(t_line, L_line)
plt.xlabel('parameter t')
plt.ylabel('loss function E')
# 現在の t と損失値 E をプロット
plt.scatter(t_initial, E, color='r')
# 接線を引く
tangent = grad * (t_line - t_initial) + E
plt.plot(t_line, tangent, color='red')
plt.xlim([-10, 20])
plt.ylim([-5, 100])
plt.show()

# 学習率
lr = 0.1

# 勾配を使って t を更新
t_next = t_initial - lr * grad

# 更新後の損失値
E_next = squared_error(t_next, a)

# 更新後の勾配
grad_next = calc_gradient(t_next, a)


plt.figure(figsize=(6,6))
# 損失関数をプロット
plt.plot(t_line, E_line)
# 一つ前の t と損失値
plt.scatter(t_initial, E, color='r', label='previous t')
# 一つ前の接線
tangent = grad * (t_line - t_initial) + E
plt.plot(t_line, tangent, color='r')
# 更新後の t と損失値と接線
plt.scatter(t_next, E_next, color='g', label='next t')
tangent_next = grad_next * (t_line - t_next) + E_next
plt.plot(t_line, tangent_next, color='g')
plt.xlabel('parameter t')
plt.ylabel('loss function E')
plt.xlim([-10, 20])
plt.ylim([-5, 100])
plt.legend()
plt.show()

from matplotlib import animation, rc
from IPython.display import HTML

# 学習率(lr = learning rate)
lr = 0.1

# 更新回数
num_iterations = 50

# 初期値をコピー
t = t_initial

# 描画
fig = plt.figure(figsize=(6,6))
plt.plot(t_line, E_line)
images = []

for n in range(num_iterations):
    # 損失値を計算
    E = squared_error(t, a)
    # 勾配を計算
    grad = calc_gradient(t, a)

    print("%d-th iteration, t=%.3f, loss: %.3f, grad: %.3f" % (n, t, E, grad))

    # 更新前の状態を描画
    tangent = grad * (t_line - t) + E
    img = plt.plot(t_line, tangent, color='r')
    img.append(plt.scatter(t, E, color='r'))
    img.append(plt.text(-8, 180, 'iteration: '+str(n), size='x-large'))
    images.append(img)
    
    # 更新
    t = t - lr * grad

plt.xlim([-10, 20])
plt.ylim([-5, 100])
plt.xlabel('parameter t')
plt.ylabel('loss function E')

# アニメーション作成
anim = animation.ArtistAnimation(fig, images, interval=100)

# Google Colaboratoryの場合必要
rc('animation', html='jshtml')
plt.close()
display(anim)