プログラミング誤差逆伝播法におけるReLUレイヤ・SigmoidレイヤをPythonで実装
初めに こんにちは。将棋と筋トレが好きな、情報系大学生のゆうき(@engieerblog_Yu)です。 今回はニューラルネットワークの勾配の計算に用いられる誤差逆伝播法のReLUレイヤ・Sigmoidレイヤについてまとめていき...
2022-09
プログラミング
プログラミング【計算グラフ】誤差逆伝播法における加算レイヤ・乗算レイヤをPythonで実装
こんにちは。将棋と筋トレが好きな、学生エンジニアのゆうき( @engieerblog_Yu )です。 今回はニューラルネットワークの誤差逆伝播法についてまとめていきたいと思います。 誤差逆伝播法について 前回までの記事で勾配降下法を紹介しました。 勾配降下法は損失関数の値が小さくなる方向の勾配に…
データサイエンス【ノルム最小化・フラットな解・宝くじ仮説】ニューラルネットワークの隠的正則化について
こんにちは。将棋と筋トレが好きな、学生エンジニアのゆうき( @engieerblog_Yu )です。 今回はニューラルネットワークの隠的正則化についてまとめていきたいと思います。 隠的正則化とは？ ニューラルネットワークには、 対象とする問題の複雑さに合わせてモデルの複雑さを制御する という性質があります。 …
データサイエンス【学習率・正則化・アーキテクチャ】ハイパーパラメータについて(ニューラルネットワーク)
こんにちは。将棋と筋トレが好きな、学生エンジニアのゆうき( @engieerblog_Yu )です。 今回はニューラルネットワークのモデルのハイパーパラメータについてまとめていきたいと思います。 ハイパーパラメータとは？ ニューラルネットワークのパラメータ(重みやバイアス)は、誤差逆伝播法や勾配降下法を用いて計算されます。 …