データサイエンス【明示的な正則化】データオーグメンテーション・Weight Decay・Dropoutについて
初めに こんにちは。将棋と筋トレが好きな、情報系大学生のゆうき(@engieerblog_Yu)です。 今回は、ニューラルネットワークの明示的な正則化についてまとめていきたいと思います。 正則化とは？ ニューラルネ...
Yuki
データサイエンス
データサイエンスXavierの初期値・Heの初期値を使ったニューラルネットワークの重みの初期値設定
はじめに こんにちは。将棋と筋トレが好きな、情報系大学生のゆうき(@engieerblog_Yu)です。 今回はニューラルネットワークの重みの初期値設定で使われるXavierの初期値・Heの初期値についてまとめていきたいと思い...
プログラミングAdaGradを使った損失関数の最小化問題をPythonで実装
はじめに こんにちは。将棋と筋トレが好きな、情報系大学生のゆうき(@engieerblog_Yu)です。 今回はニューラルネットワークの最適化問題を解く手法である、AdaGradについてまとめていきたいと思います。 Ad...
プログラミング【物理量を使った最適化手法】Momentum法をPythonで実装する
はじめに こんにちは。将棋と筋トレが好きな、情報系大学生のゆうき(@engieerblog_Yu)です。 今回はニューラルネットワークの最適化問題を解く手法である、モーメンタム法についてまとめていきたいと思います。 Mo...
プログラミング【数値微分】前方差分・中心差分・後方差分をPythonで実装して比較する
初めに こんにちは。将棋と筋トレが好きな、情報系大学生のゆうき(@engieerblog_Yu)です。 今回は３種類の数値微分の手法を実装して比較していきたいと思います。 微分の定義(前方差分・中心差分・後方差分) ...
プログラミング【Affine・Softmax】ニューラルネットワークの誤差逆伝播法を使って分類問題を解く(Python)
はじめに こんにちは。将棋と筋トレが好きな、情報系大学生のゆうき(@engieerblog_Yu)です。 今回はニューラルネットワークの勾配の計算に用いられる、誤差逆伝播法のAffineレイヤ・Softmaxレイヤについてまと...
データサイエンス深層学習を使ったサロゲートモデル(シミュレーション代理モデル)を分かりやすく解説
初めに こんにちは。将棋と筋トレが好きな、情報系大学生のゆうき(@engieerblog_Yu)です。 今回は私の研究内容である、サロゲートモデルについて簡単にまとめていきたいと思います。 サロゲートモデルとは？ ...
プログラミング誤差逆伝播法におけるReLUレイヤ・SigmoidレイヤをPythonで実装
初めに こんにちは。将棋と筋トレが好きな、情報系大学生のゆうき(@engieerblog_Yu)です。 今回はニューラルネットワークの勾配の計算に用いられる誤差逆伝播法のReLUレイヤ・Sigmoidレイヤについてまとめていき...
プログラミング【計算グラフ】誤差逆伝播法における加算レイヤ・乗算レイヤをPythonで実装
こんにちは。将棋と筋トレが好きな、学生エンジニアのゆうき( @engieerblog_Yu )です。 今回はニューラルネットワークの誤差逆伝播法についてまとめていきたいと思います。 誤差逆伝播法について 前回までの記事で勾配降下法を紹介しました。 勾配降下法は損失関数の値が小さくなる方向の勾配に…
データサイエンス【ノルム最小化・フラットな解・宝くじ仮説】ニューラルネットワークの隠的正則化について
こんにちは。将棋と筋トレが好きな、学生エンジニアのゆうき( @engieerblog_Yu )です。 今回はニューラルネットワークの隠的正則化についてまとめていきたいと思います。 隠的正則化とは？ ニューラルネットワークには、 対象とする問題の複雑さに合わせてモデルの複雑さを制御する という性質があります。 …