プログラミング【物理量を使った最適化手法】Momentum法をPythonで実装する
はじめに こんにちは。将棋と筋トレが好きな、情報系大学生のゆうき(@engieerblog_Yu)です。 今回はニューラルネットワークの最適化問題を解く手法である、モーメンタム法についてまとめていきたいと思います。 Mo...
プログラミング
プログラミング
プログラミング【数値微分】前方差分・中心差分・後方差分をPythonで実装して比較する
初めに こんにちは。将棋と筋トレが好きな、情報系大学生のゆうき(@engieerblog_Yu)です。 今回は３種類の数値微分の手法を実装して比較していきたいと思います。 微分の定義(前方差分・中心差分・後方差分) ...
プログラミング【Affine・Softmax】ニューラルネットワークの誤差逆伝播法を使って分類問題を解く(Python)
はじめに こんにちは。将棋と筋トレが好きな、情報系大学生のゆうき(@engieerblog_Yu)です。 今回はニューラルネットワークの勾配の計算に用いられる、誤差逆伝播法のAffineレイヤ・Softmaxレイヤについてまと...
プログラミング誤差逆伝播法におけるReLUレイヤ・SigmoidレイヤをPythonで実装
初めに こんにちは。将棋と筋トレが好きな、情報系大学生のゆうき(@engieerblog_Yu)です。 今回はニューラルネットワークの勾配の計算に用いられる誤差逆伝播法のReLUレイヤ・Sigmoidレイヤについてまとめていき...
プログラミング【計算グラフ】誤差逆伝播法における加算レイヤ・乗算レイヤをPythonで実装
こんにちは。将棋と筋トレが好きな、学生エンジニアのゆうき( @engieerblog_Yu )です。 今回はニューラルネットワークの誤差逆伝播法についてまとめていきたいと思います。 誤差逆伝播法について 前回までの記事で勾配降下法を紹介しました。 勾配降下法は損失関数の値が小さくなる方向の勾配に…
プログラミング【機械学習】勾配降下法による重みとバイアスの最適化(損失関数・学習率)
こんにちは。将棋と筋トレが好きな、学生エンジニアのゆうき( @engieerblog_Yu )です。 今回はニューラルネットワークのモデルの学習に使われる勾配降下法についてまとめていきたいと思います。 勾配降下法について ニューラルネットワークのモデル学習では、重みとバイアスを最適化していきます。 重みとバイアス…
プログラミング勾配降下法で使われる損失関数(二乗和誤差・交差エントロピー誤差)をPythonで実装する
はじめに こんにちは。将棋と筋トレが好きな、学生エンジニアのゆうき( @engieerblog_Yu )です。 今回はニューラルネットワークのモデルの学習に使われる損失関数についてまとめていきたいと思います。 前回の記事です。 https://prog-you.com/perceptron/ https://…
プログラミング活性化関数(ステップ・シグモイド・ReLU)をPythonで実装
はじめに 今回は前回のパーセプトロンから、ニューラルネットワークを考えるために、活性化関数について触れていきたいと思います。パーセプトロンとニューラルネットワークの違い パーセプトロンは前回の記事で、以下のように表されると学びました。 (今回θの…
プログラミング２入力単純パーセプトロンをPythonを使って実装してみる
こんにちは。将棋と筋トレが好きな、情報系大学生のゆうき( @engieerblog_Yu )です。 今回はディープラーニングを学ぶ上で必須の知識となる、パーセプトロンについてまとめていきたいと思います。 パーセプトロンとは？ パーセプトロンは複数の入力に対して、一つの信号を出力します。 入力:x、出力:yとする…
プログラミング【Translator】Pythonで翻訳して精度を検証してみた
こんにちは。将棋と筋トレが好きな、学生エンジニアのゆうき( @engieerblog_Yu )です。 今回はPythonのTranslatorを使えば、どうやら英語から日本語に翻訳できるそうなので精度を検証してみたいと思います。 インストール pip install translate 使…