どーも、学生エンジニアのゆうき(@engieerblog_Yu)です。
先日Twitterで、面白い動画を発見しました。
以下の動画は、NeRFsというAI技術を使って、複数の2次元の車の画像からドローンで撮影したかのような3次元画像にしているようです。
これだけの精度で2次元画像を3次元化できるのは、かなりすごいと思ったので、今回はNeRFについてリサーチした内容を紹介していきます！
以下はNeRFの公式のページです。
次に、NeRFを使えそうな分野を考えてみました。
使えそうな分野
NeRFsは、3Dモデリングやバーチャルリアリティの分野で特に使えそうだと思いました。
例えば以下です。
建物や都市空間のモデリング
キャラクターや背景のモデリング
彫刻作品の3Dモデル化
医療分野における人体の3Dモデル化
具体的にそれぞれ説明します。
- 建築や都市計画において、複数の視点から撮影した写真を学習させることで、現実の建物や都市空間を精密に再現することができます。
- 映画やゲーム制作において、複数の視点から撮影した写真を学習させることで、よりリアルなキャラクターや背景を作り出すことができます。
- アートやデザインにおいて、オブジェクトの形状や質感をより詳細に再現することができます。例えば、芸術家が自然界からインスピレーションを得て制作した彫刻作品の3Dモデル化に役立ちます。
- 医療分野において、人体の3Dモデル化に役立ちます。複数の視点から撮影した写真を学習させることで、病気やけがをした箇所の解剖学的な構造をより正確に把握することができます。
何をやっている？
実際に論文に書かれていることを簡単にまとめました。
学習に用いられているのは、画像(RGBと放射輝度)と視点位置と方向
モデルの出力は、RGBと放射輝度(物理量)
学習に用いられているのは、20~62枚の画像で半球面上にランダムに配置されている
既存の手法と比較しても、NeRFの精度が高いのが一目瞭然です。
実際にどのような画像生成モデルが用いられているのかが気になる方は、コードも公開されているようなのでチェックしてみてください！
最後まで読んでいただきありがとうございました！
他にもAI関連の技術を紹介しているので併せてどうぞ！
ChatGPT関連記事
ChatGPTおすすめ拡張機能
noteで、ChatGPTのおすすめChrom拡張機能5つと収益化方法について解説しています。
noteでは、以下について解説しています。
Googleスプレッドシートやドキュメントの自動入力
ツイートの自動返信
Youtube動画の自動要約
Gmailの自動返信
検索画面にChatGPTの結果表示
AI美女生成に興味がある方
Stable Diffusionを使ってAI美女を生成する方法についてもnoteで解説しています。
コメント