どーも、学生エンジニアのゆうき(@engieerblog_Yu)です。
AIで書かれている文章を検出してくれるGPTZeroというサービスを見つけたので、精度がどれくらいか検証していきたいと思います！
まずは普通のプロンプトで実験
まずは、「日本の良さについて教えて」というプロンプトで生成された文章で実験してみました。
Sentences highlighted are more likely to be written by AIで、黄色線が引かれる場所はありませんでした。
つまり、AIに文章が生成されたと判別できていないことになります。
何回かテストしてみたところ、検出される時とされない時があるようです。(どういう条件で検出されるのかは実験の余地あり)
プログラミングコードで実験
次に、「5個の数を昇順に並び替えるアルゴリズムを教えて」というプロンプトで実験してみました。
コードの一部だけ検出されました。
黄色線のコードのどこがAIっぽい書き方なのか全くわかりません。(笑)
GPTZeroは学習段階
GPTZeroは、今まさに賢くなっている段階であるようです。(2023年４月時点)
GPTZeroがもう少し賢くなったら、ChatGPTのプロンプトで、「AIが書いた文章だと判別できないように教えて」と指定すると判別されないのかも試してみたいと思います。
ChatGPTとGPTZeroが、お互いの出力によって賢くなっていく可能性がありますね。(敵対的生成ネットワークのような)
まとめ
現段階では、あまり精度がよくない(ただしこれから精度が良くなりそう)
ChatGPTのプロンプトを工夫すれば、逃れる術はありそう
どのくらいのモデルになっていくのか見ものですね。
これからも定期的にチェックしていきたいと思います！
最後まで読んでいただきありがとうございました。
ChatGPTおすすめ拡張機能
noteで、ChatGPTのおすすめChrom拡張機能5つと収益化方法について解説しています。
noteでは、以下について解説しています。
Googleスプレッドシートやドキュメントの自動入力
ツイートの自動返信
Youtube動画の自動要約
Gmailの自動返信
検索画面にChatGPTの結果表示
AI美女生成に興味がある方
Stable Diffusionを使ってAI美女を生成する方法についてもnoteで解説しています。
コメント