ChatGPTとかの西野七瀬テスト

ChatGPTとか(BingAIとか)の特性として

大量の文章を記憶させてそこから文字列を紡ぎ出してるって言われてもよくイメージ出来なかったので...西野七瀬テストをやってた

西野七瀬テストとは

「西野七瀬について教えて」ってChatGPTに依頼した結果

本当の西野七瀬との差がどのくらいあるのかでChatGPTがどのくらい嘘をつくかを判断するためのテスト

GPT-3.5の場合は

元AKBとか、愛知県出身とかメチャクチャなことを言ってくるので、ある程度のグルーピングされた範囲内からそれっぽい文字列を紡ぎ出してる感が半端ない

GPT-4になると...めっちゃ合ってる！！

ということで、西野七瀬がセンターの曲とか、西野七瀬が出演したドラマとか深掘りしていくと...それっぽく紡ぎ出してるな...って感じになる

グルーピングの解像度が激しく向上した感じがよくわかる

BingAIに至ってはほぼ完璧(というか普通にソースも提供してくれるし)

なんだけど、あ〜ここは間違えてるなぁ〜みたいな感じになる

紡ぎ出すと言うよりも、検索してその結果をまとめてる感じ

という一見すると同じに見えるChatたちの動きの差を把握する為のテスト方法

西野七瀬みたいにだいぶ前から情報がそれなりに大量にあり

西野七瀬みたいに検索する人がそれなりに詳しく知ってる物

を利用するのがポイントなので、西野七瀬以外でも利用可能なテスト方法

西野七瀬テストをすれば良いのにって言ってもなかなか伝わらない(当然)ので公開w