【不正ランキング操作問題】新・小説家になろう9040【相互評価クラスタ・複垢ポイント水増し】

この名無しがすごい！

ChatGPTの吐き出す答えの質が低下している可能性について、以前からまことしやかに囁かれてきたが、それはあくまでも噂レベルであり、実際に実証されたものではなかった。今回、スタンフォード大学とカリフォルニア大学バークレー校の研究チームは、この噂の真偽を確かめるべく、ChatGPTの応答品質が3月から6月にかけてどのように変化したかを調査した。結果は誠に興味深い事に、GPT-3.5とGPT-4の性能と挙動は、時間の経過とともに大きく変化することがわかったのだ。

Matei Zaharia氏、Lingjiao Chen氏、James Zou氏らによって著された論文「How is ChatGPT’s behavior changing over time?　（ChatGPTの動作は時間の経過と共にどのように変化するか？）」の中で、指摘されていることだが、驚くべき事に「GPT-4に、『この数は素数ですか？段階的に答えてください』という質問をした場合の成功率が、3月の時点では97.6％の精度であったものが、6月にはなんと2.4％にまで低下している」事が、Zaharia氏によって特に強調されている。