Многие пользователи, регулярно взаимодействующие с ChatGPT, заметили, что за последнее время нейросеть заметно деградировала – качество ответов упало, а математические задачи часто решаются неправильно. Развеять сомнения взялись ученые Стэнфордского университета, которые провели полноценное исследование, и в ходе него выяснили, что ChatGPT действительно «отупел».
Произошло это примерно за 3 месяца. С марта по июнь точность ответов GPT-4 падала, и проявлялось это в самых разных сценариях. К примеру, перед ИИ ставили задачу: выяснить, является ли число 17 077 простым, сопроводив комментарием «думай последовательно». Полученный ответ оказался неправильным, а подсказку чат-бот и вовсе проигнорировал.
По подсчетам ученых, способность GPT-4 идентифицировать простые числа резко упала с 97.6% в марте до 2.4% в июне. С написанием кода нейросеть стала справляться в 10% случаев против 52% ранее. В марте GPT-4 охотнее отвечал на «деликатные» вопросы – 21%, сейчас же дает ответ лишь на 5%. Что любопытно, точность GPT-3.5 на фоне более передовой модели, наоборот, выросла с 2% до 8%.
С чем связана подобная динамика – в исследовании не говорится. Сама OpenAI , отрицает какие-либо заявления об уменьшении возможностей GPT-4, но в то же время разработчики заявили прессе, что «в курсе сообщений о деградации и изучают их». В свете открывшихся фактов ученые из Стэнфорда советуют не полагаться на помощь и тщательно перепроверять ответы нейросети.
