محققان دانشگاه استنفورد از کاهش چشمگیر دقت ChatGPT در حل مسائل ریاضی خبر دادند

مطالعه جدید محققان دانشگاه استنفورد نشان می دهد چت بات هوش مصنوعی ChatGPT نسخه ماه ژوئن نسبت به نسخه ماه مارس افت شدیدی داشته است.

به گزارش سرویس اخبار فناوری و تکنولوژی تکنا، در این مطالعه عملکرد این چت بات مورد بررسی قرار گرفت. این مطالعه روی انجام چهار کار متنوع حل مسائل ریاضی، تولید کد، پایه یه سوالات مهم و استدلال تصویری انجام شد. همچنین این بررسی روی دو نسخه GPT-3 و GPT-4 انجام گرفت. نتیجه این مطالعه نشان داد قابلیت مدل GPT-4 که پیش از این دارای دقت ۹۷.۶ در حا مسائل ریاضی بود اکنون به ۲.۴ درصد کاهش یافته است. اما GPT-3 عملکرد معکوسی داشته و در خالی که نسخه ماه مارس آن تنها دارای دقت ۷.۴ درصد بوده است. اما اکنون با پاسخ های درست توانسته دقت خود را تا ۸۶.۸ درصد نشان دهد. در مورد نوشتن کدهای نیز هر دو هوش مصنوعی عملکرد مشابه مرحله قبل داشته و نتیجه نیز همانند بخش حل مسائل ریاضی بود.

این نتیجه متفاوت از دو نسخه هوش مصنوعی در ماه مارس تا ژوئن نشان دهنده تغییرات بخشی از این مدل را نشان می دهد. جیمز زو، یکی از محققان این مطالعه و اسناد علوم کامپیوتر استنفورد در این مورد گفته است: در برخی مواقع بهبود عملکرد یک مدل زبانی بزرگ در کارهای خاص می تواند عواقب ناخواسته داشته باشد. در واقع ممکن است با این کار عملکردشان در کارهای دیگر کاهش یابد. وابستگی متقابل در روش پاسخگویی با توجه به مدل سوالات می تواند به رفتارهای بدتری منجر شود.