هوش از سر هوش مصنوعی پراندند! ، ChatGPT پراشتباه و ضعیف - وبلاگ بینام

به گزارش وبلاگ بینام، دانشمندان استنفورد می گویند، دقت ChatGPT در پاسخ به یک مساله ساده ریاضی از 98 به 2 درصد رسیده است!

به گزارش وبلاگ بینام و به نقل از زد دی نت، دانشمندان در مطالعه خود عملکرد چت بات شرکت OpenAI را طی چند ماه در 4 کار متنوع حل مسائل ریاضی، پاسخ دادن به پرسش های حساس، تولید کد نرم افزاری و استدلال بصری مقایسه کرده اند.

قابل توجه ترین نتیجه عنوان شده از طریق آنها احتمالا به قابلیت مدل GPT-4 در حل مسائل ریاضی مربوط می شود که در 97.6 درصد از سؤال های ماه مارس پاسخ درست ارائه کرده، ولی فقط 3 ماه بعد، دقت آن به 2.4 درصد کاهش پیدا کرده است!

در مقابل، GPT-3.5 عملاً مسیر معکوسی داشته است. هرچند نسخه مارس آن فقط در 7.4 درصد مواقع این سؤالات را به درستی پاسخ داده، اما در ماه ژوئن پیروز شده تا میزان دقیق بودن پاسخ های خود را تا 86.8 درصد افزایش دهد.

مانی که محققان از مدل ها خواستند تا کد بنویسند یا یک آزمایش استدلال بصری (پیش بینی شکل بعدی یک الگو) انجام دهند نیز نتایج مشابهی وجود داشته است.