پژوهشگران شرکت OpenAI اعلام کردند که توانستهاند یکی از بزرگترین موانع پیشرفت چتباتهای هوش مصنوعی را شناسایی کنند که با عنوان «توهم» شناخته میشود.
به گزارش تکناک، توهم زمانی رخ میدهد که یک مدل زبانی با اطمینان کامل، اطلاعات نادرست را به عنوان واقعیت ارائه کند. این مشکل مدتها است که گریبانگیر محبوبترین چتباتهای هوش مصنوعی از جمله GPT-5 شرکت OpenAI و Claude متعلق به Anthropic شده است.
بر اساس مقالهای که روز پنجشنبه منتشر شد، یافته اصلی OpenAI این است که دلیل اصلی بروز توهم در این مدلها به شیوه آموزش آنها بازمیگردد. روشهای آموزشی فعلی بهگونهای طراحی شدهاند که «حدس زدن» را بیش از «پذیرش ندانستن» پاداش میدهند. به بیان ساده، مدلها یاد گرفتهاند «تا رسیدن به حقیقت، وانمود کنند که میدانند».
بیزنساینسایدر مینویسد که پژوهشگران در این مقاله نوشتند: «توهمها به دلیل نحوه ارزیابیها ادامه پیدا میکنند. مدلهای زبانی برای تبدیل شدن به پاسخدهندگان خوب آموزش داده میشوند و در شرایط عدم قطعیت، حدس زدن باعث بهبود عملکرد در آزمونها میشود.»
به اعتقاد آنها، مدلهای زبانی در واقع همیشه در حالت «آزمون دادن» قرار دارند؛ بهگونهای که همهچیز را سیاه یا سفید و درست یا غلط میبینند. این در حالی است که در دنیای واقعی، عدم قطعیت بسیار رایجتر از قطعیت است. برخلاف انسانها که در زندگی واقعی ارزش ابراز تردید را میآموزند، مدلهای زبانی تحت آزمونهایی قرار میگیرند که برای تردید و خودداری از پاسخدهی جریمه در نظر میگیرند.
با وجود این، پژوهشگران OpenAI معتقد هستند که راهحلی برای توهم چتباتهای هوش مصنوعی وجود دارد و آن بازطراحی شاخصهای ارزیابی است. آنها تأکید کردند: «مشکل ریشهای، فراوانی ارزیابیهایی است که همسو نیستند. لازم است معیارهای اصلی اصلاح شوند تا در صورت تردید، خودداری از پاسخدهی جریمه نشود.»
شرکت OpenAI در یک پست وبلاگی توضیح داد که آزمونهای مبتنی بر دقت باید تغییر کنند و سیستم امتیازدهی بهگونهای بازنگری شود که «حدس زدن» دیگر سودمند نباشد. این شرکت بیان کرد: «اگر تابلوهای اصلی همچنان به حدسهای شانسی پاداش دهند، مدلها نیز به حدس زدن ادامه خواهند داد.»
