نرم‌افزار هوش مصنوعی ChatGPT توانست به نمرات قبولی در آزمونی مجوز پزشکی آمریک دست یابد که برای دستیابی به آن به سال‌ها آموزش پزشکی نیاز است.
به گزارش تکناک، ChatGPT می تواند حدود 60 درصد از آستانه قبولی برای آزمون مجوز پزشکی ایالات متحده (USMLE) را با پاسخ هایی که منسجم هستند و از نظر علمی درست و حاوی بینش های مکرر هستند، کسب کند.
این مسئله بر اساس مطالعه پزشکان تیفانی کونگ، ویکتور تسنگ و همکارانش در موسسه AnsibleHealth است که در 9 فوریه 2023 در مجله PLOS Digital Health منتشر شد.
ChatGPT یک سیستم هوش مصنوعی (AI) جدید است که به عنوان یک مدل زبان بزرگ (LLM) شناخته می‌شود، که برای تولید محتوای نوشتاری شبیه به انسان با پیش‌بینی دنباله‌های کلمات طراحی شده است. برخلاف اکثر ربات‌های چت، ChatGPT نمی‌تواند در اینترنت جستجو کند. در عوض، متن را با استفاده از روابط کلمه پیش بینی شده توسط فرآیندهای داخلی آن تولید می کند.
کونگ و همکارانش عملکرد ChatGPT را در USMLE که مجموعه ای بسیار استاندارد و تنظیم شده از سه امتحان (مرحله 1، 2CK، و 3) است که برای صدور مجوز پزشکی در ایالات متحده لازم است، آزمایش کردند. آزمون USMLE که توسط دانشجویان پزشکی و پزشکان در حال آموزش انجام می‌شود، دانشی را که بیشتر رشته‌های پزشکی را شامل می‌شود، از بیوشیمی گرفته تا استدلال تشخیصی و اخلاق زیستی ارزیابی می‌کند.
پس از غربالگری برای حذف سوالات مبتنی بر تصویر، نویسندگان ، این نرم افزار را روی 350 سوال از 376 سوال عمومی موجود در نسخه ژوئن آزمون 2022 USMLE آزمایش کردند.
پس از حذف پاسخ‌های نامشخص، ChatGPT بین 52.4% و 75.0% در سه آزمون USMLE امتیاز کسب کرد. میزان قبولی در این آزمون در هر سال تقریباً 60٪ است. همچنین ChatGPT 94.6٪ تطابق را در تمام پاسخ های خود نشان داد و حداقل یک بینش مهم (چیزی که جدید، غیر آشکار و از نظر بالینی معتبر بود) برای 88.9٪ از پاسخ های خود ایجاد کرد. شایان ذکر است که ChatGPT از عملکرد PubMedGPT که آن هم یک مدل مشابه هوش مصنوعی است که منحصراً بر روی ادبیات حوزه زیست پزشکی طراحی شده بود، که در مجموعه داده های قدیمی تر از سؤالات سبک USMLE امتیاز 50.8 را کسب کرد، فراتر رفته است.
در حالی که اندازه ورودی نسبتاً کوچک، عمق و دامنه تجزیه و تحلیل ها را محدود می کند، نویسندگان این موضوع خاطرنشان می کنند که یافته های آنها نگاهی اجمالی به پتانسیل ChatGPT برای افزایش آموزش پزشکی و در نهایت، عملکردهای بالینی ارائه می دهد. به عنوان مثال، آنها می افزایند که پزشکان در موسسه AnsibleHealth از ChatGPT برای بازنویسی گزارش های سنگین برای درک راحت تر بیمار استفاده می کنند.
نویسندگان می گویند: دستیابی به نمره قبولی برای این آزمون تخصصی، دشوار و انجام این کار بدون هیچ گونه تقویت انسانی، نقطه عطف قابل توجهی در بلوغ این هوش مصنوعی در کاربردهای بالینی است.
دکتر تیفانی کونگ اضافه کرد که نقش ChatGPT در این تحقیق فراتر از موضوع مطالعه است. وی گفت: ChatGPT کمک قابل توجهی به نوشتن نسخه های پزشکی کرد. ChatGPT برای ما بسیار شبیه به یک همکار پزشک است و ما با او تعامل داریم. تمامی نویسندگان همکار این مطالعه به دستاوردهای ChatGPT اهمیت می دهند.
