یک مطالعه تازه از مؤسسه پژوهشی METR نشان میدهد که ابزارهای برنامهنویسی مبتنی بر هوش مصنوعی نهتنها سرعت توسعهدهندگان باتجربه را افزایش نمیدهند، بلکه ممکن است روند کار آنان را کندتر هم کنند.
به گزارش تکناک، در سالهای اخیر، ابزارهای برنامهنویسی مبتنی بر هوش مصنوعی مانند: Cursor و GitHub Copilot وعده دادهاند که با نوشتن خودکار کد، رفع اشکالها و آزمایش تغییرات، بهرهوری مهندسان نرمافزار را به طور چشمگیری افزایش میدهند. این ابزارها بر پایه مدلهای هوش مصنوعی شرکتهایی همچون OpenAI، Google DeepMind، Anthropic و xAI توسعه یافتهاند، که طی سالهای اخیر عملکرد چشمگیری در آزمونهای مهندسی نرمافزار داشتهاند.
با وجود این، مطالعهای جدید که روز پنجشنبه توسط مؤسسه غیرانتفاعی METR منتشر شد، اثربخشی این ابزارها را بر بهرهوری توسعهدهندگان باتجربه زیر سؤال میبرد.
مؤسسه METR در این مطالعه، یک آزمایش کنترلشده تصادفی برگزار کرد. آنها ۱۶ توسعهدهنده باتجربه در پروژههای متنباز را جذب کردند و از آنها خواستند تا ۲۴۶ وظیفه واقعی را در مخازن کدی انجام دهند که اغلب در آنها مشارکت دارند. نیمی از وظایف به صورت تصادفی در گروه «استفاده مجاز از هوش مصنوعی» قرار گرفتند و توسعهدهندگان مجاز بودند از ابزارهایی مانند Cursor Pro استفاده کنند. در بخش دیگر، استفاده از هرگونه ابزار هوش مصنوعی ممنوع بود.
توسعهدهندگان قبل از شروع انجام وظایف پیشبینی کردند که استفاده از این ابزارها میتواند زمان انجام وظایف آنها را به طور متوسط ۲۴ درصد کاهش دهد. اما نتیجه خلاف این پیشبینی بود.
پژوهشگران METR اعلام کردند: «به طور شگفتانگیزی، نتایج نشان داد که اجازه استفاده از هوش مصنوعی در واقع زمان انجام وظایف را ۱۹ درصد افزایش داده است. توسعهدهندگان هنگام استفاده از ابزارهای هوش مصنوعی کندتر عمل کردند.»
گفتنی است که تنها ۵۶ درصد از شرکتکنندگان، قبل از این تجربه کار با Cursor را داشتند. با آنکه تقریباً تمامی توسعهدهندگان (۹۴ درصد) سابقه استفاده از مدلهای زبانی بزرگ تحت وب (LLMs) را در روند کدنویسی خود داشتند، برای برخی این نخستین تجربه استفاده از Cursor بود. البته تیم تحقیقاتی METR توسعهدهندگان را پیش از مطالعه آموزش داده بود تا با این ابزار آشنا شوند.
با وجود این، یافتههای این مطالعه پرسشهایی را درباره ادعای افزایش جهانی بهرهوری توسط ابزارهای هوش مصنوعی در سال ۲۰۲۵ مطرح میکند. بر اساس این تحقیق، نباید تصور کرد که این ابزارها — بهویژه آنچه به نام “vibe coders” شناخته میشوند — بلافاصله باعث تسریع روند کدنویسی میشوند.
پژوهشگران METR به چند دلیل احتمالی برای کاهش بهرهوری در استفاده از ابزارهای هوش مصنوعی اشاره میکنند: توسعهدهندگان زمان زیادی را صرف نوشتن دستورها (prompt) برای هوش مصنوعی و منتظر ماندن برای پاسخ آن میکنند؛ در حالی که زمان کدنویسی واقعی کاهش مییابد. همچنین این ابزارها در مواجهه با کدهای بزرگ و پیچیده که در این مطالعه مورد استفاده قرار گرفت، عملکرد ضعیفتری دارند.
نویسندگان مطالعه تأکید دارند که نباید از این یافتهها نتیجهگیری قطعی کرد و معتقد نیستند که سیستمهای هوش مصنوعی در حال حاضر به طور کلی باعث کاهش سرعت برنامهنویسان میشوند. مطالعات بزرگتری نیز وجود دارند که نشان دادهاند این ابزارها در موارد زیادی میتوانند بهرهوری را افزایش دهند.
به گفته نویسندگان، پیشرفت هوش مصنوعی در سالهای اخیر قابل توجه بوده است و احتمال میدهند که نتایج مشابه همین مطالعه میتوانست در سه ماه دیگر متفاوت باشد. همچنین مؤسسه METR دریافت که توانایی ابزارهای هوش مصنوعی در انجام وظایف پیچیده و بلندمدت به طور چشمگیری بهبود یافته است.
هر چند، این تحقیق دلیل دیگری برای تردید نسبت به ادعاهای تبلیغاتی پیرامون ابزارهای برنامهنویسی هوش مصنوعی فراهم میآورد. مطالعات دیگر نیز نشان دادهاند که این ابزارها میتوانند اشتباهاتی در کد ایجاد کنند و حتی گاهی باعث بروز آسیبپذیریهای امنیتی شوند.
