شرکت OpenAI اعلام کرد که در حال ساخت ابزاری برای تشخیص نوشته‌های تولیدشده توسط ChatGPT است. این تصمیم به دلیل نگرانی‌ها از تولید محتواهای جعلی و نادرست توسط مدل‌های زبانی اتخاذ می شود.
به گزارش تک‌ناک، شرکت OpenAI ابزاری ساخته است که می‌تواند تکالیف دانش‌آموزانی که توسط ChatGPT نوشته شده است را مشخص کند. البته بر اساس گفته وال استریت ژورنال، این شرکت در حال بحث و بررسی است که آیا تصمیم به انجام این کار دارد یا خیر.
در بیانیه‌ای که به رسانه TechCrunch ارائه شد، سخنگوی OpenAI تأیید کرد که این شرکت در حال تحقیق روی روش واترمارک متنی است، اما بیان کرد که به دلیل پیچیدگی‌های موجود و تأثیر احتمالی آن بر اکوسیستم گسترده‌تر، قرار است از این رویکرد به صورت سنجیده استفاده کنند.
این سخنگو اعلام کرد:
«روش واترمارکینگ متنی که ما در حال توسعه آن هستیم، از نظر فنی امیدوارکننده است، اما در زمان تحقیق اثرات مهمی درباره جایگزین‌ها، از جمله حساسیت به دستکاری‌ها و احتمال تأثیرگذاری نامتناسب بر گروه‌هایی مانند غیر انگلیسی‌زبانان دارد.»
این رویکرد متفاوت‌تر از تلاش‌های بیشمار قبلی برای تشخیص متن تولیدشده توسط هوش مصنوعی است، که تا حد زیادی بدون اثر بودند. حتی خود شرکت OpenAI سال گذشته آشکارساز متن هوش مصنوعی قبلی خود را به دلیل نرخ دقت پایین از کار انداخت.
با واترمارکینگ متن، OpenAI تنها روی تشخیص نوشته از ChatGPT تمرکز می‌کند و به مدل‌های دیگر شرکت‌ها کاری ندارد. این روش کار خود را با ایجاد تغییرات کوچک در نوع انتخاب کلمات ChatGPT انجام می‌دهد و در واقع یک واترمارک نامرئی در نوشته ایجاد می‌کند، که بعد می‌تواند توسط یک ابزار جداگانه شناسایی شود.
همچنین شرکت OpenAI یک پست وبلاگی در مورد تحقیقات خود درباره شناسایی محتوای تولیدشده توسط هوش مصنوعی را به‌روز کرد. این به‌روزرسانی می‌گوید که واترمارکینگ متن بسیار دقیق و حتی مؤثر در برابر دستکاری‌هایی مانند بازنویسی، ثابت شده است، اما در برابر دستکاری‌های بزرگ‌تر، کارایی کمتری دارد. دستکاری‌های بزرگ‌تر شامل استفاده از سیستم‌های ترجمه، بازنویسی با مدل تولیدی دیگر، یا درخواست از مدل برای درج یک کاراکتر خاص در بین هر کلمه و سپس حذف آن کاراکتر است.
در نتیجه شرکت OpenAI می‌گوید که این روش برای دور زدن چنین دستکاری‌هایی کاربردی ندارد. به‌روزرسانی OpenAI همچنین نگرانی‌هایی درمورد غیر انگلیسی‌زبانان دارد و توضیح می‌دهد که واترمارکینگ متن می‌تواند استفاده از هوش مصنوعی را به عنوان یک ابزار نوشتاری مفید برای غیر انگلیسی‌زبانان دشوار کند.
