تیمی از محققان از دانشگاه های سوئیس و سنگاپور رویکرد جدیدی را برای ارزیابی قابلیت تفسیر فناوری‌های هوش مصنوعی (AI) توسعه داده‌اند. این پیشرفت راه را برای کشف کردن اسرار جعبه سیاه هوش مصنوعی و افزایش شفافیت و اعتبار در ابزارهای تشخیصی و پیش‌بینی مبتنی بر هوش مصنوعی هموار می‌کند.
به گزارش تکناک، روش جدید عملکرد اسرارآمیز الگوریتم‌های هوش مصنوعی که به اصطلاح «جعبه سیاه» نامیده می شود را روشن می‌کند و به کاربران کمک می‌کند تا بفهمند چه چیزی بر نتایج تولید شده توسط هوش مصنوعی تأثیر می‌گذارد و آیا می‌توان به نتایج اعتماد کرد؟ این امر به ویژه در سناریوهایی که تأثیر قابل توجهی بر سلامت و رفاه انسان دارند، مانند استفاده از هوش مصنوعی یا AI (artificial intelligence : field of computer science and engineering practices for intelligence demonstrated by machines and intelligent agents) در کاربردهای پزشکی بسیار مهم است.
این تحقیق برای کشف اسرار جعبه سیاه هوش مصنوعی (توانایی سیستم ها برای درک، ترکیب و استنتاج اطلاعات) در زمینه قانون آتی هوش مصنوعی اتحادیه اروپا که هدف آن تنظیم توسعه و استفاده از هوش مصنوعی (توانایی سیستم ها برای درک، ترکیب و استنتاج اطلاعات) در اتحادیه اروپا است، اهمیت خاصی دارد. این یافته ها اخیراً در مجله Nature Machine Intelligence منتشر شده است.
داده های سری زمانی که نشان دهنده تکامل اطلاعات در طول زمان است در همه جا وجود دارد: به عنوان مثال در پزشکی، هنگام ثبت فعالیت قلب با الکتروکاردیوگرام (ECG). در مطالعه زلزله؛ ردیابی الگوهای آب و هوا؛ یا در اقتصاد برای نظارت بر بازارهای مالی. این داده ها را می توان با فناوری های هوش مصنوعی برای ساخت ابزارهای تشخیصی یا پیش بینی مدل سازی کرد.
پیشرفت هوش مصنوعی و به ویژه یادگیری عمیق که شامل آموزش ماشینی با استفاده از این مقادیر بسیار زیاد داده با هدف تفسیر آن و یادگیری الگوهای مفید است و راه را برای ابزارهای دقیق تر برای تشخیص و پیش بینی باز می کند.
با این حال، بدون بینشی در مورد نحوه عملکرد الگوریتم‌های هوش مصنوعی یا اینکه چه چیزی بر نتایج آنها تأثیر می‌گذارد، ماهیت «جعبه سیاه» فناوری هوش مصنوعی سؤالات مهمی را در مورد قابلیت اعتماد ایجاد می‌کند.
پروفسور کریستین لوویس، مدیر بخش رادیولوژی و انفورماتیک پزشکی در دانشکده پزشکی UNIGE ژنو و رئیس بخش علوم اطلاعات پزشکی در HUG، می‌گوید: نحوه کار این الگوریتم‌ها حداقل غیرشفاف است.
البته، خطرات، به ویژه مالی، بسیار زیاد است. اما چگونه می توانیم به یک ماشین اعتماد کنیم بدون اینکه اساس استدلال آن را درک کنیم؟ این سؤالات ضروری است، به ویژه در بخش هایی مانند پزشکی، جایی که تصمیمات مبتنی بر هوش مصنوعی می تواند بر سلامت و حتی زندگی افراد تأثیر بگذارد و امور مالی، جایی که می توانند منجر به از دست دادن سرمایه عظیم شوند.
استادیار جیان مارکو منگالدو، مدیر MathEXLab در کالج طراحی و مهندسی دانشگاه ملی سنگاپور، که مدیریت این پروژه تحقیقاتی را به عهده داشت، می گوید: هدف روش های تفسیرپذیری، پاسخگویی به این سؤالات از طریق رمزگشایی چرایی و چگونگی رسیدن یک هوش مصنوعی به یک تصمیم معین و دلایل پشت آن است. دانستن اینکه چه عناصری در یک موقعیت خاص کفه ترازو را به نفع یا علیه یک راه‌حل منحرف کرده است به شفافیت بیشتر منجر می شود و اعتماد را افزایش می‌دهد.
با این حال، روش‌های تفسیرپذیر فعلی که به طور گسترده در کاربردهای عملی و گردش‌های کاری صنعتی مورد استفاده قرار می‌گیرند، نتایج کاملاً متفاوتی را هنگام اعمال برای یک کار ارائه می‌دهند و این سؤال مهم را مطرح می کند که با توجه به اینکه باید یک پاسخ منحصر به فرد و صحیح وجود داشته باشد، چه روش تفسیرپذیری صحیح است؟ از این رو، ارزیابی روش‌های تفسیرپذیری به اندازه تفسیرپذیری فی نفسه مهم می‌شود.
تشخیص مهم از غیر مهم
داده های متمایز کننده در توسعه فناوری های هوش مصنوعی قابل تفسیر بسیار مهم است. به عنوان مثال، هنگامی که یک هوش مصنوعی تصاویر را تجزیه و تحلیل می کند، روی چند ویژگی خاص تمرکز می کند.
دانشجوی دکترا در آزمایشگاه پروفسور لوویس و اولین نویسنده مطالعه Hugues Turbé توضیح می دهد: برای مثال، هوش مصنوعی می تواند بین تصویر یک سگ و تصویر یک گربه تفاوت قائل شود. همین اصل برای تجزیه و تحلیل توالی های زمانی نیز صدق می کند: ماشین باید بتواند عناصری را انتخاب کند که از سایرین بیشتر برجسته هستند تا استدلال خود را بر اساس آن استناد کند. در مورد سیگنال‌های ECG، این روش به معنای تطبیق سیگنال‌های الکترودهای مختلف برای ارزیابی ناهماهنگی‌های احتمالی است که نشانه‌ای از یک بیماری قلبی خاص است.
انتخاب یک روش تفسیرپذیر از بین همه روش های موجود برای یک هدف خاص آسان نیست. روش‌های مختلف تفسیرپذیری هوش مصنوعی اغلب نتایج بسیار متفاوتی را تولید می‌کنند، حتی زمانی که روی مجموعه داده‌ها و وظیفه‌ای مشابه اعمال شوند.
برای مقابله با این چالش، محققان دو روش ارزیابی جدید را برای کمک به درک چگونگی تصمیم‌گیری هوش مصنوعی توسعه دادند: یکی برای شناسایی مرتبط‌ترین بخش‌های سیگنال و دیگری برای ارزیابی اهمیت نسبی آنها با توجه به پیش‌بینی نهایی. برای ارزیابی تفسیرپذیری، آنها بخشی از داده ها را پنهان کردند تا بررسی کنند که آیا برای تصمیم گیری هوش مصنوعی مرتبط است یا خیر.
با این حال، این رویکرد گاهی اوقات باعث ایجاد خطا در نتایج می شد. برای تصحیح این موضوع، آنها هوش مصنوعی را بر روی یک مجموعه داده افزوده آموزش دادند که شامل داده‌های پنهان است که به حفظ تعادل و دقت داده‌ها کمک می‌کند. سپس این تیم دو روش برای اندازه‌گیری چگونگی عملکرد روش‌های تفسیرپذیر ایجاد کرد، که نشان می‌دهد آیا هوش مصنوعی از داده‌های درست برای تصمیم‌گیری استفاده می‌کند و آیا همه داده‌ها به طور منصفانه در نظر گرفته می‌شوند. Hugues Turbé توضیح می‌دهد: به طور کلی هدف ما ارزیابی مدلی است که واقعاً در حوزه عملیاتی آن استفاده می‌شود، بنابراین از قابلیت اطمینان آن اطمینان حاصل می‌شود.اسرار جعبه سیاه هوش مصنوعی
این تیم برای ادامه تحقیقات خود یک مجموعه داده مصنوعی ایجاد کرده است که آن را در دسترس جامعه علمی قرار داده است تا به راحتی هر هوش مصنوعی جدیدی را که هدف آن تفسیر توالی های زمانی است ارزیابی کند.
آینده کاربردهای پزشکی
در ادامه، تیم اکنون قصد دارد روش خود را در یک محیط بالینی آزمایش کند، جایی که نگرانی در مورد هوش مصنوعی همچنان گسترده است. دکتر مینا بیلوگرلیچ، سرپرست تیم یادگیری ماشین در بخش پروفسور لوویس و دومین نویسنده این مطالعه است توضیح می دهد: ایجاد اعتماد در ارزیابی هوش مصنوعی گامی کلیدی به سوی پذیرش آنها در محیط های بالینی است. مطالعه ما بر ارزیابی هوش مصنوعی بر اساس سری‌های زمانی متمرکز است، اما همین روش می‌تواند بر اساس اشکال دیگر مورد استفاده در پزشکی، مانند تصاویر یا متن، برای هوش های مصنوعی نیز اعمال شود.
