چت‌بات‌های هوش مصنوعی در پرسش‌های مالی چقدر قابل اعتماد هستند؟

مطالعه شرکت فین‌تک Saturn روی ۱۸ مدل هوش مصنوعی نشان می‌دهد که این مدل‌ها در پاسخ به پرسش‌های مالی، به‌طور میانگین در ۵۷ درصد موارد اشتباه می‌کنند و نرخ خطای آنها در برخی پرسش‌های دشوار به ۹۹ درصد می‌رسد.

به گزارش سرویس هوش‌مصنوعی تک‌ناک، این یافته‌ها در شرایطی منتشر شده است که نظرسنجی دیگری نشان می‌دهد بسیاری از کاربران حاضر هستند بدون بررسی صحت توصیه‌های مالی چت‌بات‌ها، بر اساس آنها تصمیم‌گیری کنند.

شرکت Saturn برای بررسی توانایی مدل‌های هوش مصنوعی در ارائه اطلاعات مالی، ۱۸ مدل محبوب از جمله ChatGPT، Claude، Copilot، Grok و Gemini را با ۱۲۱ پرسش واقعی آزمایش کرد. پژوهشگران هر پرسش را پنج بار مطرح کردند تا علاوه بر درستی پاسخ‌ها، میزان ثبات عملکرد مدل‌ها را نیز بسنجند.

این آزمایش در مجموع بیش از ۱۰ هزار پاسخ تولید کرد. نتایج نشان داد که مدل‌های هوش مصنوعی در ۵۷ درصد موارد پاسخ اشتباه ارائه کرده‌اند. این نرخ خطا به‌ویژه با توجه به ماهیت تصمیم‌های مالی اهمیت زیادی دارد، چرا که یک پاسخ نادرست می‌تواند بر تصمیم‌هایی مانند پس‌انداز، سرمایه‌گذاری، بازپرداخت بدهی یا برنامه‌ریزی برای بازنشستگی اثر بگذارد.

بیشتر بخوانید: هنگ کردن بازیگر تولیدشده با هوش مصنوعی وسط مصاحبه با پیرز مورگان!

نرخ خطای هوش مصنوعی در پرسش‌های مالی دشوار

عملکرد مدل‌های هوش مصنوعی با افزایش پیچیدگی پرسش‌ها به‌شدت افت کرد. در دشوارترین پرسش‌ها که موضوعاتی مانند: بدهی، وام دانشجویی، وام مسکن، بازنشستگی، مالیات و پس‌انداز را شامل می‌شدند، میانگین نرخ خطا به ۸۸ درصد رسید. برخی مدل‌ها نیز در این بخش تا ۹۹ درصد پاسخ اشتباه ارائه کردند.

پرسش‌های استفاده‌شده در این مطالعه صرفا مسائل پیچیده و تخصصی برای کارشناسان مالی نبودند. بسیاری از آنها به موضوعاتی مربوط می‌شدند که کاربران عادی به‌طور مرتب درباره آنها جست‌وجو می‌کنند. میزان مناسب پس‌انداز برای دوران بازنشستگی، پیامدهای پرداخت نکردن اقساط وام دانشجویی، بازپرداخت زودهنگام وام مسکن و مقایسه این کار با سرمایه‌گذاری پول در بخش‌های دیگر، نمونه‌هایی از این پرسش‌ها بودند.

برای مثال، کاربری ممکن است از یک چت‌بات بپرسد که آیا بهتر است وام مسکن خود را زودتر تسویه کند یا پول بیشتری برای بازنشستگی کنار بگذارد. یافته‌های Saturn نشان می‌دهد که کاربران در چنین شرایطی نمی‌توانند صرفا به روان و قانع‌کننده بودن پاسخ مدل به‌ عنوان نشانه‌ای از صحت اطلاعات اعتماد کنند.

شرکت Saturn یافته‌های خود را در گزارشی با عنوان «مرجعیت مصنوعی: آیا باید برای دریافت مشاوره مالی به هوش مصنوعی اعتماد کنید؟» منتشر کرده است. این گزارش هم‌زمان با افزایش استفاده عمومی از چت‌بات‌ها برای دریافت اطلاعات و راهنمایی مالی منتشر می‌شود.

بیشتر بخوانید: برای مدل‌های پیشرفته هوش مصنوعی «کلید خاموش» طراحی می‌شود

کاربران بدون بررسی به توصیه‌ها عمل می‌کنند

نتایج یک نظرسنجی جداگانه از PensionBee نشان می‌دهد که خطای بالای مدل‌ها تنها بخشی از مشکل است. این شرکت از هزار بزرگسال آمریکایی که برای امور مالی شخصی از چت‌بات‌های هوش مصنوعی استفاده می‌کنند، درباره نحوه استفاده از توصیه‌های این ابزارها پرسیده است.

بر اساس نتایج این نظرسنجی، ۵۷ درصد کاربران اعلام کرده‌اند که حاضر هستند بدون بررسی اولیه صحت اطلاعات، بر اساس توصیه مالی یک چت‌بات اقدام کنند. همچنین ۲۳ درصد پاسخ‌دهندگان گفته‌اند که پیش‌تر اطلاعات مالی اشتباهی از یک چت‌بات دریافت کرده‌اند.

پنج درصد کاربران نیز زمانی متوجه اشتباه بودن اطلاعات شدند که پیش‌تر بر اساس همان توصیه اقدام کرده بودند. ترکیب این آمار با نتایج مطالعه Saturn نشان می‌دهد که احتمال ارائه اطلاعات نادرست و آمادگی کاربران برای عمل کردن به همان اطلاعات می‌تواند خطرناک باشد.

میزان اعتماد به انجام خودکار امور نیز میان نسل‌های مختلف تفاوت دارد. در نظرسنجی PensionBee، حدود ۶۶ درصد افراد نسل Z اعلام کردند که حاضر هستند به هوش مصنوعی اجازه دهند به‌ صورت خودکار از طرف آنها اقدام کند و این اختیار می‌تواند تصمیم‌های مالی را نیز شامل شود.

این میزان برای نسل X برابر با ۵۶ درصد و برای نسل Baby Boomer برابر با ۴۷ درصد اعلام شده است. همچنین در گزارش به این نکته اشاره شده است افرادی که بیشترین آمادگی را برای واگذاری تصمیم‌ها به هوش مصنوعی دارند، اغلب پس‌انداز کمتری در اختیار دارند و توانایی آنها برای جبران پیامدهای یک تصمیم مالی اشتباه نیز می‌تواند کمتر باشد.

تفاوت مهم دیگری نیز میان یک چت‌بات و مشاور مالی دارای مجوز وجود دارد. یک مشاور مالی در چارچوب مسئولیت‌های حرفه‌ای فعالیت می‌کند، اما مدل هوش مصنوعی می‌تواند پاسخ اشتباه ارائه دهد و در نسخه‌های بعدی به‌روزرسانی شود، بدون آنکه سازوکار مشابهی برای مسئولیت حرفه‌ای آن وجود داشته باشد.

مقررات مالی هنوز با هوش مصنوعی هماهنگ نشده‌اند

گسترش استفاده از هوش مصنوعی در امور مالی، مسئله نظارت و مسئولیت را نیز مطرح کرده است. دریافت مشاوره از یک مشاور مالی دارای مجوز معمولا با ثبت سوابق، وظیفه مراقبت از منافع مشتری و فرایند مشخص برای ثبت شکایت همراه است. کاربران هنگام پرسیدن همان سؤال از یک چت‌بات، به سازوکارهای مشابه دسترسی ندارند.

مدل‌هایی مانند Gemini مجوز ارائه مشاوره مالی ندارند و مسئولیت حقوقی آنها نیز با یک مشاور انسانی دارای مجوز یکسان نیست. در صورت دریافت توصیه اشتباه، کاربر نیز الزاما مسیر مشابهی برای پیگیری یا جبران خسارت در اختیار ندارد.

سازمان راهبری امور مالی بریتانیا، FCA، در بررسی Mills Review به همین فاصله مقرراتی اشاره کرده است. این نهاد هشدار داده است که ابزارهای هوش مصنوعی به‌ تدریج مرز میان ارائه اطلاعات عمومی و ارائه مشاوره را مبهم می‌کنند. FCA از دولت خواسته است بررسی کند که آیا برای جلوگیری از آسیب‌های احتمالی، مرزهای مقرراتی موجود باید تغییر کنند یا خیر.

در همین حال، صنعت خدمات مالی منتظر تکمیل مقررات نمانده است. شرکت‌های Worldline، ING و Mastercard در ماه ژوئن نخستین تراکنش پرداخت سرتاسری مبتنی بر عامل هوش مصنوعی را در اروپا اجرا کردند. این آزمایش در هلند و بلژیک انجام شد و طی آن یک عامل هوش مصنوعی یک پرداخت واقعی را در سیستم بانکی انجام داد.

Santander و Mastercard نیز آزمایش زنده مشابهی را در یک محیط تحت نظارت انجام داده‌اند. این اقدامات نشان می‌دهد که عامل‌های هوش مصنوعی به‌ تدریج از ابزارهایی برای پاسخ‌گویی به پرسش‌ها به سیستم‌هایی تبدیل می‌شوند که می‌توانند مستقیما در فرایند خرید، پرداخت و دیگر تصمیم‌های مالی نقش داشته باشند.

بیشتر بخوانید: به دستور ترامپ نیروی ویژه هوش مصنوعی تشکیل می‌شود

فاصله میان استفاده گسترده و اعتماد پایین

گسترش عامل‌های هوش مصنوعی در سیستم‌های پرداخت در شرایطی رخ می‌دهد که پژوهش Saturn از نرخ خطای قابل توجه مدل‌ها در مسائل مالی خبر می‌دهد. شرکت‌های فعال در حوزه کارت‌های پرداخت نیز در حال توسعه سیستم‌هایی هستند که می‌توانند بخشی از تصمیم‌های خرید، هزینه‌کرد و حتی پس‌انداز کاربران را مدیریت کنند.

در سوی دیگر، استفاده عمومی از هوش مصنوعی برای دریافت توصیه مالی نیز افزایش یافته است. شرکت Fortune با استناد به Gallup گزارش داده است که از هر پنج آمریکایی، یک نفر از هوش مصنوعی برای دریافت مشاوره مالی استفاده می‌کند. با وجود این، هفت نفر از هر ۱۰ آمریکایی می‌گویند که به این فناوری اعتماد ندارند.

این وضعیت نشان می‌دهد که بی‌اعتمادی به هوش مصنوعی الزاما مانع استفاده از آن نشده است. کاربران ممکن است نسبت به صحت پاسخ‌ها تردید داشته باشند، اما همچنان برای دریافت اطلاعات درباره وام، بدهی، پس‌انداز، مالیات و بازنشستگی به چت‌بات‌ها مراجعه کنند.

نتایج این مطالعات به معنای بی‌فایده بودن هوش مصنوعی برای تمام پرسش‌های مالی نیست. چت‌بات‌ها سریع و در بسیاری از موارد رایگان هستند و می‌توانند مفاهیم عمومی را توضیح دهند. برای نمونه، یک مدل می‌تواند ساختار کلی تأمین مالی مجدد وام مسکن را توضیح دهد و نقطه شروعی برای بررسی بیشتر در اختیار کاربر قرار دهد.

خطر اصلی زمانی ایجاد می‌شود که کاربر پاسخ روان و مطمئن یک مدل را با پاسخ صحیح یکسان بداند و بدون بررسی اطلاعات یا محاسبات، تصمیمی مالی بگیرد که جبران آن دشوار باشد. انتخاب زمان بازنشستگی، تعیین میزان بدهی یا تصمیم درباره مقدار وام از جمله مواردی هستند که یک اشتباه در آنها می‌تواند پیامدهای بلندمدت داشته باشد.

مطالعه Saturn نشان می‌دهد که مدل‌های بررسی‌شده در مجموع در بیش از نیمی از پرسش‌های مالی پاسخ اشتباه داده‌اند. هم‌زمان، نتایج PensionBee نشان می‌دهد بخش بزرگی از کاربران آماده‌اند بدون بررسی مستقل، بر اساس همین پاسخ‌ها اقدام کنند. این دو روند در حالی به یکدیگر نزدیک می‌شوند که استفاده از عامل‌های هوش مصنوعی برای انجام تراکنش‌ها و تصمیم‌های واقعی مالی نیز در حال گسترش است.