یک ارزیابی مستقل از عملکرد مدلهای پیشرفته هوش مصنوعی نشان میدهد چتباتها نسبت به نسلهای قبلی در شناسایی نشانههای خطر خودکشی و جلوگیری از پاسخهای آسیبزا پیشرفت کردهاند. با این حال، این مدلها هنوز در برخی موقعیتها بیش از حد آماده انجام درخواستهای مرتبط با خودکشی هستند؛ مسئلهای که نشان میدهد تشخیص خطر بهتنهایی برای ایمنسازی چتباتها کافی نیست. این پژوهش بیش از ۵۰ هزار گفتوگوی شبیهسازیشده را بررسی کرده است.
دوشنبه ۹ شهريور ۱۴۰۵ ساعت ۲۲:۳۳
چتباتهای هوش مصنوعی در تشخیص خطر خودکشی بهتر شدهاند؛ اما هنوز خطا میکنند
به گزارش ایتنا، بسیاری از مدلهای پیشرفته امروزی، حتی زمانی که نشانههای آشکاری از پریشانی کاربر وجود دارد، همچنان ممکن است به برخی درخواستهای مرتبط با خودکشی، از جمله تولید محتوای ادبی یا متن خداحافظی، پاسخ دهند.
پژوهشی با بیش از ۵۰ هزار گفتوگو
این پژوهش توسط Transluce، یک سازمان غیرانتفاعی فعال در حوزه مطالعه رفتار مدلهای هوش مصنوعی، انجام شده است. پژوهشگران بیش از ۵۰ هزار گفتوگوی چندمرحلهای شبیهسازیشده را بررسی کردند که در آنها کاربران نشانههایی از افکار خودکشی، روانپریشی یا مانیا داشتند.
Transluce برای این مطالعه با OpenAI، Anthropic و گوگل همکاری کرد. OpenAI و Anthropic الگوهای ناشناسشده مربوط به نحوه تعامل کاربران با مدلهایشان را در اختیار پژوهشگران گذاشتند؛ این دادهها شامل متن مکالمات واقعی کاربران نبود و برای واقعیتر کردن کاربران شبیهسازیشده مورد استفاده قرار گرفت.
نقص مدلها در ارائه واکنش مناسب
یکی از مهمترین یافتههای پژوهش این است که رفتارهای مفید و مضر میتوانند در یک پاسخ واحد کنار هم ظاهر شوند.
برای مثال، یک چتبات ممکن است به کاربر توصیه کند از دیگران کمک بگیرد یا از یک وضعیت بحرانی فاصله بگیرد، اما در همان پاسخ همچنان بخشی از محتوایی را که کاربر درخواست کرده، تولید کند، بدین ترتیب، نمیتواند نشانههای بحران را در زمینه کلی مکالمه تفسیر کند و سپس پاسخ خود را بر اساس آن تغییر دهد.
پژوهشگران میگویند افزودن یک پیام هشدار یا معرفی منابع حمایتی به انتهای پاسخ، بهتنهایی نمیتواند مشکل را حل کند. مدل باید بتواند در شرایط حساس، خودِ نوع پاسخ و میزان همکاری با درخواست کاربر را نیز تغییر دهد.
مشکل در تشخیص نشانههای ظریف
این یافته با پژوهشهای قبلی نیز همخوانی دارد. مطالعهای که در ماه مه منتشر شد نشان داد چتباتهای بزرگ در برابر نشانههای مستقیم خطر عملکرد بهتری دارند، اما وقتی نشانههای مشکلات روانی بهصورت تدریجی و غیرمستقیم در یک مکالمه طولانی ظاهر میشوند، عملکرد آنها ضعیفتر میشود.
این موضوع اهمیت زیادی دارد؛ زیرا کاربران لزوماً در نخستین پیام وضعیت روانی خود را بهطور مستقیم بیان نمیکنند. ممکن است یک گفتوگو از موضوعی عادی شروع شود و در ادامه نشانههای جدیتری ظاهر شود. بنابراین، مدلهای آینده باید بتوانند روند مکالمه و تغییر شرایط کاربر را بهتر درک کنند.
شرکتهای هوش مصنوعی زیر فشار هستند
این پژوهش در شرایطی منتشر شده که شرکتهای بزرگ هوش مصنوعی با فشار فزاینده درباره نحوه برخورد چتباتها با مسائل سلامت روان مواجهاند. برخی شرکتهای فعال در این حوزه با شکایتهای حقوقی و تحقیقات نظارتی درباره تعامل کاربران با سیستمهای هوش مصنوعی روبهرو شدهاند.
OpenAI در واکنش به این مطالعه، نتایج را نشانهای امیدوارکننده از پیشرفت مدلها در نحوه پاسخگویی به کاربران در شرایط بحرانی دانسته و اعلام کرده است که همچنان با متخصصان سلامت روان و پژوهشگران برای تقویت سازوکارهای ایمنی همکاری میکند.
Anthropic نیز تأکید کرده است که چنین ارزیابیهایی به شناسایی نقاط ضعف و قوت سازوکارهای حفاظتی مدلها کمک میکنند. گوگل نیز اعلام کرده است که رویکردهای پژوهشمحور برای ارائه اطلاعات معتبر و حمایت مناسب از کاربران را در ابزارهای هوش مصنوعی خود دنبال میکند.
گام بعدی؛ آزمونهای مستقلتر
Transluce قصد دارد ابزارهای ارزیابی خود را تا پایان سال بهصورت متنباز منتشر کند. هدف این است که پژوهشگران و شرکتهای دیگر نیز بتوانند مدلهای هوش مصنوعی را در موقعیتهای حساس آزمایش کنند.
بنا به نوشته AXIOS، این سازمان قصد دارد روش خود را در حوزههای دیگری مانند اختلالات خوردن، دستکاری روانی و متقاعدسازی سیاسی نیز به کار بگیرد. چنین رویکردی میتواند به شکلگیری استانداردهای مستقلتری برای ارزیابی ایمنی مدلهای هوش مصنوعی کمک کند.
در مجموع، نتایج مطالعه تصویری دوگانه از وضعیت فعلی ارائه میدهد. چتباتها در مقایسه با گذشته در تشخیص خطر و پرهیز از پاسخهای آشکارا آسیبزا بهتر شدهاند، اما هنوز ممکن است در یک گفتوگوی واحد هم رفتار حمایتی و هم رفتاری نامناسب داشته باشند.
بنابراین، مسئله اصلی نسل بعدی سیستمهای هوش مصنوعی فقط این نیست که آیا مدل میتواند بحران را تشخیص دهد یا خیر؛ بلکه این است که آیا میتواند پس از تشخیص خطر، رفتار خود را بهطور قابل اعتماد و متناسب با شرایط تغییر دهد یا نه.
کد مطلب: 90982
