شرکت OpenAI با معرفی سیستم مسیریابی خودکار مکالمات حساس به مدلهای پیشرفتهای مانند GPT-5 و راهاندازی کنترلهای والدین، گام جدیدی در جهت افزایش ایمنی کاربران برداشته است. این اقدامات پس از حوادث ناگوار مرتبط با پریشانی روانی کاربران و انتقادات گسترده انجام شده است.
چهارشنبه ۱۲ شهريور ۱۴۰۴ ساعت ۱۲:۴۲
کنترل والدین در ChatGPT؛ پاسخ OpenAI به نگرانیهای ایمنی و پریشانی کاربران
شرکت OpenAI روز سهشنبه از برنامههای خود برای هدایت خودکار مکالمات حساس به سمت مدلهای مبتنی بر استدلال (مانند GPT-5) و همچنین راهاندازی کنترلهای والدین در ماه آینده خبر داد. این اقدام، بخشی از پاسخهای مستمر این شرکت به رویدادهای اخیر در حوزه ایمنی و نگرانیهای ناشی از ناتوانی ChatGPT در تشخیص علائم پریشانی روانی کاربران است.
به گزارش ایتنا و به نقل از تک کرانچ، اتخاذ این تدابیر حفاظتی جدید، پس از خودکشی نوجوانی به نام آدام رین صورت میگیرد که پیش از مرگ، درباره تمایل به خودآزاری و پایان دادن به زندگی خود با ChatGPT گفتوگو کرده بود. گزارش شده که این چتبات، اطلاعاتی در مورد روشهای خاص خودکشی نیز در اختیار وی قرار داده بود. خانواده رین علیه OpenAI به دلیل قصور و مرگ غیرعددی اقامه دعوی کردهاند.
هفته گذشته، OpenAI در پستی وبلاگی کاستیهای سیستمهای ایمنی خود (از جمله ضعف محافظت در مکالمات طولانی) را پذیرفت. کارشناسان، این مشکلات را به عناصر طراحی پایهای مدل نسبت میدهند؛ از جمله تمایل مدلها به تأیید ادعاهای کاربر و ماهیت الگوریتمهای پیشبینی کلمه بعدی که باعث میشود چتباتها به جای هدایت گفتوگوهای بالقوه آسیبزا، صرفاً به دنبال کردن موضوع مکالمه بپردازند.
این تمایل به شکل فاجعهباری در مورد «استاین-اریک سولبرگ» نیز مشاهده شد که طبق گزارش وال استریت ژورنال، آخر هفته گذشته مرتکب قتل-خودکشی شده است. سولبرگ که سابقه مشکلات روانی داشت، از ChatGPT برای تأیید و تشدید توهمات پارانوئید خود مبنی بر هدف قرار گرفتن در یک توطئه بزرگ استفاده کرده بود. توهمات وی سرانجام به حدی تشدید شد که منجر به قتل مادرش و سپس خودکشی او در ماه گذشته گردید.
OpenAI بر این باور است که حداقل یکی از راهحلهای ممکن برای مدیریت مکالمات منحرفشده، تغییر مسیر خودکار آنها به سمت مدلهای «استدلالگر» است. این شرکت در بیانیه خود اعلام کرد: «اخیراً یک مسیریاب بلادرنگ معرفی کردهایم که با توجه به محتوای مکالمه، بین مدلهای مبتنی بر چت و مدلهای استدلالگر تمایز قائل میشود. به زودی برخی از مکالمات حساس (مانند زمانی که سیستم علائم پریشانی شدید را تشخیص میدهد) را به مدلی مانند GPT-5 هدایت خواهیم کرد تا پاسخهای سودمندتر و ایمنتری ارائه شود.»
به گفته OpenAI، مدلهای استدلالگر آن (نظیر GPT-5 و o3) به گونهای طراحی شدهاند که پیش از پاسخگویی، زمان بیشتری را به تفکر عمیق و استنتاج از بستر مکالمه اختصاص میدهند و در نتیجه در برابر درخواستهای مخرب «مقاومتر» هستند.
همچنین این شرکت از راهاندازی کنترلهای والدین در ماه آینده خبر داد که به والدین امکان میدهد حساب کاربری خود را از طریق دعوتنامه ایمیلی به حساب نوجوانشان متصل کنند. پس از معرفی قابلیت «حالت مطالعه» در اواخر ماه ژوئیه (مرداد ماه) برای کمک به دانشآموزان در تقویت تفکر انتقادی، به زودی والدین قادر خواهند بود با تعریف «قوانین رفتاری متناسب با سن» نحوه تعامل ChatGPT با فرزند خود را مدیریت کنند.
والدین میتوانند ویژگیهایی مانند «حافظه» و «تاریخچه مکالمه» را غیرفعال کنند که به عقیده کارشناسان ممکن است به تقویت تفکر توهمی، مشکلات وابستگی، تثبیت الگوهای فکری مضر و توهم «خواندن ذهن» بینجامد. بر اساس گزارش نیویورک تایمز، در مورد آدام رین، ChatGPT با استفاده از علایق شخصی او، روشهای خودکشی را پیشنهاد داده بود.
شاید کلیدیترین قابلیت کنترل والدین، امکان دریافت اعلان توسط والدین در مواقعی باشد که سیستم تشخیص دهد فرزندشان در وضعیت «پریشانی شدید» قرار دارد.
پاسخهای OpenAI به پرسشهای مطرحشده درباره جزئیات فنی (از جمله چگونگی تشخیص لحظات پریشانی، مدتزمان اعتبار پیشفرض قوانین و امکان اعمال محدودیت زمانی) هنوز منتشر نشده است. این شرکت پیش از این در طول مکالمات طولانی، یادآوریهایی برای ترغیب کاربران به استراحت نمایش داده، اما از قطع دسترسی کاربرانی که ممکن است در چرخههای فکری منفی گرفتار شده باشند، خودداری کرده است.
OpenAI این اقدامات را بخشی از یک «ابتکار عمل ۱۲۰ روزه» خوانده که با هدف معرفی و پیادهسازی بهبودهای ایمنی در طول سال جاری برنامهریزی شده است. این شرکت همچنین از همکاری با شبکهای جهانی از پزشکان و یک شورای متخصص متشکل از کارشناسان حوزههایی مانند اختلالات خوردن، سوءمصرف مواد و سلامت نوجوانان برای «تعریف و سنجش شاخصهای رفاه، تعیین اولویتها و طراحی اقدامات حفاظتی آتی» خبر داده است.
از OpenAI درخواست شده تا اطلاعات بیشتری درباره تعداد متخصصان سلامت روان حاضر در این شورا، هویت رهبری آن و توصیههای ارائهشده از سوی متخصصان در زمینه محصولات، تحقیقات و سیاستگذاری منتشر کند.
از سوی دیگر، «جی ادلسون»، وکیل ارشد پرونده خانواده رین، پاسخ OpenAI به ریسکهای ایمنی ChatGPT را «ناکافی» خوانده و اعلام کرد: «OpenAI برای فهم خطرناک بودن ChatGPT 4o به هیچ هیئت کارشناسی نیاز ندارد. آنها از روز اول عرضه این محصول این را میدانستند و امروز نیز میدانند. سم آلتمن نیز نباید پشت تیم روابط عمومی شرکت پنهان شود. او یا باید بدون ابهام اعلام کند که ChatGPT ایمن است، یا فوراً آن را از بازار خارج کند.»
کد مطلب: 86493
