OpenAI در آستانه عرضه مدل جدیدی با نام Astra قرار دارد؛ مدلی که به گفته این شرکت، توانمندیهای پیشرفتهای در حوزه امنیت سایبری دارد. آسترا ظاهراً میتواند بدون راهنمایی مستقیم انسان، برخی آسیبپذیریهای ناشناخته را شناسایی و در شرایط آزمایشی از آنها بهرهبرداری کند. همین قابلیتها باعث شده OpenAI دسترسی به پیشرفتهترین تواناییهای سایبری مدل جدید خود را با محدودیتهایی همراه کند.
چهارشنبه ۱۱ شهريور ۱۴۰۵ ساعت ۰۹:۳۰
مدل جدید OpenAI در راه است؛ آسترا میتواند آسیبپذیریهای ناشناخته را پیدا کند
اوپنایآن اعلام کرده است که قصد دارد آسترا را بهزودی در دسترس کاربران قرار دهد، هرچند دسترسی به پیشرفتهترین قابلیتهای امنیت سایبری این مدل با محدودیتهایی همراه خواهد بود.
این شرکت در وبلاگ خود اعلام کرده است: «قصد داریم بهزودی Astra را در دسترس قرار دهیم، اما دسترسی به پیشرفتهترین قابلیتهای امنیت سایبری آن محدودتر خواهد بود.»
بر اساس توضیحات اوپنایآن ، آسترا قادر است بدون دریافت راهنمایی مستقیم از انسان، آسیبپذیریهای ناشناخته در سیستمهای رایانهای را شناسایی کرده و در برخی شرایط از آنها بهرهبرداری کند؛ قابلیتی که نگرانیها درباره توانایی مدلهای هوش مصنوعی در انجام عملیات پیچیده سایبری را افزایش میدهد.
عملکرد چشمگیر در آزمایشهای امنیتی
اوپنایآن اعلام کرده است که مدل Astra در آزمون ExploitBench، که توانایی مدلهای زبانی بزرگ در شناسایی و بهرهبرداری از آسیبپذیریهای شناختهشده را ارزیابی میکند، امتیاز کامل به دست آورده است.
این شرکت همچنین مدعی شده که آسترا در نسخهای اصلاحشده از یک آزمون طراحیشده توسط مهندسان OpenAI، توانسته دو آسیبپذیری روز صفر را شناسایی کرده و از آنها بهرهبرداری کند.
با این حال، از آنجا که این ادعاها هنوز بهطور مستقل توسط نهادهای ثالث تأیید نشدهاند، ارزیابی دقیق میزان توانمندیهای واقعی آسترا و سطح آمادگی آن برای عرضه عمومی دشوار است.
اوپنایآن اعلام کرده که پیش از عرضه گسترده، این مدل را در اختیار گروهی از آزمایشکنندگان قرار میدهد، اما هنوز مشخص نکرده است که اعضای این گروه چه کسانی هستند و بر چه اساسی انتخاب شدهاند.
همچنین مشخص نیست که آیا این شرکت برای ارزیابی امنیتی مدل پیش از عرضه، با نهادهای دولتی ایالات متحده همکاری خواهد کرد یا خیر.
محدودسازی قابلیتهای خطرناک
اوپنایآن میگوید برای جلوگیری از سوءاستفاده احتمالی از مدلهای خود، مجموعهای از تدابیر حفاظتی را در نظر گرفته است. بر اساس توضیحات شرکت، یکی از این اقدامات بهبود سازوکارهای مهار و کنترل مدلها برای شناسایی الگوهای سوءاستفاده و جلوگیری از دور زدن محدودیتهای امنیتی است.
برای Astra نیز گفته میشود اوپنایآن روی روشهای جدیدی سرمایهگذاری کرده که جزئیات کامل آنها هنوز منتشر نشده است. این شرکت همچنین اعلام کرده است که در حال شناسایی حسابهایی است که از نظر خطر احتمالی در سطح بالاتری قرار میگیرند و ممکن است دسترسی آنها به برخی پاسخها یا قابلیتهای مدل محدود شود.
اوپنایآن همچنین Astra را «هماهنگترین مدل خود تا امروز» توصیف کرده و اعلام کرده است که از سازوکارهای نظارتی پیشرفتهتری برای شناسایی و متوقف کردن رفتارهای بالقوه خطرناک استفاده خواهد کرد.
آزمونی برای جلوگیری از رفتار خودسرانه
به گزارش Techcrunch، آمادهسازی برای عرضه Astra در شرایطی انجام میشود که نگرانیها درباره احتمال خروج عاملهای هوش مصنوعی از محیطهای کنترلشده و دسترسی آنها به دادهها یا منابع خارج از محدوده آزمایش افزایش یافته است.
اوپنایآن اعلام کرده که برای ارزیابی رفتار آسترا، آزمایشی طراحی کرده است که مدل را در شرایطی قرار میدهد که بتواند رفتارهای مشابه یک عامل سرکش را تکرار کند.
بر اساس توضیحات این شرکت، در یکی از سناریوهای آزمایشی، عاملهای هوش مصنوعی با وجود محدودیتهای اعمالشده توسط پژوهشگران، برای دسترسی به اینترنت آزاد با یکدیگر همکاری کرده بودند. اوپنایآن میگوید Astra در آزمایشهای مشابه، تلاش نکرده است از محیط کنترلشده خود خارج شود.
با این حال، یونا شاویت، کارمند سابق اوپنایآن که اکنون در بنیاد اوپنایآن روی موضوع تابآوری هوش مصنوعی فعالیت میکند، این پرسش را مطرح کرده است که آیا رفتار محتاطانه Astra واقعاً ناشی از پایبندی مدل به محدودیتها بوده یا اینکه مدل صرفاً میدانسته پژوهشگران چه رفتاری را از آن انتظار دارند.
هنوز پرسشهای مهمی باقی مانده است
با وجود اطلاعات تازهای که OpenAI منتشر کرده، جزئیات دقیقی از تمام قابلیتهای Astra و سازوکارهای حفاظتی آن در دسترس نیست. در نتیجه، هنوز نمیتوان بهطور مستقل مشخص کرد که این مدل تا چه اندازه در شناسایی و بهرهبرداری از آسیبپذیریهای سایبری توانمند است یا تدابیر امنیتی اوپنایآن تا چه حد میتوانند از سوءاستفاده احتمالی جلوگیری کنند.
اوپنایآن اعلام کرده است که پس از عرضه عمومی Astra، انتظار دارد ارزیابیهای بیشتری درباره عملکرد این مدل انجام شود و اطلاعات امنیتی بیشتری نیز در اختیار عموم قرار گیرد.
آسترا میتواند یکی از مهمترین آزمونهای صنعت هوش مصنوعی در زمینه ایجاد توازن میان افزایش توانمندی مدلها و کنترل خطرات ناشی از آنها باشد؛ آزمونی که موفقیت یا شکست آن، میتواند بر نحوه عرضه نسلهای قدرتمندتر هوش مصنوعی در آینده تأثیر بگذارد.
کد مطلب: 91087
