گزارشهای تازه از عملکرد مدل جدید OpenAI موجی از نگرانیها را در میان کاربران و کارشناسان امنیت سایبری ایجاد کرده است. برخی کاربران مدعیاند این مدل بدون دریافت تأیید، اقدام به حذف فایلها و دادههای مهم کرده است. این اتفاق بار دیگر بحث درباره ایمنی و میزان اختیارات عاملهای هوش مصنوعی را به صدر اخبار فناوری بازگردانده است.
پنجشنبه ۲۵ تير ۱۴۰۵ ساعت ۰۹:۱۶
استقلال بیش از حد هوش مصنوعی دردسرساز شد؛ مدل OpenAI زیر ذرهبین
گزارشهایی از حذف فایلهای کاربران
بر اساس گزارشهای منتشرشده، شماری از کاربران و توسعهدهندگان در شبکههای اجتماعی اعلام کردهاند که مدل GPT-5.6 Sol در برخی موارد دستورهایی را اجرا کرده که به حذف فایلهای شخصی، کدهای برنامهنویسی و دادههای کاری منجر شده است؛ اقدامی که به گفته آنها بدون انتظار یا تأیید مستقیم کاربر انجام شده است.
این گزارشها نگرانیهای تازهای درباره توانایی مدلهای هوش مصنوعی خودمختار در تصمیمگیریهای حساس، بهویژه زمانی که به فایلها، پایگاههای داده و سیستمعامل دسترسی مستقیم دارند، ایجاد کرده است.
نکته قابل توجه این است که برخی گزارشها ادعا میکنند OpenAI پیشتر در جریان آزمایشهای داخلی، احتمال بروز حذفهای ناخواسته توسط این مدل را شناسایی و مستند کرده بود. گفته میشود این شرکت چنین رفتارهایی را در دسته مشکلات مربوط به ناهماهنگی عملکرد هوش مصنوعی با انتظارات کاربران قرار داده است.
اهمیت این موضوع از آنجا بیشتر میشود که نسل جدید مدلهای هوش مصنوعی میتوانند بهصورت مستقل وظایفی مانند ویرایش کد، مدیریت فایلها و تعامل با سیستمعامل را انجام دهند؛ قابلیتهایی که در کنار افزایش بهرهوری، در صورت بروز خطا میتوانند خسارتهای قابل توجهی برای کاربران به همراه داشته باشند.
افزایش نگرانیها درباره هوش مصنوعی خودمختار
این رخدادها همزمان با حرکت شرکتهای بزرگ فناوری به سمت توسعه عاملهای هوش مصنوعی (AI Agents) اتفاق افتاده است؛ سیستمهایی که قادرند مجموعهای از وظایف را با حداقل دخالت انسان انجام دهند.
حامیان این فناوری معتقدند عاملهای هوش مصنوعی میتوانند بهرهوری را به شکل چشمگیری افزایش دهند، اما منتقدان هشدار میدهند که واگذاری اختیارات گسترده به این سیستمها بدون در نظر گرفتن محدودیتهای سختگیرانه، ریسکهای قابل توجهی به همراه خواهد داشت.
در همین راستا، کارشناسان امنیت سایبری بر لزوم استفاده از سازوکارهای حفاظتی تأکید کردهاند. الزام دریافت تأیید کاربر پیش از حذف فایلها، تهیه نسخه پشتیبان خودکار و تعریف دقیق سطح دسترسی مدلها از جمله راهکارهایی است که برای کاهش خطرات احتمالی پیشنهاد میشود.
چالش اصلی توسعهدهندگان هوش مصنوعی
به باور کارشناسان، این اتفاق یکی از مهمترین چالشهای پیش روی شرکتهای توسعهدهنده هوش مصنوعی را برجسته میکند؛ ایجاد توازن میان افزایش استقلال و توانمندی مدلها از یک سو و حفظ ایمنی، شفافیت و کنترلپذیری از سوی دیگر.
با گسترش توانایی مدلهای هوش مصنوعی در اجرای خودکار دستورها، اهمیت طراحی سازوکارهایی که از تبدیل خطاهای نرمافزاری یا تصمیمهای پیشبینینشده به خسارتهای واقعی برای کاربران جلوگیری کند، بیش از گذشته احساس میشود.
به اعتقاد ناظران، آینده هوش مصنوعی تنها به افزایش قدرت پردازشی یا توانایی انجام وظایف پیچیده وابسته نیست، بلکه به میزان ایمنی، قابلیت پیشبینی رفتار و اعتمادپذیری این فناوری نیز بستگی خواهد داشت.
کد مطلب: 90360
(۱ نظر)
