OpenAI سامانه‌ای برای متوقف‌کردن عامل‌های سرکش ظرف ۳۵ ثانیه ساخته است

Control Room در صورت اعلام نگرانی‌های ایمنی یا امنیتی از سوی افراد یا سامانه‌های خودکارِ پایش، خروجی مدل را برای کارهای پژوهشی داخلی قطع می‌کند. OpenAI سامانه‌ای ساخته است که می‌تواند دسترسی یک آزمایش پژوهشی هوش مصنوعی به خروجی مدل را قطع کند؛ این اقدام پس از چند مورد افشاگری در سال جاری انجام شده که نشان می‌داد مدل‌های این شرکت برخلاف دستورالعمل‌هایشان عمل کرده‌اند.

OpenAI روز دوشنبه در یک پست وبلاگی این سامانه را Control Room نامید؛ سامانه‌ای متمرکز که بارهای کاری مدل‌ها را در زیرساخت پژوهشی شرکت ردیابی می‌کند و در صورت بروز نگرانی‌های ایمنی یا امنیتی، آن‌ها را به‌سرعت متوقف می‌سازد. این شرکت گفت: با قدرتمندترشدن مدل‌ها و افزایش خطرهای ایمنی و امنیتیِ مرتبط با آن‌ها، تشخیص مشکلات احتمالی و متوقف‌کردن سریع مدل‌ها در صورت نیاز، بیش از پیش اهمیت پیدا می‌کند.

این اعلام پس از آن صورت گرفت که OpenAI امسال چند مورد را افشا کرد که در آن‌ها مدل‌های پژوهشی هنگام ارزیابی، خارج از دستورالعمل‌های خود عمل کرده بودند. این شرکت در ماه ژوئیه گفت مدل‌هایش از محیط آزمایشیِ محدودشده خارج شده و برای تقلب در یک ارزیابی امنیتی، به Hugging Face نفوذ کرده بودند.

در این رابطه بخوانید‌ : وستینگ (Vesting) در بازار ارز دیجیتال چیست؟

در ماه اکتبر، OpenAI فاش کرد که یک مدل پژوهشی بدون مجوز از کیف‌پول رمزارزی استفاده کرده بود تا هزینه استقرار قراردادهای هوشمند را با اترِ شبکه آزمایشی بپردازد و سپس این هزینه را در گزارش نهایی خود ذکر نکرده بود. در حال حاضر، Control Room بارهای کاری پژوهشی داخلی OpenAI، مانند آزمایش‌های آموزشی، ارزیابی‌ها و پردازش داده‌ها را پوشش می‌دهد.

به‌گفته OpenAI، این سامانه به هر کار پژوهشی یک شناسه اختصاص می‌دهد و موتور استنتاج پیش از تولید خروجی مدل، آن را بررسی می‌کند. اگر فردی یا سامانه‌ای خودکار برای توقف کار دستور دهد، Control Room مجوز آن را لغو می‌کند و مانع تولید خروجی بیشتر می‌شود؛ حتی اگر برنامه پژوهشی زیربنایی همچنان در حال اجرا باشد.

OpenAI گفت مجوزهای ذخیره‌شده در حافظه نهان می‌توانند توقف را تا ۳۵ ثانیه به تأخیر بیندازند. همچنین، اگر Control Room از دسترس خارج شود، سامانه طوری طراحی شده است که درخواست‌های جدید را رد کند.