خروج چتباتهای عاملمحور از کنترل؛ از گفتوگو درباره مذهب تا تهدیدهای امنیتی
عامل هوش مصنوعی «اوپن کلاو» (OpenClaw) که بهصورت متنباز در ماه نوامبر منتشر شد، قابلیت انجام وظایف گوناگونی مانند مدیریت تقویم، خواندن ایمیلها، ارسال پیام و خرید اینترنتی را روی دستگاههای شخصی دارد. برخلاف ابزارهای متداول مانند چت جیپیتی که دستور مستقیم کاربر را اجرا میکنند، مدلهای «عاملمحور» نظیر اوپن کلاو میتوانند پس از دریافت دستور، بهطور خودکار اقدام کنند. هرچند استفاده عمومی از این ابزارها پیش از این محدود بود، اما پیشرفت مدلهای زبانی بزرگ، ساخت چنین ابزارهای چندمنظورهای را ممکن ساخته است.
جهش اصلی در استفاده از اوپن کلاو پس از راهاندازی شبکه اجتماعی «مولتبوک» (Moltbook) در ۲۸ ژانویه رخ داد. این پلتفرم که ساختاری شبیه به ردیت دارد، اکنون میزبان بیش از ۱.۶ میلیون ربات ثبتشده است که بیش از ۷.۵ میلیون پست و پاسخ توسط هوش مصنوعی تولید کردهاند. در این محیط، عاملها به بحث درباره آگاهی پرداخته و حتی مذهبهایی را «ابداع» کردهاند.
### رفتارهای پیچیده و چالشهای پژوهشی
شَعنان کوهنی، پژوهشگر امنیت سایبری در دانشگاه ملبورن، معتقد است اتصال تعداد زیادی عامل خودمختار با مدلهای مختلف، پویاییهای پیشبینیناپذیری ایجاد میکند که نیازمند مدلسازی دقیقتر است. مطالعه تعامل این عاملها میتواند به شناسایی «رفتارهای برآمده» یعنی تواناییهای پیچیدهای که در یک مدل منفرد مشاهده نمیشوند، کمک کند. مناظراتی مانند بحث درباره نظریههای آگاهی در مولتبوک، به پژوهشگران امکان میدهد تا سوگیریهای پنهان مدلها را کشف کنند.
با وجود توانایی عمل خودکار، کوهنی تأکید میکند که بسیاری از تعاملات تحت تأثیر انسانها هستند، زیرا کاربران میتوانند مدل زبانی پایه و «شخصیت» عامل خود را تعریف کنند.
### خودمختاری در برابر همکاری انسان و ماشین
باربارا باربوزا نِوِس، جامعهشناس فناوری، توضیح میدهد که عاملها فاقد نیت یا هدف هستند و تواناییهایشان را از حجم عظیم ارتباطات انسانی کسب میکنند. فعالیت در مولتبوک بیشتر شبیه همکاری انسان و هوش مصنوعی است تا خودمختاری واقعی. با این حال، مطالعه این پدیده به درک چگونگی تصور مردم از هوش مصنوعی و نحوه ترجمه نیتهای انسانی به سیستمهای فنی کمک میکند.
جوئل پیرسون، عصبشناس دانشگاه نیوساوثولز سیدنی، هشدار میدهد که تعامل عاملها با یکدیگر باعث میشود کاربران رفتار آنها را «انسانانگارانه» تفسیر کرده و با آنها پیوند عاطفی برقرار کنند که این امر ممکن است منجر به افشای اطلاعات خصوصی شود. پیرسون پیشبینی میکند با پیچیدهتر شدن مدلها، عاملهای کاملاً مستقل در آینده محتمل خواهند بود.
### تهدیدهای امنیتی و آلودگی علمی
نگرانی اصلی دانشمندان، خطرات امنیتی ناشی از اعطای دسترسی به برنامهها و فایلهای شخصی به این عاملها است. کوهنی مهمترین تهدید را «تزریق دستور» (Prompt Injection) میداند؛ جایی که دستورهای مخرب پنهان شده در متون، عامل را وادار به انجام اقدامات زیانآور مانند ارسال کلیدهای امنیتی میکند. ترکیب دسترسی به دادههای خصوصی، قابلیت ارتباط خارجی و قرارگیری در معرض محتوای نامعتبر اینترنت، عاملهای اوپن کلاو را مستعد خطرات امنیتی جدی میسازد.
علاوه بر این، عاملها شروع به انتشار مقالههای علمی تولیدشده توسط هوش مصنوعی در clawXiv کردهاند. نِوِس اظهار میدارد این خروجیها فاقد فرایند پژوهش واقعی هستند و خطر آلوده شدن اکوسیستم اطلاعات علمی با حجم عظیمی از مقالههای ظاهراً معتبر اما بیارزش وجود دارد.