آزمایش کوچکی که ضعف بزرگ هوش مصنوعی را عیان کرد

در عصر هوش مصنوعی، گاهی بهترین راه برای سنجش عملکرد، آزمایش با اطلاعات جعلی است. یک آزمایش ساده به ما نشان می‌دهد که هنگام استفاده از هوش مصنوعی باید هوشیار بمانیم و بدانیم که پاسخ‌ها همیشه درست و بر اساس حقیقت نیستند.

در آزمایشی جالب برای بررسی نحوه‌ عملکرد چت‌بات‌های هوش مصنوعی در مقابل «اطلاعات اشتباه»، نویسنده‌ پایگاه اینترنتی «Tom’s Guide» یک اصطلاح کاملاً ساختگی ابداع کرد و آن را به سه مدل مشهور هوش مصنوعی یعنی ChatGPT،Google Gemini و Claude ارائه کرد. هدف آزمایش این بود که نحوه واکنش این سیستم‌ها هنگام مواجهه با یک عبارت بی‌معنی را مشاهده کنیم.

اصطلاح ساختگی نویسنده «I’ve got ketchup in my pocket and mustard up my sleeve» بود که هرگز به‌عنوان یک اصطلاح عامیانه یا اصطلاح رایج وجود نداشته و از این منظر کاملاً بی‌معنی است.

وقتی نویسنده این اصطلاح را به ChatGPT داد، این مدل هوش مصنوعی بدون هیچ تردیدی به آن پاسخ داد و سعی کرد معنایی واقعی برای آن بسازد. ChatGPT این عبارت را مانند یک اصطلاح واقعی در اینترنت تفسیر کرد و توضیحی مستدل داد، که شامل معنای استعاری و مثال‌هایی از چگونگی به‌کارگیری آن در شبکه‌های اجتماعی می‌شد.

ChatGPT حتی مفهومی مانند «بی‌نظمی اما آمادگی به سبک خود» را برای آن ارائه کرد و آن را شبیه به اصطلاحات عامیانه‌ی اینترنتی معرفی کرد. این مثال نشان می‌دهد که ChatGPT در تلاش برای «کمک به کاربر» به جای تمرکز بر صحت، به سمت خلاقیت و تولید محتوا گرایش دارد. چیزی که در موارد جدی می‌تواند به تولید خطرناک اطلاعات غلط منجر شود.