آیا این روش عملکرد هوش مصنوعی را بهتر می‌کند؟
نتایج یک پژوهش جدید نشان می‌دهد که افزایش زمان استدلال در مدل‌های هوش مصنوعی الزاما به بهبود عملکرد آن‌ها منجر نمی‌شود و حتی ممکن است اثر معکوس داشته باشد.
این تحقیق که توسط شرکت هوش مصنوعی آنتروپیک انجام شده، یکی از فرضیه‌های مهم در توسعه مدل‌های زبانی بزرگ را زیر سوال برده است.
به گزارش دیجیاتو، این مطالعه با هدایت آریو پرادیپتا جما، پژوهشگر ایمنی هوش مصنوعی، در شرکت آنتروپیک و با همکاری دیگر محققان این شرکت صورت گرفته است. آنان در حین بررسی عملکرد مدل‌ها به پدیده‌ای تحت عنوان «مقیاس محققان، هرچه فرایند استدلال یک مدل طولانی‌تر شود، احتمال اینکه مدل در انجام وظایف دچار اشتباه شود نیز افزایش می‌یابد.
این تحقیق با بررسی مدل‌های هوش مصنوعی در چهار دسته مختلف از وظایف انجام شده است: مسائل شمارشی با عوامل حواس‌پرتی، وظایف رگرسیونی با ویژگی‌های گمراه‌کننده، معماهای استنتاج پیچیده و وظایف مرتبط با ایمنی هوش مصنوعی. نتایج به‌دست‌آمده حاکی از آن است که همه مدل‌ها، بدون استثنا، در مواجهه با وظایف پیچیده استنتاجی، با افزایش زمان استدلال دچار افت عملکرد شدند.
محققان در این بررسی نشان دادند که مدل‌های خانواده Claude با افزایش زمان استدلال، بیش از پیش تحت تاثیر اطلاعات نامربوط قرار می‌گیرند و در مسیر پاسخ صحیح منحرف می‌شوند. در مقابل، مدل‌های خانواده o متعلق به شرکت OpenAI توانایی مقاومت در برابر عوامل حواس‌پرتی را دارند، اما در عوض بیش از اندازه به نحوه چارچوب‌بندی سؤال وابسته می‌شوند.
در دسته وظایف رگرسیونی نیز مشاهده شد که مدل‌ها در طول فرایند استدلال از منطق درست به سمت همبستگی‌های گمراه‌کننده کشیده می‌شوند. البته طبق یافته‌های پژوهشگران، ارائه مثال‌های مشخص در بسیاری از موارد می‌تواند از شدت این انحراف بکاهد.
این نتایج برای شرکت‌هایی که به قابلیت‌های استدلال هوش مصنوعی برای تحلیل‌های پیچیده و تصمیم‌گیری وابسته‌اند، می‌تواند پیامدهای قابل توجهی داشته باشد. بر اساس این یافته‌ها، توسعه‌دهندگان باید نسبت به طول زمان پردازش و پیچیدگی وظایف محوله به مدل‌های هوش مصنوعی با دقت بیشتری عمل کنند.
