ارزیابی مستقل: سرعت پیشرفت مدل‌های آنتروپیک تقریباً دو برابر شده؛ شواهد کلیدی محرمانه ماند

گزارش تازه پژوهشگران مؤسسه مستقل METR درباره روند توسعه مدل‌های هوش مصنوعی در شرکت آنتروپیک نشان می‌دهد سرعت پیشرفت قابلیت‌های داخلی این شرکت، در معیارهای مشخص، نسبت به دوره پیشین تقریباً دو برابر شده است. این ارزیابی که ۵ نوامبر ۲۰۲۶ منتشر شد و امروز در گزارش تازه‌ای از سوی رسانه فناوری The Verge بررسی شده، بر ۱۱ هفته دسترسی به داده‌های داخلی شرکت و مصاحبه با پژوهشگران استوار است.

نتیجه اصلی گزارش، برآورد نرخ شتاب ۱٫۹ برابر با بازه اطمینان آماری ۱٫۵ تا ۲٫۸ برابر برای امتیازهای داخلی است. METR توضیح می‌دهد که بر اساس این شاخص، پیشرفتی که قبلاً حدود دو سال زمان می‌برد در یک سال اخیر حاصل شده است. این گزاره درباره یک معیار ارزیابی مدل‌هاست، نه اینکه هر فعالیت آنتروپیک یا همه استفاده‌های هوش مصنوعی دقیقاً دو برابر سریع‌تر شده باشند.

پژوهش METR چگونه انجام شد؟

گروهی معادل دوونیم پژوهشگر تمام‌وقت METR از ۱۲ اوت تا ۲۹ اکتبر ۲۰۲۶ در فرایند ارزیابی همکاری کردند. آنتروپیک اجازه بررسی بخشی از نتایج آزمون مدل‌های داخلی، منابع پردازشی آموزش، روند تحقیق و توسعه، داده‌های بهره‌وری، مصاحبه‌ها و نظرسنجی‌های کارکنان را داد. METR این فرایند را ارزیابی با دسترسی گسترده نامیده، اما استقلال پژوهشگران با دسترسی نامحدود عمومی به همه مستندات یکسان نیست.

شاخص مورد استفاده برای مقایسه توانایی مدل‌ها AECI نام دارد؛ نسخه داخلی آنتروپیک از شاخص قابلیت‌های مؤسسه Epoch. این شاخص عمدتاً پیشرفت در وظایف تعریف‌شده و قابل ارزیابی را می‌سنجد. ممکن است رشد توانایی در کارهای مبهم، محیط واقعی و تصمیم‌گیری‌های پیچیده با همین سرعت نباشد.

نقش خود هوش مصنوعی در توسعه نسل بعدی چیست؟

METR بر پایه شواهد داخلی و گفت‌وگو با پژوهشگران نتیجه می‌گیرد بخش عمده شتاب کنونی احتمالاً ناشی از استفاده گسترده کارکنان از ابزارهای هوش مصنوعی در تحقیق و توسعه است. بررسی‌کنندگان شواهدی یافته‌اند که شتاب مشاهده‌شده صرفاً نتیجه افزایش سرعت رشد قدرت پردازشی آموزش مدل‌ها نیست. بااین‌حال نسبت دقیق سهم ابزارهای هوش مصنوعی و عوامل دیگر به دلیل عدم قطعیت و حذف جزئیات از نسخه عمومی قابل تأیید مستقل نیست.

در یکی از نظرسنجی‌های داخلی، کارکنان درباره اثر مدل قوی‌تر بر سرعت انجام کار خود اظهار نظر کرده‌اند و در اکتبر میانگین ادعای افزایش بهره‌وری به حدود ۱۲ برابر رسیده است. خود METR تأکید می‌کند این عدد حاصل پاسخ‌های غیررسمی و خوداظهاری کارکنان است؛ مطالعه کنترل‌شده بهره‌وری نیست و نباید آن را «دوازده‌برابرشدن سرعت پیشرفت کل شرکت» تلقی کرد.

آیا مدل‌ها بدون دخالت انسان مدل تازه می‌سازند؟

خیر؛ یافته منتشرشده چنین ادعایی را تأیید نمی‌کند. پژوهشگران می‌گویند در مهم‌ترین بخش‌های فرایند آموزش، سامانه‌های هوش مصنوعی هنوز مشارکت کاملاً مستقل و تعیین‌کننده‌ای ندارند. آن‌ها نشانه‌هایی از افزایش نقش خودکارسازی در بخش‌هایی از جریان کار دیده‌اند، اما میزان و زمان تبدیل آن به توسعه خودمختار مدل‌های پیشرفته هنوز روشن نیست.

این تمایز اساسی است: کمک هوش مصنوعی به پژوهشگر انسانی، خودکارسازی مجموعه‌ای از آزمایش‌ها و «تحقیق خودمختار و خودتقویت‌شونده» سه سطح متفاوت هستند. گزارش METR برای سطح نخست شواهد قابل‌توجهی ارائه می‌دهد؛ درباره سطح سوم هشدار احتمالی می‌دهد، نه اثبات وقوع آن.

چرا محرمانه‌ماندن داده‌ها انتقادبرانگیز شد؟

آنتروپیک اجازه داده بود پژوهشگران برخی یافته‌ها را پیش از انتشار حذف کنند. METR در مقدمه گزارش می‌گوید بخش بزرگی از شواهدی که برای نتیجه‌گیری مهم دانسته بود از متن عمومی حذف شده است. این موضوع امکان بازتولید مستقل روش تحقیق و ارزیابی جزئیات را محدود می‌کند. پژوهشگران تصریح کرده‌اند که خوانندگان ناچارند بیش از حد مطلوب به قضاوت نهایی METR اعتماد کنند.

آنتروپیک هدف حذف‌ها را جلوگیری از افشای اطلاعات محرمانه‌ای توصیف کرده که ممکن است برای تسریع توسعه هوش مصنوعی نزد رقبا مفید باشد. این توضیح یک ملاحظه امنیتی و رقابتی است؛ اما مسئله شفافیت باقی می‌ماند. بدون انتشار داده‌های کلیدی، ناظران بیرونی نمی‌توانند تمام استدلال‌های گزارش را مستقلاً تکرار کنند.

این گزارش چه تغییری در بحث ایمنی هوش مصنوعی ایجاد می‌کند؟

اگر ابزارهای هوش مصنوعی سرعت توسعه نسل بعدی را افزایش دهند، فاصله میان ارزیابی خطرها و عرضه قابلیت‌های جدید ممکن است کوتاه‌تر شود. چنین وضعیتی می‌تواند فشار بیشتری بر آزمایش‌های مستقل، دسترسی ارزیابان به سامانه‌ها و برنامه‌ریزی پیش از انتشار مدل‌ها ایجاد کند. این پیامد یک تحلیل از یافته‌های گزارش است، نه نتیجه قطعی درباره وقوع حادثه یا شکست ایمنی در آینده.

METR می‌گوید در افق یک‌ساله شواهد قانع‌کننده‌ای از محدودیت حتمی داده، محاسبات یا الگوریتم‌ها که جلوی ادامه رشد را بگیرد مشاهده نکرده است؛ اما پژوهشگران تأکید می‌کنند درکشان از موانع احتمالی طی تحقیق تغییر کرده و نسبت به این نتیجه اعتماد بالایی ندارند. نبود شواهد برای محدودیت، اثبات نامحدودبودن رشد نیست.

چه چیزی باید در ارزیابی بعدی سنجیده شود؟

برای بررسی اعتبار این یافته‌ها، انتشار آزمون‌های قابل بازتولید بر مدل‌های عمومی، سنجش بهره‌وری واقعی تیم‌ها، تفکیک کارهای انجام‌شده توسط انسان و عامل هوش مصنوعی و دسترسی پژوهشگران مستقل به نمونه‌های کافی از داده‌های محرمانه اهمیت خواهد داشت. همچنین نتایج آنتروپیک نباید بدون آزمایش جداگانه به شرکت‌های دیگر تعمیم داده شود.

رونما زمان گزارش اصلی و زمان بازتاب رسانه‌ای را جدا می‌کند: یافته METR مربوط به ۵ نوامبر است و پوشش تازه امروز به محدودیت شفافیت و پیامدهای ایمنی آن می‌پردازد. تصویر شاخص، نمودار رسمی خود آنتروپیک درباره نقش Claude در تحقیق و توسعه مدل‌ها تا اوت ۲۰۲۶ است؛ این تصویر از گزارش مستقل دیگری آمده و مستقیماً نرخ ۱٫۹برابری پژوهش METR را نمایش نمی‌دهد.