گروه صنعتی SPEC نتایج ۲۶۰۰ بنچمارک رسمی پردازندههای اینتل را رد کرد. این گروه اعلام کرده که اینتل از بهینه‌سازی‌های ناعادلانه در کامپایلر خود برای افزایش عملکرد استفاده کرده است.
به‌گزارش تک‌ناک، گروه صنعتی SPEC اعلام کرده است که دیگر نتایج عملکرد پردازندههای اینتل در بنچمارک SPEC CPU 2017 منتشر نخواهد شد؛ البته مشروط بر اینکه پردازنده‌ها از نسخه خاصی از کامپایلر اینتل استفاده کنند.
دلیل این تصمیم نارضایتی SPEC از بهینه‌سازی هدفمند آشکار برای بارهای کاری خاص است که اساساً تقلب محسوب می‌شود. طبق گزارش‌ها، بیش از ۲۶۰۰ نتیجه بنچمارک که با این کامپایلر خاص به‌دست آمده‌اند، با یادداشتی علامت‌گذاری و عملاً باطل اعلام شده‌اند.
این نتایج عمدتاً به دستگاه‌هایی مربوط است که از نسل چهارم پردازندههای سافایر رپیدز زئون استفاده می‌کنند. تامزهاردور می‌نویسد که SPEC CPU 2017 بنچمارکی است که عمدتاً برای سرورهای پرچم‌دار و مراکز داده و ایستگاه‌های کاری یا کامپیوترهای شخصی استفاده می‌شود. این بنچمارک عملکرد را در بارهای کاری مختلف به‌صورت استاندارد آزمایش می‌کند تا کامپیوترهای مختلف را بتوان با یکدیگر مقایسه کرد.
عملکرد موفق در SPEC CPU 2017 نه‌تنها به سخت‌افزار، بلکه به نرم‌افزار نیز بستگی دارد. یکی از عوامل مهم در بهینه‌سازی نرم‌افزار کامپایلر است. کامپایلر برنامه‌ای است که کد نوشته‌شده را می‌گیرد و آن را به‌گونه‌ای تغییر می‌دهد که پردازنده بتواند به بهترین شکل آن را اجرا کند.
سلب مسئولیت جدیدی که اکنون به بیش از 2600 نتیجه SPEC CPU 2017 اضافه شده است، بیان می‌کند که کامپایلر به‌کاررفته برای این نتیجه با استفاده از دانش قبلی، به‌طور خاص عملکرد بنچمارک‌های 523.xalancbmk_r / 623.xalancbmk_s را بهبود بخشیده است.
این یعنی کامپایلر (در این مورد کامپایلر oneAPI DPC++/C++ اینتل) برای نوع بار کاری که دو بنچمارک SPEC CPU 2017 مدنظر آزمایش می‌کنند، بهینه نشده بود؛ بلکه به‌طور خاص برای خود این دو بنچمارک بهینه شده بود.
درحالی‌که بهینه‌سازی کامپایلرها برای افزایش عملکرد قابل‌انتظار است، بهینه‌سازی ویژه برای بنچمارک‌ها بحث‌برانگیز و مردود است. هدف SPEC این است که بنچمارک‌هایش عملکرد واقعی سخت‌افزار را در دنیای واقعی منعکس کنند و راهی استاندارد برای مقایسه پردازندههای مختلف ارائه دهند.
بااین‌حال، اگر بهینه‌سازی کامپایلر فقط عملکرد را در بنچمارک خاصی بهبود می‌بخشد و نه در سناریو دنیای واقعی، این به‌وضوح منعکس‌کننده دنیای واقعی نیست و تنها در آن بنچمارک خاص منعکس خواهد شد.
براساس گزارش Phoronix، این بهینه‌سازی می‌توانست عملکرد کلی SPECint را تا 9 درصد افزایش دهد. رسانه مذکور اشاره می‌کند که نسخه‌های 2022.0 تا 2023.0 کامپایلر oneAPI اینتل نیز تحت‌تأثیر قرار گرفته‌اند؛ یعنی بیشتر نتایج باطل‌شده در سال 2022 و عمدتاً روی پردازندههای سافایر رپیدز اجرا شده‌اند.
دراین‌میان، بعید است نتایج پردازندههای نسل پنجم Xeon Emerald Rapids با نسخه‌ای از کامپایلر دارای بهینه‌سازی ممنوعه اجرا شده باشد؛ زیرا Emerald Rapids پس از انتشار نسخه‌های مجاز کامپایلر منتشر شد.
بهینه‌سازی‌های خاص بنچمارک سال‌هاست که به موضوعی داغ تبدیل شده‌اند. در سال 2003، انویدیا به بهینه‌سازی درایور برای افزایش عملکرد پردازندههای گرافیکی خود در 3DMark 2003 متهم شد. در سال 2010، خود انویدیا ادعا کرد که AMD در بازی‌های واقعی با فعال‌نکردن تنظیمات خاصی از درایور که کیفیت بصری را به قیمت کاهش عملکرد بسیار افزایش می‌داد، تقلب کرده است. امروزه، این اتهام‌ها چندان مطرح نیست؛ اگرچه SPEC با این اقدام به‌یقین از اینتل انتقاد کرده است.
