ابر رایانه مرزی یک مدل GPT-4 مانند را با 1 تریلیون پارامتر آموزش داد

فرانتیر در این آزمایش فقط از 3000 شتاب‌دهنده هوش مصنوعی استفاده کرده، در حالی که مجموعاً دارای 37 هزار شتاب‌دهنده است.

ابرکامپیوتر فرانتیر (Frontier) مجهز به پردازنده‌های AMD با پردازشگرهای گرافیکی Instinct MI250X برای آموزش یک تریلیون پارامتر در یک مدل زبانی بزرگ (LLM) استفاده شده و راندمان بسیار بالایی در این زمینه داشته است.

فرانتیر قدرتمندترین ابرکامپیوتر جهان و تنها دستگاه با قدرت رایانش اگزامقیاس است. این دستگاه از پردازنده‌های سری Epyc و پردازشگرهای گرافیکی سری Instinct شرکت AMD بهره می‌برد که با کمک آن‌ها عملکردهای با پردازش بالا را بهتر انجام می‌دهد و همچنین به‌عنوان دومین ابرکامپیوتر کارآمد روی کره زمین شناخته می‌شود. حالا براساس گزارش جدیدی، ابررایانه Frontier ظاهراً به قابلیت آموزش یک تریلیون پارامتر از طریق رویکرد «تنظیم ابرپارامترها» دست یافته است که معیار حدیدی در صنعت خود به حساب می‌آید.

نکته قابل‌توجه دیگر اینکه فرانتیر در آزمایش‌های خود فقط از 3000 شتاب‌دهنده هوش مصنوعی MI250X بهره برده است، در حالی که مجموعاً دارای 37 هزار شتاب‌دهنده است.

نقطه‌عطف بزرگ ابرکامپیوتر فرانتیر

محققان در پژوهش خود می‌نویسند:

«برای 22 میلیارد، 175 میلیارد و 1 تریلیون پارامتر، ما به‌ترتیب به 38.38 درصد، 36.14 درصد و 31.96 درصد از توان عملیاتی GPU دست یافته‌ایم. برای آموزش با 175 میلیارد و 1 تریلیون پارامتر نیز به‌ترتیب 1024 و 3072 پردازنده MI250X استفاده شده و راندمان مقیاس‌پذیری ضعیف را به 100 درصد رسانده‌ایم. همچنین برای این دو مدل به راندمان مقیاس پذیری قوی 89 و 87 درصد دست یافتیم.»

رکورد جدید فرانتیر با استراتژی‌های مؤثری که برای آموزش مدل‌های زبان بزرگ (LLM) به‌کار‌گرفته‌شده و همچنین استفاده از سخت‌افزار داخلی به‌بهترین نحو ممکن به‌دست‌آمده است. این تیم در آزمایش‌های خود با استفاده از 22 میلیارد، 175 میلیارد و 1 تریلیون پارامتر به نتایج قابل‌توجهی دست یافته است.

آینده امیدوارکننده‌ای برای سرورها و بخش مرکز داده در انتظار است و نکته مهم دیگری که باید به آن توجه داشته باشیم این است که فرانتیر از سخت‌افزاری استفاده می‌کند که نسبتاً جدید نیست. با پیشرفت مداوم در بخش هوش مصنوعی مولد، بدیهی است که بازارها به قدرت محاسباتی بیشتری نیاز دارند و به‌همین دلیل است که پیشرفت‌های سخت‌افزاری طراحی‌شده برای این بخش، برای پیشرفت به نسل بعدی مهم هستند.