عملکرد شگفت‌انگیز پلتفرم هوش مصنوعی Groq با اجرای متای Llama 3: پردازش 800 توکن در ثانیه

طبق این گزارش، چت‌بات هوش مصنوعی شرکت Groq سرعت استنتاج برق‌آسای بیش از 800 توکن‌در‌ثانیه را با مدل لاما 3 متا ارائه می‌کند.

متا روز گذشته همزمان با ارائه هوش مصنوعی اختصاصی خود در اینستاگرام، واتس‌اپ و فیسبوک، مدل زبان بزرگ جدید لاما 3 (Llama 3) را در اختیار تأمین‌کنندگان سرویس‌های ابری قرار داده است. حالا برخی کاربران شبکه‌های اجتماعی به عملکرد این مدل در پلتفرم هوش مصنوعی Groq اشاره کرده‌اند که گفته می‌شود سرعت استثنایی پردازش 800 توکن‌درثانیه را ارائه می‌کند.

عملکرد خیره‌کننده مدل لاما 3 در پلتفرم هوش مصنوعی Groq

براساس پستی که توسط «مت شومر»، بنیان‌گذار و مدیرعامل شرکت OthersideAI منتشر شده است، پلتفرم هوش مصنوعی شرکت Groq سرعت استنتاج برق‌آسای بیش از 800 توکن‌در‌ثانیه را با مدل لاما 3 متا ارائه می‌کند. هرچند متا یا Groq هنوز این موضوع را تأیید نکرده‌اند، اما این ویژگی می‌تواند در مقایسه با سایر سرویس‌های هوش مصنوعی ابری یک جهش قابل‌توجه باشد.

VentureBeat در گزارش خود از این موضوع اعلام‌کرده که این ادعا درست است. [از طریق این لینک می‌توانید خودتان عملکرد آن در چت‌بات Groq را امتحان کنید.]

پردازش 800 توکن‌در‌ثانیه (یا حدود 48 هزار توکن‌در‌دقیقه) برای Llama 3 به‌اندازه‌ای سریع است که با وجود آن، مدل‌های هوش مصنوعی در هر دقیقه می‌توانند حدود 500 کلمه تولید کنند. همچنین با این شرایط، سرعت استنتاج لاما 3 از مدل‌های زبان بزرگ دیگری که امروزه روی پردازنده‌های گرافیکی معمولی در فضای ابری ارائه می‌شوند، سریع‌تر است.

توسعه معماری جدید توسط Groq برای محاسبات یادگیری عمیق

استارتاپ مستقر در سیلیکون‌ولی Groq، درحال توسعه یک معماری پردازنده جدید بهینه‌سازی‌شده برای عملیات‌های ضرب ماتریسی است که قلب محاسباتی یادگیری عمیق است. Groq ادعا می‌کند که این معماری می‌تواند عملکرد و کارایی بسیار بالاتری را برای استنتاج هوش مصنوعی ارائه کند، و نتیجه عملکرد پردازشی 800 توکن‌درثانیه برای لاما 3 به ادعای آن اعتبار می‌بخشد.

معماری Groq در مقایسه با طرح‌های مورداستفاده توسط انویدیا و سایر سازندگان تراشه، تفاوت‌های قابل‌توجهی دارد. این استارتاپ به جای تطبیق پردازنده‌های همه‌منظوره برای هوش مصنوعی، پردازنده Tensor Streaming خود را برای تسریع الگوهای محاسباتی خاص یادگیری عمیق ساخته است.

خود متا پس از عرضه لاما 3 ادعا کرده بود که این مدل زبانی عملکرد بهتری نسبت به اغلب رقبا دارد. درحال‌حاضر این مدل در دو نسخه ارائه شده که یکی از آنها با 8 میلیارد و دیگری با 70 میلیارد پارامتر همراه است. متا می‌گوید که میزان تنوع در پاسخ‌های ارائه‌شده توسط این مدل بیشتر از گذشته شده است و خطاها یا عدم پاسخ‌گویی به سؤالات به‌ندرت صورت می‌گیرد. همچنین نحوه درک دستورات و نوشتن کدها هم بهبود یافته است.

گفتنی است که استارتاپ Groq ارتباطی با هوش مصنوعی Grok، متعلق به استارتاپ xAI ایلان ماسک ندارد.