مدل PalM 2 گوگل تقریباً پنج برابر بیشتر از نسخه قبلی از داده های متنی برای آموزش استفاده می کند

مدل PaLM 2 براساس 3.6 تریلیون توکن آموزش دیده شده و این میزان برای نسخه قبلی 780 میلیارد توکن است.

مدل جدید زبان بزرگ (LLM) گوگل، یعنی PaLM 2 که هفته گذشته توسط غول فناوری معرفی شد، در مقایسه با نسخه قبلی خود از سال 2022 تقریباً از پنج برابر داده‌های آموزشی بیشتری استفاده می‌کند تا بتواند در انجام وظایفی مانند کدنویسی، ریاضی و نوشتن خلاقانه‌تر عمل کند.

براساس اسناد داخلی که توسط CNBC مشاهده شده، مدل PaLM 2 که در کنفرانس گوگل I/O معرفی شد، براساس 3.6 تریلیون توکن آموزش دیده است. توکن‌ها که عملاً رشته‌ای از کلمات هستند، یک عنصر مهم برای آموزش LLMها محسوب می‌شوند، زیرا مدل‌های هوش مصنوعی از طریق آن‌ها می‌توانند کلمات بعدی را پیش‌بینی کنند.

نسخه قبلی PALM گوگل که مخفف Pathways Language Model است، در سال 2022 منتشر شد و با 780 میلیارد توکن آموزش داده شده بود.

در حالی که گوگل مشتاق است تا قدرت فناوری هوش مصنوعی خود و نحوه تعبیه شدن آن در جستجو، ایمیل‌ها، پردازش کلمه و صفحات گسترده را نشان دهد، اما تمایلی به انتشار وسعت یا سایر جزئیات مربوط به داده‌های آموزشی آن را ندارد. OpenAI، خالق ChatGPT نیز مشخصات آخرین LLM خود با نام GPT-4 را مخفی نگه داشته است.

دلیل اصلی عدم افشای این اطلاعات، ماهیت رقابتی مدل‌های هوش مصنوعی آن‌ها است. گوگل و OpenAI هم‌اکنون در رقابت با یکدیگر هستند تا بتوانند کاربرانی را به مدل‌های زبان بزرگ خود جذب کنند که قصد دارند به جای استفاده از موتورهای جستجو سنتی، از چت‌بات‌های مکالمه محور آن‌ها استفاده کنند.

گوگل در زمان معرفی PaLM 2 ادعا کرد که مدل جدید بسیار کوچک‌تر از قبل است، به این معنی که فناوری غول موتور جستجو در عین انجام وظایف پیچیده‌تر، کارآمدتر شده است. طبق اسناد داخلی، PaLM 2 بر روی 340 میلیارد پارامتر آموزش داده شده که پیچیدگی این مدل را نشان می‌دهد. نسخه اولیه PaLM روی 540 میلیارد پارامتر آموزش داده شده بود.

همچنین گوگل در پست وبلاگ خود در مورد PaLM 2 گفت که این مدل از «تکنیک جدیدی» به‌نام «مقیاس‌سازی بهینه محاسبه» استفاده می‌کند که باعث می‌شود LLM «با عملکرد کلی بهتر، از جمله برداشت سریع‌تر، پارامترهای کمتر برای ارائه و هزینه کمتر برای انجام خدمات، کارآمدتر شود».