بایت‌دنس (ByteDance) هوش مصنوعی Seed3D 1.0 را معرفی کرد؛ تبدیل عکس‌ها به مدل‌های سه‌بعدی

ابزار هوش مصنوعی Seed3D 1.0 بایت‌دنس می‌تواند یک عکس تکی را به مدل سه‌بعدی باکیفیت و واقعی تبدیل کند.

بایت‌دنس، کمپانی مادر تیک‌تاک، از یک ابزار هوش مصنوعی برای تولید محتوای سه‌بعدی رونمایی کرد. این ابزار Seed3D 1.0 نام دارد و یک مولد مدل سه‌بعدی معمولی نیست؛ این ابزار می‌تواند یک تصویر دوبعدی تکی را به مدل سه‌بعدی کامل و آماده شبیه‌سازی تبدیل کند.

ابزارهایی مانند Gaussian Splatting و پروژه‌های متن‌بازی مانند Hunyuan3D در حوزه تولید محتوای سه‌بعدی عملکرد بسیار خوبی دارند، بااین‌حال بایت‌دنس ادعا می‌کند که Seed3D 1.0 هم رقبای متن‌باز و هم رقبای بسته را در کیفیت بافت و هندسه شکست می‌دهد. نکته جالب اینجاست که Seed3D 1.0 فقط با ۱.۵ میلیارد پارامتر به این کیفیت رسیده و حتی مدل‌های بزرگ‌تری مانند Hunyuan3D 2.1 (با ۳ میلیارد پارامتر) را نیز پشت سر گذاشته است.

نوآوری اصلی این ابزار استراتژی تولید گام به گام آن است: ۱. ابتدا تصویر ورودی توسط یک مدل زبان-بینایی (VLM) تحلیل می‌شود تا اشیا و نشانه‌های فضایی آنها استخراج شود. ۲. سپس برای هر شیء شناسایی‌شده، یک مدل سه‌بعدی مجزا تولید می‌کند. ۳. درنهایت تمام مدل‌های سه‌بعدی مجزا را براساس چیدمان فضایی پیش‌بینی‌شده توسط VLM در یک صحنه کامل مونتاژ می‌کند.

مدل Seed3D 1.0 بایت‌دنس

برخلاف بسیاری از مدل‌های دیگر، خروجی Seed3D 1.0 فقط برای اهداف تحقیقاتی یا رندرهای ساده نیست؛ این مدل‌ها «آماده شبیه‌سازی» هستند. برای مثال این مدل‌ها را می‌توان مستقیماً در پلتفرم‌های شبیه‌سازی مانند Isaac Sim (متعلق به انویدیا) برای آموزش ربات‌ها ادغام کرد.

وقتی مدل سه‌بعدی در شبیه‌ساز بارگذاری می‌شود، VLM مقیاس واقعی شیء را تخمین می‌زند و Isaac Sim به‌طور خودکار مش‌های برخورد (Collision Mesh) را برای آن تولید می‌کند. این بدان معناست که می‌توان شبیه‌سازی‌های فیزیکی مانند برداشتن اشیا توسط بازوی رباتیک را بلافاصله و بدون تنظیمات دستی زمان‌بر آغاز کرد.

همچنین Seed3D 1.0 می‌تواند صحنه‌های کامل بسازد؛ این ابزار قابلیت ساخت یک شی واحد (مانند یک صندلی) یا یک صحنه داخلی کاملاً پرجزئیات (مانند یک دفتر کار) و حتی یک منظره شهری در مقیاس بزرگ را دارد. براساس ارزیابی‌های انسانی، Seed3D 1.0 در ۶ بُعد مهم از جمله جزئیات دقیق و بازسازی ویژگی‌های پیچیده، عملکردی رقابتی و قوی از خود نشان داده و در بنچمارک‌های ارزیابی هندسه (مانند ULIP-I و Uni3D-I) نیز از رقبای خود پیشی گرفته است.