مایکروسافت با استفاده از هوش مصنوعی مشکل دوربین زیر نمایشگر را حل می کند

محققان مایکروسافت روشی مبتنی بر هوش مصنوعی توسعه داده‌اند که مات شدن تصاویر پس از ثبت با دوربین زیر نمایشگر را برطرف می‌کند.

پس از موفقیت تولیدکننده‌های گوشی هوشمند در استفاده از حفره برای دوربین‌های سلفی در نمایشگرها، دستاورد بزرگ بعدی را می‌توان در استفاده از دوربین زیر نمایشگر جست‌وجو کرد. در چنین پیکربندی، دوربین‌ سلفی پشت یک صفحه‌ی شفاف OLED قرار می‌گیرد که در زمان غیرفعال بودن دوربین، مانند نمایشگر عادی رفتار می‌کند. این بخش از پنل نمایشگر، نور را به اندازه‌ی کافی عبور می‌دهد تا حسگر دوربین زیر آن، توانایی ثبت تصویر داشته باشد. عبور نور از یک صفحه‌ی شیشه‌ای پیش از رسیدن به لنز و حسگر دوربین، مشکلاتی را در تصویر نهایی ایجاد می‌کند که تیم تحقیقاتی Microsoft Research در جدیدترین پروژه‌ی خود روی رفع آن متمرکز شده است.

محققان مایکروسافت می‌‌گویند شکست نوری که به‌خاطر عبور پرتوها از میان ساختار پیکسلی نمایشگر رخ می‌دهد، باعث مات شدن تصویر می‌شود. به‌علاوه، کنتراست و سطوح نور هم از این رخداد تأثیر می‌گیرند و درنهایت حتی شاید برخی از جزئیات تصویر، به‌خوبی نمایش داده نشوند. تغییر در فاکتورهای مذکور، به‌نوعی انجام می‌شود که وابستگی کاملی به طراحی پیکسلی نمایشگر دستگاه دارد.

تغییر در ساختار تصویر در دوربین‌های زیر نمایشگر، به‌صورت قابل پیش‌بینی رخ می‌دهد. در تمامی موارد، ساختار پیکسل‌ها در محور افقی، تأثیر اصلی را بر شکست نور و مات شدن تصویر دارد که می‌توان مقدار آن را پیش‌بینی کرد.

به خاطر ماهیت قابل پیش‌بینی بودن تغییر در فرم عکس‌ها، می‌توان با برخی راهکارهای نرم‌افزاری، تاحدودی مشکل دوربین زیر نمایشگرهای شفاف (موسوم به T-OLED) را برطرف کرد. محققان برای این کار از یک شبکه‌ی عصبی با ساختار U-Net بهره بردند که در آزمایش‌‌های اولیه، علاوه بر کاهش نرخ سیگنال به نویز تصویر، جلوه‌های مات آن را نیز از بین می‌برد. تیم تحقیقاتی در آزمایش‌های خود توانست تصویر را به‌گونه‌ای بازسازی کند که تفاوت چندانی با یک عکس ثبت‌شده در شرایط عادی نداشت. با نگاه به تصاویر زیر، بهبود قابل‌توجه جلوه‌ی مات را در عکس نمونه، مشاهده می‌کنید.

^{از چپ به راست: تصویر اصلی - تصویر ثبت‌شده با نمایشگر T-OLED - تصویر بهبودیافته به‌کمک هوش مصنوعی}

استفاده از هوش مصنوعی در فرایندهای ثبت تصویر، کاربردهای متنوعی را به کاربران ارائه می‌کند. به‌‌عنوان مثال می‌توان پس‌زمینه‌ی تصویر را مات یا حذف کرد. روش‌های متعدد دیگری هم در زمان ثبت ویدئو قابل اجرا خواهند بود که خصوصا در زمات برقراری تماس‌های ویدیویی، کاربرد زیادی دارند.

ظاهرا برنامه‌ی تحقیقاتی مایکروسافت، با هدف توسعه‌ی قابلیت هوش مصنوعی برای نمایشگرهای بزرگ انجام می‌شود. درواقع ردموندی‌‌ها می‌خواهند کیفیت تماس‌های ویدیوی را در چنین شرایطی بهبود دهند. به‌هرحال موفقیت آن‌ها با تمرکز بر این کاربرد هم می‌تواند به دستاوردی برای استفاده در گوشی‌های هوشمند و دوربین‌های سلفی زیر نمایشگر بینجامد.