گوگل با استفاده از ابزار پیشرفته هوش مصنوعی Lumiere، توانسته ویدیوهای با کیفیت را از متن و تصاویر تولید کند

تیمی از پژوهشگران گوگل یک ابزار هوش مصنوعی جدید با نام Lumiere توسعه داده‌اند که به عنوان نسل بعدی ابزارهای تولید ویدیو بر اساس متن معرفی می‌شود. گوگل ادعا کرده است که Lumiere قادر به ایجاد ویدیوهای کامل با حرکات منسجم، روان و واقعی است.

بسیاری از مدل‌های هوش مصنوعی موجود برای تولید ویدیوها ممکن است در نمایش حرکات مشکلات داشته باشند یا حتی اگر بتوانند این کار را به خوبی انجام دهند، سایر جزئیات ممکن است دچار اختلال شوند. به منظور حل این مشکلات، گوگل در Lumiere از یک رویکرد متفاوت برای تولید ویدیو استفاده کرده است. به جای قرار دادن فریم‌های جداگانه کنار یکدیگر، Lumiere تمام ویدیو را در یک فرآیند ایجاد می‌کند و می‌تواند به طور همزمان موقعیت و حرکت اشیا را مدیریت کند.

هوش مصنوعی Lumiere هنوز در حالت تحقیقاتی قرار دارد، بنابراین امکان استفاده مستقیم از آن وجود ندارد. با این حال، گوگل یک ویدیو کوتاه از قابلیت‌های این ابزار را به اشتراک گذاشته که می‌توانید در زیر مشاهده کنید.

Lumiere، ابزار هوش مصنوعی جدید از گوگل، قابلیت‌هایی فراگیر در زمینه تولید ویدیو دارد. این ابزار می‌تواند به‌عنوان یک ابزار “متن به ویدیو” و “تصویر به ویدیو” عمل کند، به این معنا که با توجه به متن یا تصاویر ورودی، ویدیوهایی با کیفیت و واقعی ایجاد کند. همچنین، امکان ارائه سبک دلخواه توسط کاربران و ویرایش ویدیو با دستورات متنی نیز وجود دارد.

گوگل از معماری فضا-زمان برای ساخت Lumiere استفاده کرده است، به این ترتیب که این ابزار قادر به درنظر گرفتن تمام جنبه‌های حرکت و مکان در فیلم است. به عبارت دیگر، Lumiere می‌تواند در فرآیند تولید ویدیو، مکان قرارگیری سوژه‌ها را در نظر بگیرد و همچنین جزئیاتی از جمله زمان و نحوه حرکت اشیا را بررسی کند.

در تحقیقات خود، محققان ذکر کرده‌اند:

“مدل ما طراحی شده است تا بتواند به‌طور مستقیم ویدیوهایی با نرخ تمام‌فریم و وضوح پایین را با اعمال پردازش در مقیاس‌های فضا-زمان چندگانه تولید کند.”

هنوز Lumiere برای استفاده عمومی منتشر نشده است، اما اگر به آشنایی بیشتر با تکنولوژی هوش مصنوعی گوگل علاقه‌مندید، می‌توانید به صفحه GitHub آن مراجعه کنید که ویدیوهای آزمایشی را برای مشاهده فراهم کرده است.