“بازوهای صوتی و بینایی ChatGPT؛ یک قدم جدید به سوی تعامل بیشتر”

OpenAI به تازگی از ویژگی‌های جدید صوتی و تصویری برای ChatGPT پرده‌برداشت. به‌عنوان مثال، اکنون می‌توانید مسائل ریاضی کتبی را به این چت‌بات ارسال کنید تا ChatGPT آن‌ها را مرحله به مرحله حل کند.

در رویداد امروز OpenAI، قابلیت‌های صوتی این چت‌بات به نمایش گذاشته شد و مهندسین OpenAI از آن خواستند که یک داستان درباره ربات‌ها ایجاد و توضیح دهند. یک نکته جالب این است که در حین توضیح داستان، «میرا موراتی»، مدیر ارشد فناوری OpenAI درخواست کرد که داستان را با صدای یک ربات واقعی بیان کند و ChatGPT فوراً صدای خود را تغییر داد.

هوش مصنوعی ChatGPT بهبود یافته و اکنون دسترسی به دوربین گوشی کاربران دارد، به‌طوری که می‌تواند بر اساس محتوای دوربین، وظایفی را انجام دهد. برای نمایش این قابلیت، تیم OpenAI معادله ریاضی را روی کاغذ نوشتند و آن را به ChatGPT نشان دادند تا به حل آن کمک کند. ChatGPT به جای ارائه پاسخ نهایی، آن‌ها را راهنمایی کرد تا به‌صورت گام‌به‌گام پاسخ مسئله خود را پیدا کنند.

در ادامه رویداد، قابلیت‌های بینایی ChatGPT در محیط دسکتاپ برای مشاهده کدها و تجزیه‌و‌تحلیل آن‌ها به‌نمایش گذاشته شد. OpenAI که در همین رویداد از نسخه دسکتاپ ChatGPT رونمایی کرده بود، در این آزمایش به سراغ قابلیت‌های مربوط به کدنویسی چت‌بات خود رفت و این مدل هوش مصنوعی توانست درباره کدهای در حال نوشتن در محیط دسکتاپ، اطلاعاتی ارائه کند و مشکلات احتمالی موجود در آن‌ها را به کاربر اعلام کند.

علاوه بر این، ChatGPT قادر به بررسی چارت‌ها و ارائه بازخورد و اطلاعات واقعی درباره آن‌ها است.

پس از آن، در رویدادی دیگر، توانایی‌های ترجمه تعاملی ChatGPT به‌روزرسانی شدند. تیم OpenAI نشان داد که این هوش مصنوعی می‌تواند به‌عنوان یک ابزار ترجمه همزمان عمل کند. ابتدا، ChatGPT کلماتی را به زبان ایتالیایی از موراتی دریافت کرد و آن‌ها را به انگلیسی تبدیل کرد. سپس موراتی یک پاسخ انگلیسی داد و ChatGPT پاسخ او را به زبان ایتالیایی توضیح داد.

این قابلیت جدید از ChatGPT می‌تواند به عنوان یک دستیار ترجمه مفید برای مسافران و افرادی که با زبان‌های مختلف سر و کار دارند، معرفی شود.

علاوه بر این، یکی از ویژگی‌های دیگری که ChatGPT معرفی کرده است، توانایی تشخیص احساسات مانند شادی یا غمگینی با نگاه به چهره کاربران از طریق دوربین است. این ویژگی در چند هفته آینده برای استفاده عمومی عرضه خواهد شد.

در این رویداد، OpenAI همچنین مدل هوش مصنوعی GPT-4o را معرفی کرد. این مدل به‌طور خاص در درک و بحث در مورد تصاویری که کاربران به اشتراک می‌گذارند، بسیار بهتر از مدل‌های دیگر عمل می‌کند، به ادعای OpenAI. به‌عنوان مثال، می‌توان با استفاده از این مدل از یک منو به زبان دیگری عکس گرفت و از GPT-4o درخواست کرد تا آن را ترجمه کند.

در آینده نیز با کمک این مدل، می‌توان در موارد جالب‌توجه دیگری نیز از آن بهره برد. به‌عنوان مثال، می‌توانید ChatGPT را به یک بازی ورزشی زنده معرفی کنید تا قوانین آن را برای شما توضیح دهد.