دستیارهای مبتنی بر هوش مصنوعی با سرعتی چشمگیر از ابزارهای متنی ساده به همراهانی فراگیر و چندوجهی بدل می‌شوند. گوگل در راستای این تحول، ویژگی نوآورانه «بینایی هدایت‌شده» (Guided Vision) را در اپلیکیشن Gemini Live ادغام کرده است تا امکان اشتراک‌گذاری زنده تصاویر از طریق دوربین گوشی و دریافت تحلیل‌های لحظه‌ای را برای کاربران فراهم سازد.
تحلیل زنده محیط با تکیه بر زیرساخت پروژه آسترا
پیش از این، تعامل با سرویس جمنای لایو تنها به مکالمات صوتی محدود بود. اکنون با اضافه شدن قابلیت پردازش پیوسته ویدیو که ریشه در دستاوردهای پروژه آسترا (Project Astra) دارد، نیازی به ثبت عکس‌های پیاپی نیست. کاربر می‌تواند حین گفتگو، دوربین دستگاه خود را به سمت سوژه مورد نظر بگیرد و راهنمایی‌های فوری صوتی و تصویری دریافت کند. مهندسان گوگل با بهینه‌سازی زیرساخت مدل‌های چندوجهی جمنای، تأخیر زمانی پاسخ‌دهی را به حداقل ممکن رسانده‌اند.
کاربردهای کلیدی سیستم در تعاملات روزمره شامل موارد زیر است:
-
ارائه دستورالعمل‌های گام‌به‌گام: راهنمایی برای عیب‌یابی و تعمیر وسایل خانگی یا نحوه اتصال صحیح کابل‌ها.
-
ترجمه هم‌زمان متون محیطی: تشخیص و ترجمه زنده تابلوها و نوشته‌های موجود در محیط فیزیکی.
-
بهینه‌سازی و چیدمان فضا: تحلیل مرتب‌سازی قفسه‌ها و پیشنهاد راهکارهای کاربردی برای سازمان‌دهی محیط.
-
درک موقعیت مکانی اجسام: تعقیب و شناسایی موقعیت اشیا در قاب دوربین در طول مکالمه.
رقابت فشرده با اوپن‌ای‌آی در عرصه هوش مصنوعی چندوجهی
عرضه قابلیت Guided Vision پاسخی صریح به ویژگی‌های پیشرفته ویدیویی در مدل GPT-4o به شمار می‌رود. این دستاورد گامی مهم برای کاهش فاصله میان ورودی‌های چندرسانه‌ای و درک انسانی است تا کاربران به جای توصیف‌های متنی طولانی، تنها با نشانه گرفتن دوربین به سمت هدف، پاسخ دقیق دریافت کنند.
این به‌روزرسانی از طریق اپلیکیشن گوگل روی سیستم‌عامل‌های اندروید و iOS قابل دسترسی است.