ИИ Copilot Vision от Microsoft научился «видеть» экран и помогать в приложениях

Microsoft начала тестировать новую функцию Copilot Vision для Windows, которая даёт ИИ-ассистенту возможность «видеть» содержимое экрана пользователя и помогать в работе с любыми приложениями. Раньше это работало только в браузере Edge.

Copilot Vision может, например, провести пользователя по возможностям Adobe Photoshop, выделяя нужные элементы на экране, или проанализировать фотографии и веб-страницы. На закрытом показе в честь 50-летия Microsoft журналисту The Verge Тому Уоррену удалось протестировать раннюю версию функции: ИИ помог ему в Minecraft и в оптимизации настроек видеоредактора Clipchamp.

Хотя функция уже встроена в инсайдерскую версию Windows, её пока могут попробовать только пользователи из США. Визуальные подсказки прямо на экране сейчас отключены, но они появятся позже. В целом Copilot Vision напоминает демонстрацию экрана во время видеозвонка — только без второго человека.

Кроме того, Microsoft начала тестирование поиска файлов с помощью Copilot. Теперь можно задавать ИИ вопросы о содержимом документов, хранящихся на компьютере. Поддерживаются форматы .docx, .xlsx, .pptx, .txt, .pdf и .json.

Обе функции работают в обычном приложении Copilot и не требуют нового ПК с Copilot Plus. В ближайшие недели или месяцы нововведения станут доступны всем пользователям Windows 11.