Gemini для Mac научился "видеть" экран и автоматически редактировать надиктованный текст

Google расширила возможности Gemini для MacOS. ИИ-ассистент научился автоматически редактировать надиктованный текст и анализировать содержимое экрана.

Об этом сообщает Lifehacker.

Разумное диктование без слов-паразитов 

Первая новинка - функция "умного диктования" (intelligent dictation), которая активирована по умолчанию для всех пользователей Gemini на Mac.

В отличие от стандартного голосового ввода, который просто превращает звуки в буквы, разработка от Google автоматически улучшает текст непосредственно в местоположении курсора.

При распознавании языка система мгновенно удаляет из текста речевой "мусор" - паузы, засекание и лишние звуки.

Главное удобство состоит в том, что функция работает в любом окне или приложении на Mac: достаточно нажать клавишу Fn и начать говорить.

Это позволяет диктовать черновики писем, сообщений или документы без необходимости переходить в окно чат-бота или вручную править текст.

Meta ШИ, который "видит" экран 

Второе обновление получило название "умный анализ экрана" (screen-aware reasoning). В отличие от диктовки, эта опция является добровольной и пользователи должны включить ее в настройках самостоятельно.

Функция предоставляет Gemini разрешение анализировать содержимое окон, открытых на мониторе Mac.

Благодаря этому ассистент может выполнять комплексные задачи:

Сводка заметок: если у вас открыто приложение с заметками, зажав Fn, можно попросить ИИ: "Сделай по этому краткий итог для дневной встречи".

Gemini читает текст с экрана, обработает его и вставит готовый результат в нужное место.

Каскадные команды: можно попросить составить письмо, поручив ИИ самостоятельно подтянуть данные из открытых файлов.

Исправление "на лету": если в процессе диктования вы измените мнение (например, скажете "Нет, перенеси встречу с 18:30 на 19:00"), ИИ поймет контекст и внесет коррективы в итоговый текст.

Угрозы конфиденциальности и риск "промпт-инъекций" 

Предоставляя алгоритмам доступ ко всему происходящему на рабочем столе, пользователь неизбежно подвергается рискам конфиденциальности и кибербезопасности.

Главная угроза для подобных ИИ-инструментов с расширенными правами - это так называемые промпт-инъекции (prompt injection).

Хакеры могут скрывать вредоносные команды на веб-сайтах или в документах.

Если пользователь попросит ИИ обработать такую страницу, ассистент воспримет скрытую команду в качестве указания владельца компьютера . В результате ИИ может выполнить вредное действие - например, загрузить опасный файл или попытаться получить доступ к сохраненным данным.

Обновленный Gemini для macOS развертывается глобально на английском языке. Добавление поддержки других языков в Google произойдет позже.