Что нового в ИИ в Windows 11 версии 24H2 (обновление 2024 г.)

Windows 11 получает третье обновление функций, и эта новая версия не похожа ни на одну другую, поскольку в ней представлено множество новых инноваций в области искусственного интеллекта, которых мы раньше не видели.

В версии 24H2 (обновление 2024 г.) операционная система представляет новую среду выполнения Windows Copilot, которая позволяет запускать многие функции ИИ, такие как Windows Recall, Live Captions, Auto Super Resolution, Voice Clarity, Studio Effects и другие функции ИИ для некоторых встроенных приложений.

В этом руководстве я подробно расскажу о функциях ИИ, которые, как ожидается, станут доступны в обновлении Windows 11 2024.

Какие изменения ИИ появятся в обновлении Windows 11 2024

В этом обновлении функций Microsoft добавляет около десятка функций на базе искусственного интеллекта, большинство из которых работают локально, без подключения к Интернету.

Среда выполнения Windows Copilot

Давайте начнем с Среда выполнения Windows Copilotкоторый по сути является сердцем ИИ в Windows 11. Это «слой» в операционной системе, который объединяет более 40 различных моделей ИИ, способных работать локально на устройстве.

Некоторые из этих моделей ИИ включают Phi Silica, малую языковую модель (SLM) от Microsoft, которая предлагает множество преимуществ, имеющихся в больших языковых моделях (LLM). Кроме того, вы найдете такие модели, как Screen Region Detector, Optical Character Recognizer, Natural Language Parser и Image Encoder.

В рамках этой интеграции компания также предоставляет Библиотека Windows Copilotкоторая представляет собой набор API (интерфейсов прикладного программирования), позволяющий разработчикам легко интегрировать возможности ИИ в свои приложения. Эта библиотека всегда готова, пассивно запущена на компьютере для включения новых функций ИИ.

Все последние новости, обзоры и руководства для фанатов Windows и Xbox.

Хотя некоторые функции ИИ, такие как Copilot, зависят от облака, среда выполнения Windows Copilot позволяет многим функциям работать локально, не отправляя никаких данных в облако.

Отзыв Windows

Recall — это, пожалуй, самая ожидаемая и противоречивая функция, которая появится в Windows 11 (версия 24H2). Функция постоянно делает снимки экрана всего, что вы делаете, и использует несколько моделей ИИ, работающих на устройстве с помощью NPU (Neural Processing Unit) для записи (буквально). Затем функция анализирует контент и контекст и сохраняет все на устройстве внутри нового семантического индекса Windows.

Всякий раз, когда вам нужно что-то найти, вы можете запустить приложение «Recall» для поиска на естественном языке или использовать ползунок временной шкалы для прокрутки назад во времени. Когда вы выбираете снимок, screenray упростит взаимодействие с контентом и копирование текста или изображений.

Вы также можете использовать доступные элементы управления, чтобы открыть приложение или веб-сайт, поделиться, удалить или открыть снимок с помощью инструмента «Ножницы».

Для этой функции требуется хранилище для хранения снимков и индексной базы данных. Распределение хранилища по умолчанию составляет 25 ГБ для компьютера с жестким диском объемом 256 ГБ, и распределение будет увеличиваться в зависимости от размера накопителя.

В приложении «Настройки» система добавляет новую страницу «Отзыв и снимки» для управления состоянием функций, хранилищем и фильтрами для исключения веб-сайтов и приложений из процесса отзыва.

Важно отметить, что Windows Recall не будет отслеживать веб-сайты при использовании InPrivate или Incognito в браузерах на базе Chromium, таких как Microsoft Edge и Google Chrome, и вы можете использовать настройки фильтров, чтобы исключить определенные веб-сайты, которые вы не хотите, чтобы отслеживала эта функция.

Хотя эта функция может быть полезной во многих случаях, она все еще спорна, поскольку не может завоевать доверие пользователей. Существует много сомнительных проблем безопасности и конфиденциальности, некоторые из которых Microsoft быстро решила.

Конечно, по словам компании, ее подход к отзыву соответствует самым строгим правилам безопасности, таким как использование Процессор безопасности Microsoft Plutonаутентификация Windows Hello и шифрование устройств с помощью BitLocker, но есть много вещей, которые кажутся неправильными.

Например, Windows Recall не модерирует информацию, которую находит в процессе создания снимка, а это означает, что любая конфиденциальная информация мгновенно становится доступной для поиска.

Когда компания впервые представила эту функцию, данные Recall хранились на устройстве в незашифрованном виде, и любой желающий мог их получить, но новые изменения функции будут шифровать эти данные и потребуют аутентификации для использования приложения для поиска любых данных с помощью Windows Recall.

Подробнее о Windows Recall вы можете узнать в этой статье, в которой я подробно описал работу этой функции.

Эффекты Windows Studio

Windows Studio Effects — это набор функций, использующих NPU для применения специальных эффектов на веб-камере или микрофоне. Эта функция не совсем новая, но теперь, начиная с версии 24H2, Microsoft начнет делать ее широкодоступной для совместимых устройств.

В качестве эффектов, в зависимости от поддержки, доступной на устройстве, вы можете получить доступ к размытию фона, зрительному контакту, автоматическому кадрированию, голосовому фокусу, портретному освещению, творческим фильтрам и голосовому фокусу.

Доступ к функциям можно получить из всплывающего окна «Быстрые настройки» на странице «Эффекты студии», включив или выключив нужную функцию.

Вы также можете управлять этими настройками из Настройки > Bluetooth и устройства > Камера. Выберите камеру из списка, и доступные функции появятся в настройках «Эффекты камеры».

Эффекты фона включают стандартное и портретное размытие. Зрительный контакт соединяет ваши глаза, чтобы казалось, что вы смотрите в камеру, и вы можете выбрать стандартный режим или режим телесуфлера.

Автоматическое кадрирование масштабирует и обрезает поле зрения, чтобы удерживать человека в центре экрана. Портретный свет улучшает условия освещения для улучшения видимости в условиях слабого освещения. Творческие фильтры добавляют забавную анимацию и блики, а голосовой фокус фильтрует фоновый шум во время видеозвонков.

Доступные на вашем устройстве эффекты будут зависеть от периферийных устройств и возможностей NPU.

Живые субтитры

Live Captions — еще одна функция, которая уже некоторое время присутствует в Windows 11. С выходом обновления 2024 года эта функция теперь работает на основе искусственного интеллекта и включает в себя переводы в реальном времени.

Перевод в реальном времени — это функция специальных возможностей, которая призвана помочь любому человеку понимать аудио с помощью автоматической транскрипции и перевода из любого источника звука в Windows 11. Например, перевод в реальном времени подойдет для перевода видео YouTube или голосового звонка.

Четкость голоса

Microsoft также добавляет Voice Clarity — новую функцию, которая использует ИИ для анализа и удаления фонового шума в реальном времени во время разговоров или записей.

Функция работает автоматически, поэтому нет настройки для управления ею. Первоначально эта функция была зарезервирована для устройств Surface, но она будет доступна как часть обновления 2024 года без NPU.

Поскольку эта функция будет доступна на устройствах без NPU, это означает, что не каждая функция ИИ потребует аппаратного обеспечения существующих компьютеров.

Автоматическое суперразрешение

Это еще одна долгожданная функция. Auto Super Resolution (Auto SR) — это функция, которая будет использовать ИИ на устройстве для масштабирования игр с целью повышения частоты кадров и качества изображения.

Функция работает аналогично NVIDIA DLSS Super Resolution, AMD FidelityFX Super Resolution и Intel XeSS, но Auto SR автоматически масштабирует игры, не требуя от разработчиков обновления своих игр.

Когда эта функция включена, Auto SR будет обрабатывать процесс масштабирования на NPU (Neural Processing Unit), а не на GPU (Graphic Processing Unit). В результате вы не только получите лучший игровой опыт, но и энергоэффективность.

Настройка доступна на странице «Графика», и вы можете включить ее глобально на компьютере или для каждого приложения.

Если вы запустите игру, совместимую с Auto SR, система покажет всплывающее уведомление о доступности поддержки, которую можно включить в приложении «Настройки».

Microsoft также создал веб-сайт с Qualcomm для составления списка игр, совместимых с версией ARM Windows 11. На странице также указано, совместима ли игра с Auto Super Resolution. Однако на момент запуска будет поддерживаться менее дюжины игр, включая Borderlands 3, Control (DX11), Dark Souls III, God of War, Kingdom Come: Deliverance, Resident Evil 2, Resident Evil 3, Sekiro Shadows Die Twice, Sniper Ghost Warrior Contracts 2 и The Witcher 3.

Важно отметить, что автоматическое суперразрешение (Auto SR) — это не то же самое, что суперразрешение (SR), которое обычно относится к технологиям масштабирования от Intel, AMD и Nvidia.

В отношении функция Auto SRКомпания Microsoft в сотрудничестве с Intel, AMD и Nvidia также создала новую технологию DirectSR, которая позволяет разработчикам игр интегрировать существующие технологии масштабирования ИИ в единый набор API вместо того, чтобы вручную интегрировать каждую технологию.

Изменить стиль изображения для фотографий

Приложение «Фотографии» теперь включает новую функцию «Изменить стиль изображения», которая использует встроенный искусственный интеллект, чтобы помочь вам изменить стиль любой фотографии с помощью различных фотографических приемов, похожих на фильтры, которые вы привыкли использовать на телефонах.

Вы даже можете использовать текстовую подсказку, чтобы описать и дать инструкции Photos о том, как вы хотите изменить фон и другие части изображения.

Кроме того, Microsoft также переносит «Image Creator» из приложения Paint в Photos, чтобы преобразовать текстовую подсказку в изображение с помощью ИИ. Эта конкретная функция использует технологию Copilot AI для использования облака для создания изображений с использованием языковой модели OpenAI DALL-E.

Соавтор Paint

В дополнение к функции «Image Creator» в приложении Paint появилась новая функция «Cocreator», которая сканирует ваш рисунок и помогает вам создавать собственные произведения искусства.

Вы можете использовать эту функцию с текстовой подсказкой и использовать ползунок для регулировки интенсивности творчества.

Эта конкретная функция использует алгоритм на основе диффузии для создания высококачественного изображения с минимальными усилиями с вашей стороны.

По крайней мере, на начальном этапе Cocreator будет функцией для ПК Copilot+.

Приложение «Второй пилот»

В обновлении Windows 11 2024 года софтверный гигант меняет интеграцию Copilot AI с помощью нового приложения вместо боковой панели, которая выдвигается с правой стороны.

Приложение на самом деле Copilot.Microsoft.com версия чат-бота AI, обернутая вокруг рамки приложения. Опыт представляет новый дизайн, похожий на веб-интерфейс ChatGPT с левой панелью для истории подсказок и других опций, таких как начало нового разговора, плагины и блокнот.

Вы по-прежнему можете изменить стиль беседы с помощью опции в верхней части страницы.

В результате этих изменений вы больше не сможете использовать Copilot для изменения настроек, кнопка «Copilot» больше не является частью системного трея, а Microsoft также удаляет настройку «Copilot» из приложения «Параметры».

Компания также планирует обновить интеллектуальную систему Copilot с помощью OpenAI GPT-4oкоторый может обрабатывать текст, изображения, аудио и видео в качестве входных и выходных данных.

Поскольку Copilot использует облако для анализа и обработки ответов, эта функция доступна всем и не является эксклюзивной для Copilot+ PC.

Предложения второго пилота

Хотя приложение Copilot больше нельзя использовать для изменения настроек системы, Microsoft также представляет «предложения Copilot».

Предложения Copilot будут появляться в приложениях, когда ИИ-чатбот знает, что это может быть полезно. Например, в приложении «Настройки» вы можете найти предложения в верхней части страницы для устранения проблем, включения функций и т. д.

В проводнике файлов наведение курсора на изображение может вызвать интерфейс подсказки Copilot. Вы можете использовать эту подсказку, чтобы задать вопросы об изображении и выполнить действия, например удалить фон, создать другое изображение или изменить его размер.

Если вы получили электронное письмо, вы можете увидеть всплывающее уведомление с предложением кратко изложить вложение к документу и т. д.

Важный: Обновление Windows 11 2024 Update стало частично доступно 18 июня 2024 г.для ПК Copilot+но он не будет включать в себя все предполагаемые функции, в том числе Отзыв Windowsпоскольку он был отложен до дальнейшего уведомления. В сентябре или октябре обновление функций станет более широко доступным для существующих устройств. В результате некоторые новые функции и изменения могут быть доступны не всем в первый день. Кроме того, некоторые функции (особенно функции ИИ) могут потребовать наличия нового оборудования.

Больше ресурсов

Для получения дополнительных полезных статей, обзоров и ответов на распространенные вопросы о Windows 10 и Windows 11 посетите следующие ресурсы: