Apple представила свой «нейрофотошоп» с открытым исходным кодом
Группа исследователей из Apple и Калифорнийского университета в Санта-Барбаре представила систему искусственного интеллекта MGIE, которая позволяет пользователям редактировать изображения с помощью команд на естественном языке.
На рынке существует множество моделей искусственного интеллекта, которые предоставляют возможность редактировать изображения с помощью инструкций на естественном языке. Чтобы правильно выполнить редактирование, такие модели требуют от пользователя предоставления подробного описания изменений, которые необходимо выполнить.
Однако на практике пользователи часто вводят лишь краткие инструкции, что ограничивает полезность инструментов редактирования изображений на базе искусственного интеллекта. Система MGIE призвана устранить это ограничение. По словам разработчиков, программное обеспечение может надежно редактировать изображение, даже если пользователь описывает изменения, которые необходимо внести, всего в нескольких словах. MGIE достигает такой надежности за счёт объединения стандартного ИИ для редактирования изображений с большой языковой моделью.
Исследователи привели несколько примеров того, как можно использовать MGIE. Во время одного из тестов они ввели в MGIE фотографию пиццы вместе с инструкцией «сделай ее более полезной». В ответ система выдала отредактированную версию фотографии, на которой изображена пицца с большим количеством овощных начинок.
MGIE может не только добавлять объекты к изображению, но и удалять существующие. Более того, система предоставляет возможность выполнять более широкие правки, затрагивающие всю фотографию, а не только отдельные ее части. Пользователь может, например, попросить MGIE изменить яркость изображения или повысить уровень детализации.
Фирменный сервис пока поддерживает только описания на английском языке. MGIE пока не оформлен как отдельный сервис. Исходный код системы можно установить с GitHub, а в виде рабочего демо он представлен на сайте HuggingFace. Будет ли Apple использовать нейросеть в собственных продуктах пока не сообщается.