OpenAI выпустила Codex AI — обученную модель GPT-3 на коде GitHub
11 августа 2021, 15:41
Компания OpenAI объявила о выпуске ИИ-инструмента Codex AI, способного превращать любые фразы, написанные на естественном (английском) языке, в код JavaScript. Используя полученные заготовки, бета-тестеры могут создавать новые программные модули.
Это уже второе важное объявление, сделанное компанией в этом году. В начале года она объявила об открытии доступа к своему ИИ-интерфейсу GPT-3 (Generative Pre-trained Transformer 3) для крупных заказчиков.
GPT-3 — это алгоритм обработки естественного языка третьего поколения. В настоящее время он является наиболее крупной и продвинутой языковой моделью в мире. По заявлению разработчиков, эта система может быть использована для решения «любых задач на английском языке». Для этого пользователю достаточно зайти в интернет и «перевести» свой запрос, сделанный на обычном английском языке, в компьютерный код.
При переходе на GPT-3 существенно возросло количество используемых параметров по сравнению с GPT-2: с 1,5 до 175 млрд. Обучение модели происходило на суперкомпьютере Microsoft Azure AI, специально построенном для OpenAI. Для обучения алгоритма было собрано более 570 Гбайт текстов, включающих данные проекта Common Crawl, английскую часть Wikipedia, два датасета с книгами и датасет WebText2 с текстами веб-страниц. Текстовая часть на русском языке составляла только 0,11% документов, входящих в датасет для обучения.
После того, как в сентябре 2020 года Microsoft получила эксклюзивную лицензию на использование модели GPT-3 в своих продуктах и доступ к исходному коду, был создан инструмент Microsoft CoPilot. Разработчики могут использовать его для ускорения и упрощения написания кода.
Анонсированный в июне 2020 года закрытый API на базе GPT-3, стал доступен только для избранных крупных разработчиков. Компания OpenAI пояснила это тем, что существует три причины, не позволяющие ей выкладывать API в широкий доступ: 1) желание собрать инвестиции для продолжения исследований; 2) необходимость владения крупной инфраструктурой для запуска таких больших моделей, как GPT-3; 3) желание OpenAI контролировать использование технологии и ограничивать доступ тем, кто ей «злоупотребляет».
Как стало известно, OpenAI работает также над версией, которую могут использовать обычные пользователи. Открытие Codex AI для бета-пользователей — это шаг в этом направлении.
Codex AI — это часть GPT-3, обученная только на общедоступном коде на GitHub. Она включает различные фразы типа «заставить мяч отскакивать от сторон экрана» или «загрузить эти данные с помощью общедоступного API и отсортировать их по дате». Используя эти примитивы, можно сгенерировать рабочий код на одном из десятка языков программирования.
Новый инструмент понимает элементы кода, такие как управляющие команды для веб-сервера, элементы управления с клавиатуры или средства манипуляции с объектами и анимацию. Он умеет реагировать на команды естественного языка, такие как «make it smaller and crop it» («уменьшить и обрезать») или «have its horizontal position controlled by the left and right arrow keys» («настроить горизонтальный уровень с помощью клавиш со стрелками влево и вправо»). Он также понимает, что sky (небо) — это верхняя часть экрана, когда встречает фразу «заставить валун упасть с неба».
Новый инструмент запоминает свои более ранние заготовки и может переносить преобразования имен, переменные и другие параметры.
Ранее редакция THG.ru опубликовала статью об искусственном интеллекте. Искусственный интеллект уже давно занял важное место в научно-фантастической литературе и голливудских блокбастерах. Именно они формируют мнение большинства людей о том, что из себя представляет ИИ, и чего от него следует ожидать. Но насколько это мнение соответствует реальному положению вещей? Давайте разбираться. Подробнее об этом читайте в статье «Искусственный интеллект: правда и вымысел».
Читайте также:
Первый ноутбук realme realme Book получит функцию разделения экранов PC Connect
Google создает бесшовную систему безопасности для всех устройств экосистемы
Coinbase добавила поддержку криптовалют к дебетовым картам с привязкой Apple Pay и Google Pay
Apple подключила дебетовые карты Mastercard в сервис мгновенных переводов Apple Cash
FSF готов выплатить по 500 долларов за исследования, изучающие законность GitHub Copilot
Источник