НЛП должно быть открытым. Более 500 исследователей пытаются сделать это возможным

Присоединяйтесь к высшим руководителям на конференции «Разговорный искусственный интеллект и интеллектуальный искусственный интеллект», представленной Five9. Смотри!


Ускорение развития искусственного интеллекта (ИИ) и обработки естественного языка (НЛП) окажет серьезное влияние на общество, поскольку эти технологии лежат в основе инструментов, которые многие из нас используют ежедневно. Однако ресурсы, необходимые для создания наиболее мощных моделей ИИ и НЛП, находятся в основном у технологических гигантов.

У этих технологических гигантов, владеющих этой технологией, есть ряд проблем с этой технологией трансформации, от того, кто решает, какие исследования будут опубликованы, до ее воздействия на окружающую среду и этические аспекты. Например, в то время как недавние модели НЛП, такие как GPT3 (от OpenAI и Microsoft), демонстрируют интересное исследовательское поведение, такие модели являются частными, и многим академическим организациям предоставляется ограниченный доступ или вообще отсутствует доступ к ответам на важные вопросы об этих моделях и возможностям обучения. , ограничения, потенциальные улучшения, предвзятость и справедливость.

Группа из более чем 500 исследователей из 45 разных стран — от Франции, США и Японии до Индонезии, Ганы и Эфиопии — собралась вместе, чтобы решить некоторые из этих проблем. Проект, в котором участвуют все авторы этой статьи, называется Великая наука, и наша цель — улучшить научное понимание возможностей и ограничений крупномасштабных моделей нейронных сетей в НЛП и создать разнообразный и многоязычный набор данных и обширную языковую модель в качестве исследовательских артефактов, открытых для научного сообщества.

BigScience был вдохновлен схемами научного творчества, которые существуют в других научных дисциплинах, таких как ЦЕРН и LHC в физике элементарных частиц, в которых открытое научное сотрудничество способствует созданию обширных артефактов, полезных для всего исследовательского сообщества. До сих пор в рамках проекта, который начался в мае 2021 года, был задействован широкий круг учреждений и дисциплин.

В проекте насчитывается более 20 рабочих групп и подгрупп, которые параллельно занимаются различными аспектами языкового моделирования, некоторые из которых тесно связаны и взаимозависимы. Данные играют решающую роль в этом процессе. В машинном обучении модель учится делать прогнозы на основе данных, которые она видела ранее. Наборы данных, для которых обычно обучаются большие языковые модели, являются большими, в основном ориентированными на английский язык и поступают из Интернета, что, помимо прочего, вызывает вопросы о предвзятости, справедливости, этике и конфиденциальности.

Таким образом, команда стремится ввести преднамеренную композицию набора обучающих данных, чтобы отдать предпочтение лингвистической, географической и социальной репрезентативности над оппортунистическими методами, которые в настоящее время определяют обучающие данные, используемые в очень больших моделях. Наши усилия по обработке данных также направлены на определение прав владельцев языков, организаций и сообществ. Это социальная и социальная проблема, а также техническая проблема. Команды инженеров и моделирования занимаются определением законов архитектуры и масштаба, например, с конкретной целью обучения языковой модели с мощностью до 210 миллиардов параметров машинного обучения на Французский суперкомпьютер Жан Зай в IDRIS.

Одна из наших целей — раскрыть и понять механизмы, которые позволяют языковой модели выдавать допустимый результат для любого естественного описания задачи, которую она получила, без явного обучения этому (способность, известная как поведение с нулевым выстрелом). Еще один интересный момент — изучить, как языковая модель может обновляться с течением времени. У нас также есть команда исследователей, работающих над стратегиями токенизации для разнообразного набора языков и моделирования многоязычия, чтобы гарантировать, что все функции НЛП переведены на другие языки, кроме английского. Другие работают над социальными последствиями, углеродным следом, управлением данными и правовыми последствиями моделей НЛП, а также над тем, как оценивать их внешнюю и внутреннюю оценку на предмет точности.

В результате этих огромных усилий BigScience стремится поделиться очень большим многоязычным корпусом, созданным ответственным, разнообразным, этичным и юридическим образом, всеобъемлющей многоязычной языковой моделью, демонстрирующей нетривиальное поведение нулевого выстрела таким образом, чтобы доступный для всех исследователей, например код и инструменты, связанные с этими артефактами, которые упрощают использование. Кроме того, это возможность разработать план проведения масштабных исследовательских инициатив в области ИИ. Наши усилия постоянно развиваются и растут, и каждый день к нам присоединяется все больше исследователей, что на сегодняшний день является крупнейшим открытым научным вкладом в искусственный интеллект.

Подобно конфликту между проприетарным программным обеспечением и программным обеспечением с открытым исходным кодом в начале 1920-х годов, ИИ находится на поворотном этапе, когда он может либо пойти в собственном направлении, а современные крупномасштабные модели все чаще разрабатываются внутри компаний. . и поддерживается в частном порядке или в открытом, коллективном и коллективном направлении, сочетая в себе лучшие аспекты открытого исходного кода и открытой науки. Важно, чтобы мы максимально использовали эту текущую возможность для продвижения искусственного интеллекта по этому ориентированному на сообщества пути, чтобы общество в целом могло получить выгоду.

Ясин Джерните — исследователь в HuggingFace. Он координирует работу с данными в рамках проекта BigScience в качестве председателя и соорганизатора группы управления данными.

Маттиас Галле возглавляет различные исследовательские группы Naver Labs Europe, занимающиеся разработкой искусственного интеллекта для нашего цифрового мира. Его внимание к BigScience заключается в том, как проверять, контролировать и обновлять большие предварительно обученные модели.

Виктор Сань — исследователь в Hugging Face. Его исследования сосредоточены на повышении устойчивости систем НЛП к производственным сценариям и механизмам обобщения.

Самсон Тан последний кандидат на степень доктора компьютерных наук в Национальном университете Сингапура и сопредседатель рабочей группы по токенизации в BigScience.

Томас Вольф является соучредителем и ведущим научным сотрудником HuggingFace и одним из руководителей инициативы BigScience.

Сузана Илич — технический менеджер программы в Hugging Face и руководит BigScience.

Маргарет Митчелл — отраслевой исследователь в области исследований искусственного интеллекта и сопредседатель Рабочей группы по управлению данными в BigScience.

VentureBeat

Миссия VentureBeat — быть цифровым квадратом для технических специалистов, которые получают знания о технологиях трансформации и транзакциях. На нашем веб-сайте представлена ​​основная информация о технологиях и стратегиях обработки данных, которые помогут вам руководить своей организацией. Мы приглашаем вас стать членом нашего сообщества, чтобы получить доступ к:

  • актуальная информация по интересующим вас темам
  • наши информационные бюллетени
  • закрытые идеи лидеров контента и доступ со скидкой к нашим ценным мероприятиям, таким как Трансформация 2021: Больше информации
  • сетевые функции и многое другое

Стать членом

[

generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
onlyfans hack
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator
generator

]

Add a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *