В компании Google ведутся разработки проекта Pathways, новой архитектуры нейронных сетей, которые смогут выполнять сразу множество разных задач и осваивать новые.
Google занимается разработкой проекта, связанного с искусственным интеллектом, в рамках которого будут созданы нейросети «следующего поколения», способные запоминать «тысячи и миллионы различных задач». Проект получил название Pathways.
На сегодняшний день нейросети тренируют, как правило, на выполнение какой-то одной задачи. Например, если нейросеть используется для исправления ошибок в написании слов, то, если ее перетренировать на поиск грамматических ошибок, она забудет, как исправлять орфографические.
«Примерно так сегодня тренируются большая часть моделей машинного обучения. Вместо того, чтобы расширять существующие модели для обучения новым задачам, мы тренируем новые модели с нуля — для выполнения одной-единственной задачи, — написал в блоге компании ее вице-президент Джефф Дин (Jeff Dean). — Как следствие, мы вырабатываем тысячи моделей для тысяч индивидуальных задач. В результате обучение новой задаче не только занимает больше времени, но и требует больше данных…».
В Google указывают, что архитектура Pathways призвана изменить это: нейросети вполне можно натаскивать на выполнение множества разных задач, считают в компании.
Идея состоит в том, чтобы обучать будущие системы ИИ сразу множеству навыков, которые та могла бы использовать и комбинировать для того, чтобы самостоятельно обучаться выполнению новых задач.
«Мы хотели бы иметь возможность тренировать модель так, чтобы она могла не только выполнять сразу несколько различных задач, но также использовать и комбинировать уже выработанные навыки для обучения новым задачам — быстрее и эффективнее, — написал Дин. — В частности, то, что модель узнает, обучаясь одной задаче, например, то, как по авиационным фотоснимкам выявлять возвышенности ландшафта, может помочь выполнению другой задачи — прогнозированию того, как по данной местности будут протекать потоки воды. Мы хотим, чтобы модель имела различные возможности, которые можно было бы использовать по мере надобности, и которые можно было бы комбинировать для выполнения новых, более сложных задач. Это небольшой шаг к тому, как мозг млекопитающих обобщает разные задачи».
В Google также указывают, что Pathways позволит реализовать мультимодальные модели, которые будут способны обрабатывать и понимать входящие визуальные, акустические и языковые данные — все одновременно. Так, чтобы когда машина имела дело со словом «леопард» или слышала, как кто-то произносит это слово, или анализировала видеозапись с изображением бегущего леопарда, реакция была бы одинаковой во всех трех случаях: машина распознавала бы идею леопарда.
Еще одной проблемой, с которой Pathway должен будет помочь справиться, заключается в том, что сегодняшние модели машинного обучения предполагают задействование всех нейроузлов сети, вне зависимости от того, насколько простой или сложной является задача. В Google полагают, что можно добиться «разреженной» активации, то есть, направлять новые задачи лишь на отдельные массивы нейроузлов. Такой подход еще и куда менее энергозатратен.
Концепция разреженной нейросети уже применена в проектах Google Switch Transformer, модели для понимания естественного языка, и Gshard. Они потребляют всего лишь одну десятую энергии, которую пришлось бы расходовать на более традиционную нейросеть, где активируются все нейроузлы разом.
В будущем Google ожидает, что Pathways приведет к созданию нейросетей, способных выполнять миллионы различных задач, проводить обобщения между ними, комбинировать их по мере надобности, понимать различные типы данных и работать с ними более эффективно, чем любая сегодняшняя сеть. Целью проекта является переход «от эры однозадачных моделей, которые просто распознают паттерны, к многозадачным интеллектуальным системам, которые отражают более глубинное понимание нашего мира и могут адаптироваться к новым потребностям».
«Заявленная цель выглядит исключительно амбициозной, — полагает Георгий Лагода, заместитель генерального директора группы компаний “Программный продукт”. — Но у Google вполне могут быть ресурсы для ее реализации. Современные подходы к созданию и обучению нейросетей действительно стоило бы оптимизировать, но это потребует радикального пересмотра существующих архитектур».
По мнению Лагоды, если идею, предложенную Google, удастся реализовать, это будет существенным шагом в направлении подлинного искусственного интеллекта, который сможет не только обучаться, но и создавать для себя новую методологию обучения. На сегодняшний день таких систем не существует.