Организация MLPerf, которая проводит комплекс из 7 тестов, ставших эталоном де-факто для тестирования систем искусственного обучения, не так давно обновила собственный рейтинг. И абсолютным фаворитом в этом рейтинге стала компания NVidia, популярная всем как ведущий мировой производитель графических графических адаптеров и микропроцессоров. Суперкомпьютерная система NVidia, основой которой являются графические ускорители A100, побила все 16 имеющихся рекордов. Но, справедливости ради необходимо отметить, что в неких категориях компания NVidia была единственным участником, хотя в остальных категориях конкурентами NVidia были такие известные компании, как Alibaba, Dell, Fujitsu, Гугл и Tencent.
Рейтинг MLPerf поддерживается консорциумом, в который входят как самые значимые «игроки» в области искусственного ума, компании Facebook, Tencent, Гугл, так и компании-стратапы Cerebras, Mythic и Sambanova. Проводимые испытания основаны на измерении времени, которые требуются компу для обучения нейронных сетей до уровня нужной точности выдаваемых ими результатов. Отметим, что с момента публикации предшествующего варианта рейтинга MLPerf в 2019 году, производительность систем-лидеров возросла в среднем в 2.7 раза.
В сегодняшнем перечне тестов MLPerf, по отношению к предшествующему, возникло два новейших теста — BERT и DLRM. Тест BERT (Bi-directional Encoder Representation from Transformers) основан на методах, активно использующихся в задачках обработки естественного языка, таковых, как переводы текстов, поиск, восприятие инфы, ответы на вопросцы и генерация новейших текстов. Нейронные сети, задействованные в этом тесте, прошли обучение (педагогический процесс, в результате которого учащиеся под руководством учителя овладевают знаниями, умениями и навыками) на данных Википедии. Отметим, что с сиим тестом суперкомпьютер NVidia совладал за 0.81 минутки. Наиболее наилучший итог, по имеющейся инфы, 0.39 минутки, показывает лишь экспериментальная система компании Гугл, построенная на специализированных тензорных микропроцессорах (Tensor Processing Unit, TPU) и использующаяся для проведения внутренних научно-исследовательских работ, которая, по понятным причинам, не воспринимает роли в рейтинге MLPerf.
2-ой новейший тест DLRM (Deep Learning Recommendation Model), работает на базе алгоритмов, использующихся в системах онлайн-торговли, обработки поисковых результатов и в работе неких рейтинговых функций соц сетей. Нейронные сети, применяемые в этом тесте, учились на спец наборе данных о кликах 4 млрд юзеров за 24-дневный период, размер которого равен одному терабайту и который был подготовлен компанией Criteo AI Lab. Суперкомпьютеру NVidia для обучения нейронной сети потребовалось 3.3 минутки времени и, как в случае предшествующего теста, экспериментальная система компании Гугл показала наилучший итог в 1.2 минутки.
Кроме введения 2-ух новейших тестов, были повышены уровни трудности и неких остальных тестов, а именно теста Mini-Go, который заключается в игре Go на малой доске, размером 19 на 19 клеток. «Это один из самых сложных тестов» — говорят представители компании NVidia, — «Компу нужно сразу уметь и играться в Go, обрабатывать поступающие от игрового процесса данные и учить на базе этих данных нейронную сеть. Сложность состоит в том, что сеть учится не на каком-то заблаговременно приготовленном наборе данных, а на динамически создаваемом наборе, который дополняется по мере продвижения выполнения задачки».
Способ самообучения, использующийся в тесте Mini-Go, имеет заглавие Reinforcement Learning и он имеет принципиальное значение для области робототехники, где при его помощи боты сумеют без помощи других учиться выполнению новейших задач без риска нанесения вреда расположенному рядом оборудованию либо людям. В этом тесте конкурентнсть суперкомпьютеру компании NVidia составила система компании Intel (409 минут) и, опять, экспериментальная система компании Гугл (160 минут).
И в заключение отметим, что суперкомпьютером компании NVidia, который проходил испытания MLPerf, является система Selene, построенная на базе архитектуры DGX SuperPOD. Эта система занимает 7-ю позицию в рейтинге самых массивных суперкомпьютеров Top500, и она является 2-ой по мощности суперкомпьютерной системой промышленного предназначения в мире на нынешний денек.
Источник:
