Партнерство Microsoft с OpenAI зародилось из зависти Google

Оказывается, основу сегодняшнего ландшафта искусственного интеллекта можно проследить — как вы знаете — из страха, зависти и сильных капиталистических амбиций. Электронные письма, раскрытые в рамках антимонопольного дела Министерства юстиции против Google, о котором впервые сообщил Business Insider, показывают, что руководители Microsoft выражают тревогу и зависть по поводу лидерства Google в области искусственного интеллекта. Это стимулировало срочность, которая привела к первоначальным инвестициям производителя Windows в миллиард долларов в своего теперь незаменимого партнера OpenAI.

В сильно отредактированной ветке электронной почты 2019 года под названием «Мысли об OpenAI» генеральный директор Microsoft Сатья Наделла пересылает длинное сообщение от технического директора Кевина Скотта финансовому директору Эми Худ. «Очень хорошее электронное письмо, в котором объясняется, почему я хочу, чтобы мы это сделали... а также почему мы будем следить за тем, чтобы наши инфраструктурные специалисты работали», — написал Наделла.

Скотт написал, что он «очень, очень обеспокоен» быстрорастущими возможностями Google в области искусственного интеллекта. Он говорит, что первоначально отверг «игровые трюки» компании, вероятно, имея в виду модели Google AlphaGo. Один из них победил чемпиона мира по го Кэ Цзе в 2017 году, что для того времени было выдающимся достижением. (Поздние модели Google превзошли эту модель, полностью отменив необходимость обучения человека.)

Но Скотт говорит, что отмахиваться от игрового прогресса Google «было ошибкой». «Когда они взяли всю инфраструктуру, которую создали для создания моделей [естественного языка], которые нам было нелегко воспроизвести, я начал относиться ко всему более серьёзно», — написал Скотт. «И когда я пытался понять, в чем заключаются все пробелы в возможностях между нами и Google в области обучения моделей, я очень, очень забеспокоился».

Скотт вспоминает, как Microsoft изо всех сил пыталась скопировать BERT-large от Google, модель искусственного интеллекта, которая расшифровывает значение и контекст слов в предложении. Скотт возложил вину на инфраструктурные скачки, совершенные его конкурентом, а Microsoft этого не сделала.

«Оказывается, просто воспроизвести BERT-large нам было непросто. Несмотря на то, что у нас был шаблон для модели, нам потребовалось около 6 месяцев, чтобы обучить модель, поскольку наша инфраструктура не соответствовала этой задаче», — написал технический директор Microsoft. «До этого у Google было BERT как минимум шесть месяцев, поэтому за время, которое нам потребовалось, чтобы взломать возможность обучения модели с параметрами 340M, у них был год, чтобы выяснить, как запустить ее в производство и двигаться дальше. к более масштабным, более интересным моделям».

Он также восхищался возможностями автозаполнения Gmail от Google и завидовал им, говоря, что они «становятся пугающе хорошими». Он отметил, что Microsoft «на несколько лет отстает от конкурентов с точки зрения масштабов [машинного обучения]». Он прокомментировал «интересный» рост OpenAI, DeepMind и Google Brain.