Учитывая темпы развития отрасли - уже исторический материал (на любителя). Интервью с создателем компании DeepSeek  Лян Вэньфэн-ем 2023. Перевод оргинала на русский с китайского с помощью DeepSeek V3

---------------------------

Волны на рынке (сайт): анализ динамики фондового рынка
24 мая 2023 года, 19:04
https://mp.weixin.qq.com/s/fpnmf5W1rr6qTIQjbf9aCg

Автор: Юй Лили
Источник: Волны на рынке (выше)

Quantitative investing Количественное инвестирование — это область инвестиций, в которой используются математические методы, вероятностный и статистический анализ, а также анализ данных, включая методы машинного обучения, для разработки торговых стратегий, построения портфелей и управления рисками. (Q- инвестиции, Q-фонд в тексте)

В разгар битвы за большие модели, компания Magic Square (幻方) выделяется как самый необычный игрок.

Это игра, предназначенная для избранных. Многие стартапы начали корректировать свои стратегии или даже задумываться о выходе из игры после того, как крупные компании вступили в борьбу. Однако этот квантовый фонд продолжает идти своим путем.

В мае Magic Square создала новую независимую организацию под названием "DeepSeek" (深度求索), которая будет заниматься разработкой больших моделей, сосредоточившись на создании искусственного интеллекта уровня человека. Их цель — не просто повторить ChatGPT, но и исследовать и раскрыть больше тайн общего искусственного интеллекта (AGI).

Более того, в этой области, которая считается крайне зависимой от редких талантов, Magic Square пытается собрать группу одержимых людей, используя свое главное оружие: любопытство.

В области quantitative инвестиций Magic Square — это "топовый фонд", достигший масштаба в десятки миллиардов. Однако внимание, которое она привлекла в этой новой волне ИИ, было довольно неожиданным.

Когда нехватка высокопроизводительных GPU-чипов у китайских облачных провайдеров стала основным фактором, ограничивающим развитие генеративного ИИ в Китае, согласно отчету "Caijing Shiba", в Китае насчитывается не более пяти компаний, владеющих более 10 000 GPU. Помимо нескольких крупных компаний, в этот список входит и Q-фонд Magic Square. Обычно считается, что 10 000 чипов NVIDIA A100 — это минимальный порог для обучения собственной большой модели.

На самом деле, эта компания, которую редко рассматривают в контексте ИИ, уже давно является скрытым гигантом в области искусственного интеллекта. В 2019 году Magic Square создала ИИ-компанию, которая разработала платформу для обучения глубоким обучением "Firefly One" (萤火一号) с общими инвестициями почти 200 миллионов юаней и 1100 GPU. Два года спустя инвестиции в "Firefly Two" (萤火二号) увеличились до 1 миллиарда юаней, а количество GPU достигло 10 000 NVIDIA A100.

Это означает, что с точки зрения вычислительной мощности Magic Square даже раньше, чем многие крупные компании, получила возможность создать что-то подобное ChatGPT.

Однако большие модели сильно зависят от вычислительной мощности, алгоритмов и данных, поэтому для старта требуется 50 миллионов долларов, а одно обучение может стоить десятки миллионов долларов. Компаниям с капиталом менее 10 миллиардов долларов сложно продолжать такие инвестиции. Несмотря на все трудности, Magic Square настроена оптимистично. Основатель компании Лян Вэньфэн (梁文锋) говорит: "Главное, что мы хотим этим заниматься и можем это делать, поэтому мы — одни из самых подходящих кандидатов."

Этот загадочный оптимизм проистекает из уникального пути развития Magic Square.

Quantitative инвестиции — это концепция, пришедшая из США, поэтому почти все основатели ведущих китайских Q-фондов так или иначе имеют опыт работы в американских или европейских хедж-фондах. Magic Square — исключение: она полностью выросла из местной среды и развивалась самостоятельно.

В 2021 году, всего через шесть лет после основания, Magic Square достигла масштаба в 100 миллиардов юаней и была названа одной из "четырех небесных королей" квантовых инвестиций.

Путь развития Magic Square, как внешнего игрока, заставляет ее всегда выглядеть как нарушителя спокойствия. Многие представители отрасли отмечают, что Magic Square "всегда использует новые подходы в исследованиях, продуктах и продажах, чтобы войти в эту отрасль."

Один из основателей ведущего Q- фонда считает, что Magic Square "никогда не следовала общепринятым путям", а всегда действовала так, как хотела, даже если это было немного еретическим или вызывающим споры. "Они не боятся открыто говорить о своих идеях и действовать в соответствии с ними."

Секрет успеха Magic Square, по мнению ее сотрудников, заключается в "найме людей без опыта, но с потенциалом, а также в организационной структуре и корпоративной культуре, которые позволяют инновациям происходить." Они считают, что это также может быть секретом, который позволит стартапам в области больших моделей конкурировать с крупными компаниями.

Но ключевой секрет, возможно, кроется в основателе Magic Square — Лян Вэньфэне.

Еще во время учебы в Чжэцзянском университете на факультете искусственного интеллекта Лян Вэньфэн был убежден, что "искусственный интеллект изменит мир". В 2008 году это было далеко не общепринятым мнением.

После окончания университета он не пошел работать программистом в крупную компанию, как многие его сверстники, а вместо этого жил в дешевой арендованной квартире в Чэнду, постоянно сталкиваясь с неудачами в различных проектах. В конечном итоге он нашел себя в финансах, одной из самых сложных сфер, и основал Magic Square.

Интересная деталь: в первые годы у него был друг, который также был одержим идеей создания "ненадежных" летательных аппаратов в шэньчжэньских трущобах. Позже этот друг создал компанию стоимостью 100 миллиардов долларов под названием DJI.

Поэтому, помимо вопросов о деньгах, людях и вычислительной мощности, мы также поговорили с Лян Вэньфэном о том, какая организационная структура позволяет инновациям происходить и как долго может длиться человеческое безумие.

За более чем десять лет创业生涯 это первое публичное интервью этого малоизвестного "технаря"-основателя.

Совпадение или нет, но 11 апреля, когда Magic Square объявила о создании большой модели, она также процитировала слова французского режиссера новой волны Трюффо: "Вы должны быть безумно амбициозными и безумно искренними."

Исследования и поиск

"Делать самое важное и сложное"

Волны: Недавно Magic Square объявила о решении заняться созданием больших моделей. Почему Q-инвестиционный фонд решил заняться этим?
Лян Вэньфэн: Мы создаем большие модели не из-за связи с Q-инвестициями или финансами. Мы создали новую компанию под названием "DeepSeek" (深度求索), чтобы заниматься этим. Основная команда Magic Square состоит из людей, работающих в области искусственного интеллекта. Мы пробовали много сфер, но в итоге остановились на финансах, потому что это достаточно сложная область. А общий искусственный интеллект (AGI) — это, возможно, следующая сложная задача. Для нас это вопрос "как", а не "почему".

Волны: Вы собираетесь обучать собственную большую модель или сосредоточитесь на какой-то узкой области, например, финансовой?
Лян Вэньфэн: Мы хотим создать общий искусственный интеллект, то есть AGI. Языковые модели, вероятно, являются необходимым шагом на пути к AGI, и они уже демонстрируют некоторые признаки AGI. Поэтому мы начнем с них, а затем перейдем к другим областям, например, визуальным моделям.

Волны: Многие стартапы отказались от идеи создания универсальных больших моделей после того, как крупные компании начали активно развивать это направление.
Лян Вэньфэн: Мы не будем слишком рано фокусироваться на приложениях, основанных на моделях. Мы сосредоточимся на разработке самих моделей.

Волны: Многие считают, что для стартапов уже поздно вступать в игру, особенно после того, как крупные компании начали активно развивать это направление.
Лян Вэньфэн: Сейчас кажется, что ни крупные компании, ни стартапы не смогут быстро достичь подавляющего технологического преимущества. Поскольку OpenAI уже показала путь, и все основывается на открытых исследованиях и коде, к следующему году и крупные компании, и стартапы создадут свои языковые модели. У всех есть шансы. Однако стартапам сейчас сложнее, потому что крупные компании контролируют многие вертикальные сценарии. Но в долгосрочной перспективе барьеры для входа снизятся, и у стартапов всегда будет возможность. Наша цель — не заниматься узкими приложениями, а сосредоточиться на исследованиях и поиске.

Волны: Почему вы определяете свою миссию как "исследования и поиск"?
Лян Вэньфэн: Это движимо любопытством. Мы хотим проверить некоторые гипотезы. Например, мы считаем, что человеческий интеллект может быть основан на языке. Возможно, мышление — это процесс языкового моделирования. Это означает, что на основе языковых моделей может появиться искусственный интеллект, подобный человеческому (AGI). С другой стороны, GPT-4 до сих пор содержит много загадок. Мы хотим не только повторить его, но и исследовать, как он работает.

Волны: Но исследования требуют больших затрат.
Лян Вэньфэн: Если просто повторять существующие модели, можно использовать открытые исследования и код, что требует минимальных затрат. Но если заниматься исследованиями, нужно проводить множество экспериментов, что требует больше вычислительных ресурсов и квалифицированных специалистов, а значит, и больше затрат.

Волны: Откуда берутся средства на исследования?
Лян Вэньфэн: Magic Square является одним из наших инвесторов, и у нас есть достаточный бюджет на исследования. Кроме того, у нас есть ежегодный бюджет в несколько сотен миллионов юаней, который мы обычно направляем на благотворительность, но при необходимости можем перенаправить его на исследования.

Волны: Но для создания базовой большой модели требуется минимум 200-300 миллионов долларов. Как вы планируете поддерживать такие инвестиции?
Лян Вэньфэн: Мы ведем переговоры с различными инвесторами. Однако многие венчурные капиталисты сомневаются в исследованиях, так как они хотят быстрой коммерциализации. Мы же сосредоточены на исследованиях, поэтому нам сложно привлечь финансирование от VC. Но у нас есть вычислительные ресурсы и команда инженеров, что уже дает нам половину необходимого.

Волны: Какие у вас есть предположения о будущей бизнес-модели?
Лян Вэньфэн: Мы думаем о том, чтобы открыть большую часть наших результатов обучения для общего пользования. Это может сочетаться с коммерциализацией. Мы хотим, чтобы больше людей, даже небольшие приложения, могли использовать большие модели с низкими затратами, а не чтобы технологии оставались в руках нескольких компаний, создавая монополии.

Волны: Крупные компании также предлагают свои услуги. В чем ваше отличие?
Лян Вэньфэн: Модели крупных компаний часто связаны с их платформами или экосистемами, а мы предлагаем полную свободу.

Волны: В любом случае, для коммерческой компании заниматься бесконечными исследованиями — это довольно безумно.
Лян Вэньфэн: Если искать коммерческую выгоду, то это, возможно, не окупится. С точки зрения бизнеса, фундаментальные исследования имеют низкую рентабельность. Ранние инвесторы OpenAI вкладывали деньги не ради прибыли, а потому что хотели заниматься этим. Мы уверены, что хотим этим заниматься и можем это делать, поэтому сейчас мы — одни из самых подходящих кандидатов.

Запас в 10 000 GPU и его цена

"Увлекательную работу нельзя измерять только деньгами."

Волны: GPU стали дефицитным ресурсом в этой волне ChatGPT. Как вы смогли предвидеть это и запастись 10 000 GPU еще в 2021 году?
Лян Вэньфэн: Это происходило постепенно: от одной карты в начале до 100 карт в 2015 году, 1000 карт в 2019 году и, наконец, 10 000 карт. Когда у нас было несколько сотен карт, мы размещали их в дата-центрах, но когда масштабы выросли, мы начали строить собственные серверные. Многие думают, что здесь есть скрытая бизнес-логика, но на самом деле это движимо любопытством.

Волны: Каким любопытством?
Лян Вэньфэн: Любопытством к границам возможностей ИИ. Для многих ChatGPT стал шоком, но для специалистов в области ИИ революция началась еще в 2012 году с появлением AlexNet, которая значительно снизила ошибки по сравнению с другими моделями и возродила интерес к нейронным сетям. Хотя технологии меняются, комбинация моделей, данных и вычислительной мощности остается неизменной. После выхода GPT-3 в 2020 году стало ясно, что для этого нужно много вычислительных ресурсов. Но даже в 2021 году, когда мы строили "Firefly Two", большинство людей этого не понимали.

Волны: Так вы начали запасаться вычислительными ресурсами еще с 2012 года?
Лян Вэньфэн: Для исследователей жажда вычислительной мощности бесконечна. После небольших экспериментов всегда хочется провести более масштабные. Поэтому мы сознательно начали наращивать вычислительные ресурсы.

Волны: Многие думают, что вы используете эти ресурсы для прогнозирования цен на рынке.
Лян Вэньфэн: Если бы мы занимались только Q- инвестициями, нам бы хватило и небольшого количества карт. Но мы проводим много исследований, чтобы понять, как лучше описать финансовые рынки, найти более простые способы выражения и определить границы применимости различных моделей.

Волны: Но это также требует больших затрат.
Лян Вэньфэн: Увлекательную деятельность нельзя измерять только деньгами. Это как купить пианино: вы покупаете его, потому что можете себе это позволить, и потому что есть люди, которые хотят на нем играть.

Волны: GPU теряют около 20% своей стоимости каждый год.
Лян Вэньфэн: Мы не считали точно, но, думаю, это не так много. Карты NVIDIA — это твердая валюта. Даже старые карты все еще используются. Когда мы продавали старые карты, они все еще имели хорошую стоимость.

Волны: Содержание компьютерного кластера, включая обслуживание, зарплаты и электричество, тоже требует больших затрат.
Лян Вэньфэн: Затраты на электричество и обслуживание довольно низкие — около 1% от стоимости оборудования в год. Зарплаты — это инвестиции в будущее, и это самый ценный актив компании. Мы нанимаем людей, которые любопытны и хотят заниматься исследованиями.

Волны: В 2021 году Magic Square была одной из первых компаний в Азиатско-Тихоокеанском регионе, получивших карты A100. Почему вы получили их раньше, чем некоторые облачные провайдеры?
Лян Вэньфэн: Мы заранее провели исследования и тестирование новых карт. Что касается облачных провайдеров, их потребности были разрозненными до 2022 года, когда появился спрос на обучение моделей для автономного вождения.

Волны: Как вы видите конкуренцию в области больших моделей?
Лян Вэньфэн: Крупные компании имеют преимущества, но если они не смогут быстро внедрить свои разработки, они могут не выдержать конкуренции. Стартапы также сталкиваются с проблемами коммерциализации.

Волны: Некоторые считают, что Q фонд, занимающийся ИИ, создает пузырь вокруг своих других бизнесов.
Лян Вэньфэн: На самом деле наш Q- фонд уже почти не привлекает внешние инвестиции.

Как сделать так, чтобы инновации действительно происходили

"Инновации часто возникают сами по себе, их нельзя запланировать или подсчитать."

Волны: Как продвигается набор команды для "DeepSeek"?
Лян Вэньфэн: Основная команда уже собрана, но из-за нехватки персонала人手 мы временно переводим часть сотрудников из Magic Square. В конце прошлого года, когда ChatGPT 3.5 стал популярным, мы начали активно набирать людей, но нам все еще нужно больше специалистов.

Волны: Таланты в области больших моделей тоже в дефиците. Некоторые инвесторы говорят, что подходящие специалисты есть только в лабораториях OpenAI, Facebook AI Research и других гигантов. Будете ли вы искать таких людей за границей?
Лян Вэньфэн: Если цель — краткосрочные результаты, то нанимать опытных специалистов — это правильно. Но если смотреть в долгосрочной перспективе, опыт не так важен. Гораздо важнее базовые навыки, креативность и страсть к делу. С этой точки зрения, в Китае тоже много подходящих кандидатов.

Волны: Почему опыт не так важен?
Лян Вэньфэн: Не обязательно быть экспертом в чем-то, чтобы это сделать. В Magic Square мы нанимаем людей, основываясь на их способностях, а не на опыте. Большинство наших ключевых технических специалистов — это выпускники или те, кто закончил университет пару лет назад.

Волны: В инновационных проектах опыт может быть препятствием?
Лян Вэньфэн: Опытные люди часто говорят: "Это нужно делать так". Но те, у кого нет опыта, будут экспериментировать и искать решения, которые подходят для текущей ситуации.

Волны: Magic Square начала с нуля в финансовой сфере и за несколько лет стала лидером. Это связано с вашим подходом к найму?
Лян Вэньфэн: Наша основная команда, включая меня, изначально не имела опыта в Q- инвестициях. Это уникально. Я не могу сказать, что это секрет успеха, но это часть нашей культуры. Мы не избегаем опытных людей, но больше ценим способности.

Волны: Почему другие компании не смогли повторить ваш успех?
Лян Вэньфэн: Потому что одного этого недостаточно для инноваций. Нужна соответствующая культура и управление. Например, наши продавцы в первый год ничего не добились, но на второй год начали показывать результаты. У нас нет KPI или жестких задач.

Волны: Как вы оцениваете сотрудников?
Лян Вэньфэн: Мы не фокусируемся на количестве заказов. Мы поощряем продавцов развивать свои связи и влиять на рынок. Мы считаем, что честный продавец, которому доверяют клиенты, может не сразу принести заказы, но в долгосрочной перспективе это окупится.

Волны: Как вы помогаете новым сотрудникам адаптироваться?
Лян Вэньфэн: Мы даем им важные задачи и не вмешиваемся. Они сами находят решения. Культуру компании сложно скопировать. Например, как определить потенциал человека без опыта и помочь ему расти — это нельзя просто скопировать.

Волны: Что необходимо для создания инновационной организации?
Лян Вэньфэн: Инновации требуют минимального вмешательства и управления. Нужно дать людям свободу и возможность ошибаться. Инновации возникают сами по себе, их нельзя запланировать.

Волны: Как вы обеспечиваете эффективность в такой системе?
Лян Вэньфэн: Мы нанимаем людей с общими ценностями и поддерживаем их через корпоративную культуру. У нас нет строгих правил, потому что они могут мешать инновациям. Часто все зависит от примера руководителя.

Волны: Может ли организационная структура стартапов стать преимуществом в конкуренции с крупными компаниями?
Лян Вэньфэн: Если следовать учебникам, стартапы не выживут. Но рынок меняется. Решающую роль играет способность адаптироваться к изменениям. Крупные компании часто не могут быстро реагировать, и их опыт становится обузой. В этой волне ИИ появятся новые компании.

Настоящее безумие

"Инновации — это дорого и неэффективно, иногда они сопровождаются расточительством."

Волны: Что вас больше всего вдохновляет в этом проекте?
Лян Вэньфэн: [Возможность] Проверить наши гипотезы. Если они окажутся верными, это будет огромным вдохновением.

Волны: Какие критерии вы используете при найме людей для больших моделей?
Лян Вэньфэн: Увлеченность и сильные базовые навыки. Остальное не так важно.

Волны: Таких людей легко найти?
Лян Вэньфэн: Их увлеченность видна сразу. Они сами ищут возможности, потому что действительно хотят этим заниматься.

Волны: Создание больших моделей требует бесконечных инвестиций. Вас не пугают такие затраты?
Лян Вэньфэн: Инновации — это дорого и неэффективно, иногда они сопровождаются расточительством. Только когда экономика достигает определенного уровня, могут появиться инновации. OpenAI тоже потратила много денег, прежде чем добилась успеха.

Волны: Вы считаете, что занимаетесь чем-то безумным?
Лян Вэньфэн: Не знаю, можно ли это назвать безумием, но в мире много вещей, которые нельзя объяснить логикой. Например, многие программисты, уставшие после работы, все равно вносят свой вклад в open-source проекты.

Волны: Это своего рода награда для души.
Лян Вэньфэн: Это как пройти 50 километров пешком: тело устает, но душа чувствует удовлетворение.

Волны: Как долго может длиться это безумие, движимое любопытством?
Лян Вэньфэн: Не все могут быть безумными всю жизнь, но большинство людей в молодости могут полностью посвятить себя чему-то без всякой выгоды.