Просто размышления.
Для того чтобы развивать ИИ нужно много энергии и чипов, для того чтобы майнить биткоин - нужно много энергии и чипов. Кто сделал Биткоин никто не знает, но он точно имеет зелёный свет на самом верху, алгоритм биткоина как будто считает просто математическую задачку. А что будет если незаметно нагрузить майнеров битка задачами для ИИ, принципиально же для них ничего не поменяется?
Комментарии
незаметно не получится
уже есть две системы, которым можно сдавать свои вычислительные мощности в аренду и получать за это бабло, одну сделал П.Дуров, вторую не помню название, обе вместо битка используются для ИИ
Дуров же замутил свой "Какун" как раз, чтобы организовать децентрализацию вычислений для ИИ на рыночной основе.
Но что такое "незаметно"? Я свои устройства контролирую.
Ну попробуй нагрузи.
Зачем незаметно ? Многие уже переключают часть мощностей с майнинга на ИИ, это тоже прибыльное дело, за это платят.
Не взлетит. Сейчас биток считается в основном на железках, там только биток и можно считать.
Машинки с GPU (это старый Эфир, еще какие-то монеты второго-третьего эшелона) еще могут быть использованы для относительно широкого круга задач. Но там куча проблем.
1. Не все алгоритмы имеет смысл запускать на видеокартах
2. Видеокарты массовые слабенькие, надо уметь конкретный алгоритм распилить на кучу задач. Например, обучение нейросетей в классическом подходе плохо параллелится.
3. Вопросы приватности. Гарантий что вместо майнера не сидит условных фсб-шник и прочий OSINT , и шерстит данные - никаких. Плюс гарантий, что задача реально выполнилась, а в результатах не подсунули мусор - никаких. Поэтому нормальные заказчики - корпорации этим пользоваться не будут
Наверное, не соглашусь с этим утверждением. GPU как раз и используется из-за возможности параллельно выполнять однотипные задачи, которые есть при обучении и работе нейросети.
У меня проблемы возникали при попытке одновременно использовать разные видеокарты для обучения или работы одной нейросети. Не пользовался тем, что предлагает Дуров, только видел информацию, что есть. Похоже, что он решил эту проблему.
Классический SGD, используемый при обучении, строго последовательный: посчитали батч - получили ошибку - скорректировали коэффициенты - новый цикл.
Параллельные варианты есть, но как мерджить изменения в коэффициентах, пришедших от разных машин - это искусство, единого готового корректного варианта не существует, для каждой нейросети надо искать свое с непонятным наперед результатом.
Я не очень понимаю Вас: вычисления идут последовательно или параллельно?
Алгоритм может быть циклический и каждый новый такт цикла мы не можем начать без результатов предыдущего, но внутри такта вычисления могут быть параллельным? Мы можем распараллелить вычисления внутри такта?
Внутри такта распараллелить можно. Но если вся нейросеть не помещается в одну машину, пересылки данных по сети весьма большие. В зависимости от размера сети можно получить замедление в 10-ки раз по сравнению с одной мощной промышленной видеокартой.
Даже если нейросеть распределена на одной машине по 8 видеокартам, каждая из которых висит на 1 линии PCI (типично для майнинг риг), это уже даст кратное замедление. Ибо батч считается быстро, а вот ошибка распространяется долго.
Т. е. на каждом шаге цикла мы ВСЕ веса рассылаем по куче машин, потом собираем единую ошибку со всех машин после расчета батча, потом последовательно по слоям корректируем коэффициенты (error back propagation) и тоже с кучей обменов между машинами.
Хорошо параллелится только расчет "вперед", остальное тяжело параллелится в обучении ИИ.
Погуглил немного. Вроде как в TF и "Фонарике" уже есть методы для распараллеливания градиентного спуска. И да, Вы правы, отношение времени обсчета и времени передачи данных является одним из критериев оценки эффективности при распараллеливании..
Там эмпирика с непредсказуемым результатом. Ну типа что-то как-то получится.
Это не настоящий SGD.
Там терабайты данных. Т.е. обучение ИИ требует не только больших мощностей, но и огромных объёмов данных. Т.е. сеть у вас будет сильно загружена, и ещё под кешь нужно будет SSD на терабайт-другой выделить.
1. Что вы несёте. ИИ тренируется с помощью GPU
2. Что вы несёте. Майнеры майнят на промышленных коммерческих видеокартах типа N200
3. Что вы несёте. В децентрализованных системах проблема валидации данных решена еще лет 40 назад. SETI и FOLD существуют чуть ли с 90-х годов.
Просто 0 понимания у вас как это все работает.
Ну так опровергните )
Так-то я делал такую же систему в 17-19 годах. Так что все эти штуки знаю не понаслышке.
1. Что вы несёте. ИИ тренируется с помощью GPU
2. Что вы несёте. Майнеры майнят на промышленных коммерческих видеокартах типа N200. При чем тут слабость потребительских карт у каких то майнеров
3. Что вы несёте. В децентрализованных системах проблема валидации данных решена еще лет 40 назад. SETI и FOLD существуют чуть ли с 90-х годов.
Просто 0 понимания у вас как это все работает.
Что вы там делали, по вашему лексикону понятно, что вы даже не любитель
1-2. У майнеров практически нет промышленных видеокарт. Потребительский сегмент 99% случаев. Классический риг - это 6-8 видеокарт от 3060 до 5090, если говорить о нвидиа.
3. При чем тут SETI и пр.? Какие коммерческие и персональные данные там рассылались, чтобы их воровать?
А для гарантий корректности там производился минимум трёхкратный пересчёт с выбором того, варианта, который получился чаще. В майнинге с ИИ это:
а) неинтересно экономически, уже не на порядок дешевле аренды полноценных серверов с промышленными видеокартами в условном гугл, а только в пару-тройку раз
б) чтобы обучение нейросети было строго детерминированным (чтобы на разных машинах можно было независимо получить тот же результат) - надо сильно заморочиться. Готовые библиотеки "из коробки" это не дают
У вас просто 0 понимания вопроса. Какие-то поверхностные знания.
Для 3 есть гомоморфное шифрование.
10000x по вычислениям. Анриал.
Простенькие модели на миллион весов - на пределе технических возможностей. Десятки миллиардов, как на LLM или приличное распознавание образов - ща граниями.
И это inference, а не обучение.
Ну не 10000x, а раз 5 и зависит от данных ) Ну я про инференс и говорил.
На реальных моделях именно так
Из них двоих выживет только один. Догадайтесь кто. И нет, майнить ИИ не получится.
Так Дуров это уже и сделал со своим «Коконом»...
Обращаюсь к автору. Не сочтите за саморекламу, высказывал эту же гипотезу около года назад. Обсуждение интересное получилось.
https://aftershock.news/?q=blog/64366
Видимо, что-то подобное и есть, раз одинаковые мысли к разным людям приходят.