На фоне строящихся колоссальных по масштабам вычислительных кластеров под ИИ - старая мулька с супер-пупер-компутерами так же не сходит с арены мирового цифрового цирка.
Вот свежий рейтинг оных, обратите внимание на крайнюю колонку с потребляемой мощностью
20-30МВт в одно рыло, у некторых до 40МВт, для понимания - вся Калмыкия в пике ест в районе сотки. А так как раз этот самый сорокет.
И это _только_ супер-пупер, и это только первая десятка а их всего тысячи ( топ 500 - https://top500.org/lists/top500/list/2024/11/ )
Причем что там на них считается не очень ясно.
Пытался несколько раз найти что _реально_ на супер-пупер-компьютерах ( которые в топ 10 входят ) считают.
Все очень расплывчато - по научным публикациям вообще крохи упоминаний, что использовали их в расчетах...
Сами про себе пишут что то вроде вот этого:
... El Capitan will realize a multi-decade goal to model weapon performance and safety in high-fidelity resolution with quantified uncertainties using codes that have been developed and tuned for exascale over the past decade. It also will be used to model advanced high-energy-density physics experiments, such as inertial confinement fusion, the complex dynamics of ballistic reentry and detailed understanding of material behavior under extreme conditions. ...
Самый топовый ( https://www.llnl.gov/article/52061/lawrence-livermore-national-laboratorys-el-capitan-verified-worlds-fastest-supercomputer ) для "био" и "климата", как бы для "обороны", но что то сомнительно.
Есть некоторые мысли что под новую (старую) цифровую валюту - https://www.pcmag.com/news/chinese-researchers-reportedly-crack-encryption-with-quantum-computer , точнее ее контроль - дешевле $танка будет. Так же очевидно, что у действительно серьезных ребят в распоряжении числодробилки и мОзги достаточные (а также энергия для первых и нолики для вторых), чтобы щелкать любые лохкоины, как орешки.
Но это похоже в новом дивном мире никого не волнует... также как и идиотское сжигание колоссального количества природных ископаемых ради этих самых ноликов, которые обнулятся при появлении _новых алгоритмов_ или развитии квантовых технологий...
Короче прямо сейчас человечки сжигают 15ТВт*ч электроэнергии в месяц ( всего спалили на 655ТВт*ч ) только на биток. ( для понимания все потребление достаточно энергоемкой Российской Федерации это примерно 80ТВт*ч в месяц )
И какой процент из этих 15ТВт*ч _дорогой_ ВИЭ ( стоит добавить буква "В" в аббревиатуре фальшивая ибо все равно необходима энергия на обслуживание и новую стройку по окончанию сроков эксплуатации) ?
Градус лицемерия всей этой ботвы просто зашкаливает. Натуральный дурдом.
Маловероятно, что эта модель цивилизации сможет выползти из колыбели, что то явно идет не так.
P.S.
Пример "техно-переходов":
"Лохи 2"(sic!) от интела в 100 раз более энергоэффективней "классики"
.. The machine, dubbed "Hala Point," can perform AI workloads 50 times faster and use 100 times less energy than conventional computing systems that use central processing units (CPUs) and graphics processing units (GPUs), Intel representatives said in a statement. These figures are based on findings uploaded March 18 to the preprint server IEEE Explore, which have not been peer-reviewed. ///
....
Комментарии
нужно подождать лет 5 - пойдут первые чипы на фотонике - потребление сразу раз в 10 ниже будет.... Точнее даже так - потребление останется прежним, а вот вычислительные мощности сразу на порядок скакнут.
Все что до этого сожгли, получается тупо слили в унитаз.
Суперкомпьютеры это прежде всего наука. И наука всегда была и будет очень дорого.
И нельзя получить более современные чипы не вкладываясь в суперкомпьютеры.
Примеры реальных проектов, считаемых на "супер"-компьютерах в студию пожалуйста. С результатами желательно - так то они декларируют, что угодно.
P.S.
Про сжигание - речь про лохкоины больше.
ну вот используют же нейросети для реальных и полезных дел:
https://aftershock.news/?q=node/1451374
+ материаловедение.
это даже близко не супер компьютер потребляющий 40МВт
ну может там часть задач тупо в лоб решалась. ну и сама тренировка нейросетей - дорогой процесс.
дорогой и судя по тому как все развивается бесполезный ибо будут _лучше_ (точнее уже есть... )
лучший не может появиться из воздуха -задел нужен.
Понятно. Чтобы перейти на следующий уровень нужно потренироваться с резиновой женщиной. Много раз.
аналогия смешная, но не к месту.
Почему? Нейросети очень затратны по ээ.
Смотря какие... "Лохи 2"(sic!) от интела в 100 раз более энергоэффективней "классики"
https://www.livescience.com/technology/computing/intel-unveils-largest-ever-ai-neuromorphic-computer-that-mimics-the-human-brain
.. The machine, dubbed "Hala Point," can perform AI workloads 50 times faster and use 100 times less energy than conventional computing systems that use central processing units (CPUs) and graphics processing units (GPUs), Intel representatives said in a statement. These figures are based on findings uploaded March 18 to the preprint server IEEE Explore, which have not been peer-reviewed. ///
Новость от апреля с.г. Что поменялось с тех пор? Да и могло ли? У нвидии уже четвертое поколение тензорных ядер и более трех десятков оптимизирующих алгоритмов на аппаратном уровне. Все революции в вычислении "матрица*матрица+матрица" случились еще лет 8 назад, далее только за счет уменьшения техпроцесса и несущественных улучшений.
Экспоненциальный рост исключается, хотя бы по причине ограничения подсистемы памяти.
фотоника и квантовые вычисления.
Очень много изменилось в этом году. Разобрались что именно лежит в основе LLM, и теперь можно это "выдернуть" из LLM и реализовать напрямую.
https://www.anthropic.com/news/mapping-mind-language-model
Теперь стоит задача вычислить базовые паттерны. Хотя еще никто не понял что это такое "паттерны" на самом деле. Но видимо будет как с трансформерами, сначала сделаем, а уже потом будем разбираться что это значит в действительности.
Языковые модели только часть и далеко не главная. В заметке указано, что новый метод должен повысить безопасность ИИ, типа будет давать меньше вредных советов.
Но главное, как это относится к вопросу поднятия производительности (операций на Ватт)?
поищите "оптические нейронные сети"
Да хоть на "фишках домино", это не существенно.
Гладко было на бумаге...
Большинство статей по теме "прорывов в фотонике" - банальные попытки выбить финансирование под очередной "квантовый компьютер".
Мало того, про фотонику пишут уже 40 лет, дефицит выч. мощностей возник не вчера, но по сей день нет ни одного рабочего образца.
простейшие нейронки на оптике реализовали еще года 3-4 назад.
Я вам про то что лежит в основе всех больших нейронных сетей и почему они работают. А вы мне про ватт на терафлоп.
Я про ватт на терафлоп, а вы мне про языковые модели.
Я вам про то что лежит в основе всех моделей. Если действительно вычислить что в основе, то энергетическая эффективность очевидно решаемая задача и фактически решенная.
В статье про это ни слова. Почитайте внимательнее, там про безопасность. Как на низком уровне работают нейросети знает любой студент профильного ВУЗа.
А вы хотели просто и понятный ответ?
Суть в том что черный ящик нейронных сетей открыли посмотрели что внутри. А затем было продолжение вскрыли уже систему в черном ящике.
Да ну? А теперь объясните почему вероятность дискретна?
Ух ты!
Не наработаны выверенные карты знаний устоявшихся профессиональных областей - а тут озадачились майнд мэппингом бредогенераторов, обученных на интернет-помойке.
Впрочем, понятно почему - если в темке стоит слово "ИИ", то проще баблеца срубить на грантиках.
Это огромное количество чипов GPU, которые обучали нейросети, так что разница небольшая с этим "царь-компьютером".
https://hyperworks.compmechlab.ru/article/hyperworks-software
https://altair.com/
До появления GPU серверов все расчеты по моделированию и методом конечных элементов считали на суперкомпьютерах. Канонический пример - ядерные испытания. Все ЯО и ядерные реакторы продукт суперкомпьютеров. Из забавного, нейронные сети изначально применяли для расчета нейтронного излучения. Язык "ноды" создали для этого.
И вы сами вспоминали межотраслевой баланс. Угадайте на чем его на самом деле считали до появления GPU серверов? Вся современная экономика это продукт суперкомпьютеров. Вся современная промышленность базируется на суперкомпьютерах. Это лохам рассказывают про "индивидуальный успех" и "гениальных разработчиков" забыв упомянуть про межотраслевой баланс и метод моделирования на суперкомпьютере.
И еще напомню что само появление ЯО началось с моделирование вселенной, когда придумали как считать. Замет появились суперкомпьютеры, и теперь снова моделируют вселенную на новом уровне технических возможностей. Какие будут результаты прямо говорит история гравитационных волн и появление технологии ИИ. Космологические представления снова меняются. И это будет интересней чем квантовая физика и ЯО.
Но все это действительно сложно.
Если убрать интернет с медиа, то в остальном 99% населения планеты живет в техно-укладе хорошо если 2000ых если не 90ых.
Основная масса ездит на крайне примитивных автомобилях, часто уступающим массовым моделям 2000ых.
Энергетика децентрализуется и становится все более недоступной... , еда заменяется на некачественную и искусственную и прч. Причем это в отнюдь не растущем демографически первом мире происходит.
Результатов работы этих самых "супер компьютеров" - обывателю не видно!
Китайцы вот тоже не могли повторить методом реверс-инжинерига казалось бы "простые вещи" пока не построили свои суперкомпьютеры. А теперь их автомобильная промышленность имеет взрывной рост. Если копнуть почему так, то быстро выяснится что в основе как и всегда, унификация компонентов и сокращение количество деталей.
И казалось бы, причем тут суперкомпьютеры"? 
Наверное "волшебство рынка"? 
Абсолютно верно, но вы неверно это назвали. Для создания "программируемого старения" тоже нужны суперкомпьютеры. И еще нужны системы PLM и точные расчеты межотраслевого баланса.
Технологическое рабство само себя не построит. И для его строительства нужны суперкомпьютеры. И другого способа сохранить капитализм нет. Нужна "разница потенциалов".
А демография это просто "издержки успешного бизнеса". 
И просто известный, но особо обсуждаемый факт: На основе доклада Римского клуба "Пределы роста" были сделаны модели и их прогнали на суперкомпьютерах. Так что не нужно задавать наивные вопросы про "странную политику". Или спрашивать зачем нужны суперкомпьютеры.
Модели римского клуба считаются условно в экселе, видел их.
Там супер компьютеры не нужны...
А последние работы по симуляции общества видели?
Мало знать что при текущей экономической политике и социально-экономической системе неизбежен цивилизационный коллапс, нужно еще сохранить управление в цивилизационный коллапс. А для этого существующих вычислительных мощностей будет недостаточно.
И вы напрасно про расчеты в экселе. Это тогда считали в экселе. Сейчас считают на GPU серверах. Но конечно расскажут "так рынок порешал" - магия!
Капитализм это честное соревнование триллионных капиталов ТНК и миллионных капиталов наивных лохов за мировое господство. Суперкомпьютер против "успешного" придурка которые думает что он "хозяин жизни".
Немцы во вторую войну вообще табуляторами обходились и никто не жаловался...
Как обычно они наврали и попили бабло.
Ну как НАСА попилило бабло на Луне
Как фарма западная пилит бабло на вакцинах, которые вливают в мир без тестирования
И которые рекомендует воз,
Который получает откаты за ядовитые хрени.
Как сейчас амеры и Европа пилит бабло на зелёных пустышках и пердеже коров
Компы используются как имитация бурной деятельности.
Никто же проверять не будет , пойдет как окончательный результат
Все это моделирование популяций и прочих социальных движух абсолютно бесполезны
"
Основная масса ездит на крайне примитивных автомобилях, часто уступающим массовым моделям 2000ых."
---------
на крайне примитивных автомобилях крайне примитивный ремонт, т.е. простой и сравнительно дешёвый. Человек управляет крайне примитивным автомобилем, а не наоборот. Даже простая коробка-автомат усложняет жизнь в некоторых погодных условиях.
Вот как раз 95% населения живёт я бы сказал в укладе реального 18 века, только частично с мопедами и смартфонами. Но мопед это просто велик, катать по деревне туда-сюда, уклад не меняет, а смартфон для чатиков в ватсапе со своими же, тоже сути уклада и жизни не меняет.
У Королёва тоже был суперкомпьютер? А у Курчатова, Сахарова? Лобачевский, Эйнштейн, Микоян, Туполев на каких супер-пупер системах считали?
Или они просто знали что делают?
У них были опытное производства и натурные испытания. Теперь вместо этого используют суперкомпьютеры. И это на порядки дешевле чем тупо брать и взрывать или изготавливать в порядке эксперимента. Дураков нет проводить натурные испытания на каждое изделие. Теперь только контроль расчетов. Взорвут один раз и сверят с расчетами суперкомпьютера. И то не всегда это делают, потому что сегодня достаточно расчетов суперкомпьютера.
Где-то за лужей всплакнул Маск, которого не пустили к суперкомпьютерам
Tesla Dojo? не - не слышали. С суперкомпьютерами у Маска более чем хорошо.
А зачем он тогда ракеты свои взрывал?
Из низкопоклонства перед Королевым?
Затем что не все вычислимо.
производство ракет подешевело. Но вот те же новые двигатели они просчитывали на суперкопьютерах, хотя их большой кусок печатают на 3д принтерах.
Ага, рыдает просто. Ему не только на халяву выдали суперкомпьютеры, но еще и результаты работы этих суперкомпьютеров за годы, а чтобы он не особенно тупил выдали целый инженерный дивизион. И все бесплатно. А потом нам показали "магию рынка" и волшебство "индивидуального успеха" Илона Маска как гениального инженера-программиста-технолога.
Перестаньте верить в сказки.
Однако ракеты он свои ронял десятками, а нам вот только что объямнили что если можно посчитать на суперкомпьютер, то этого делать не нужно.
Прочитайте что выше написал про контрольные испытания.
Прочитал.
Много десятков уронил?
Страницы