Конечно, этот повальный новый тренд, который пришёл вслед за NANO - из-за того, что у руля страны и крупных компаний стоят некомпетентные граждане.
Опять мы получим пшик на выходе, хотя если не разогревать искусственно тему - то потихоньку можно получить отличный результат. Но сначала некомпетентные руководители, следуя моде, наберут штаты из некомпетентных студентов, потеряют миллиарды, разочаруются и спустя десяток лет - некоторые успехи начнут выстреливать.Но в госструктурах уже будут открещиваться от этого матаппарата.
Объясню как должно быть и откуда что растёт.
Даже Греф открыл не так давно тайну, что благодаря применению искусственных нейросетей (которые там называют ИИ) - Сбер получил миллиардные убытки.
Проблема в том, что до сих пор обучение и использование искусственных нейросетей это не наука, а искусство.
Неизвестно сколько и каких входных параметров необходимо использовать в процессе обучения. Также, неизвестно каковы параметры самой искусственной нейросети (какие весовые функции использовать, сколько слоёв использовать, сколько нейронов в каждом слое и т.д.).
Всё это пока не научно и нечётко - отсюда недоверие со стороны потенциальных заказчиков и отсутствие чётких законодательных и производственных описаний применения.
Никто в здравом уме не переложит на обученную неизвестно как ИНС принятие решений. Ну, разве что Греф.
Также, необходимо знать, что искусственные нейросети могут использоваться для решения трёх различных задач:
1) Аппроксимация/интерполяция/экстраполяция многопараметрической функции
2) Классификация - как раз этот вариант используется для распознавания образов
3) Кластеризация - в качестве примера можно предложить задачу на вычисление стоимости городской квартиры в разных районах в зависимости от этажа, удалённости от детского садика, школы, метро и прочее.
Искусственная нейросеть имеет один очень большой плюс по сравнению с дифференциальными уравнениями - она позволяет оперировать сколько угодно большим количеством как входных, так и выходных параметров.
Это в любом из трёх вариантов функция f(вектор Xn) = вектор Ym, где n и m - любые целые значения, начиная от 1.
Чем больше будет примеров - тем меньше будет ошибок для новых векторов в уже работающей системе.
Звучит прекрасно!
Но факт в том (и на это напоролись в Сбере), что никто точно не знает заранее сколько параметров надо использовать на входе, никто не знает параметров искусственной нейросети и сколько необходимо примеров для обучения.
Это и привносит сегодня элемент неожиданности, что способно привести к убыткам бизнеса в размерах десятков процентов от оборота компании.
Начинать надо с простых задач и всегда контролировать выдаваемые обученной искусственной нейросетью цифры (выходные параметры).
То есть, сегодня искусственная нейросеть в сложных системах должна быть только в качестве помощника, но никак не истиной в последней инстанции.
К примеру, в банке сделают автоматическую выдачу кредита, с обучением по накопленной базе, начиная с 2015 года. Что произойдёт?
Мы знаем, что с 2015 года рубль был сравнительно стабильный кросс курс. А это значит, что этот параметр при обучении не будет учитываться нейросетью. И если в перспективе кросс курс резко начнёт меняться, то как это повлияет на алгоритм принятия решения о выдаче кредита - неизвестно. Обученная нейросеть может как вообще не отреагировать на динамику кросс курса, так и может начать выдавать кредиты налево-направо.
И таких параметров, которые были не важны на этапе обучения, но вдруг стали важными впоследствии - может быть неизвестно как много.
В-общем, наше и другие государства опять втянулись в очередную модную затею, в которой ничего не понимают.
Разберитесь сначала.
Попросите РАН вынести свой вердикт о степени проработанности вопроса, а только потом доверяйте принятие решений многопараметрическим алгоритмам.
Установите некоторые диапазоны и правила для обучающихся Систем с искусственными нейросетями.
К примеру, если количество параметров меньше 4х - то такие-то параметры нейросетки. От 4 до 10 - такие-то и так далее.
В идеале, вообще надо сертифицировать все эти алгоритмы и выложить их в открытый доступ.
Не в качестве рекламы, но мне нравится удобство пакета Alglib - простой и удобный пакет и есть бесплатный вариант.
Использовал его для распознавания ЭКГ - получалось неплохо.
Комментарии
Вообще-то прогресс ушел значительно дальше- нейросети сейчас решают не только аналитические, но и поведенчиские задачи. К примеру, логистическая задача: используя техническое зрение найти определенный предмет, погрузить его в устройство перевозки, построить маршрут, используя техническое зрение пройти маршрут обходя препятствия и соблюдая правила движения, найти точку и ячейку разгрузки, уложить предмет в ячейку. Это все решается в настоящее время нейросетями. Эта цепочка действий реализована несколько лет назад, но в статье совершенно не рассмотрена.
A зачем тут нейросети - можно обойтись планами, датчиками положения/энкодерами и этикетками со штрихкодами
Файнридер тексты распознавал давно, без всяких ИИ еще на 486 (последняя версия тоже разрекламирована как ИИ-шная - вот только она ничем не лучше предыдущих в плане распознавания). Точно так же можно настроить паттерны разпознавания любого другого набора данных.
Как-бы на нейросетях получается сразу весь комплекс задач. Достаточно в некоторых случаях даже одной камеры. Достаточно нечеткой постановки задачи- "прибыть в 3-х метровую область точки х18у14 найти и расположить грузы согласно маркировке. По пути - пройти лабиринт и объехать динамические препятствия.
Можно попробовать решить задачу в стандартных алгоритмах и с использованием стандартных библиотек/решений. Но, если вдруг задача выйдет за пределы фантазии и возможности программиста- объект не сможет адекватно действовать самостоятельно. Поэтому, для решения сложных задач в нестационарных условиях нечто, подобное ИИ ожидаемо.
вы сейчас говорите о реальном опыте или теоретически? Или по рекламным брошюрам производителей?
Если реально можно, то нужно.
Нейросети нужны там, где за разумные сроки и деньги задача другими методами не решается.
Пример из жизни. Происходит прямо сейчас. Компания из калифорнии, которая как раз решает такие задачи в составе более глобального продукта - найти предмет, взять его и переместить в коробку.
Это должно работать 24х7. И оно даже работало. По полчаса в лучшем случае. Потом тот или иной сбой.
Однако оказалось, что работало оно только для 8 типов предметов. А когда стали тестировать на реальном наборе предметов заказчика - сбой каждую минуту.
Самое смешное оказалось, что те 8 типов предметов заказчик использовать не будет совсем.
То есть этого робота не получается запустить даже на ограниченном наборе.
Такая вот победа ИИ и роботов над разумом.
Проблема переобучения или малые датасеты. Это не проблема метода, это косяки исполнителя.
Всё равно, что нанять вчерашнего студента писать бухгалтерию, а потом жаловаться на то, что "компьютеры бухгалтерам бесполезны". Удел тёмных и диких людей.
Ориентироваться нужно на лучшие примеры: тогда понятно, что метод (технология, система, техника) может. А дальше в каждом конкретном случае добиваться столь же хорошего или лучшего.
Дорогой вы мой человек. Всё всегда (пока?) упирается в исполнителя, об этом и речь. Нейросети это инструмент, удобный для определённых, довольно узких применений. Но даже в них, см. начало.
Говорить, "это решается нейросетями" это то же самое, что сказать "человек может пробежать стометровку за 9.58 секунд". Раз может, значит все могут? Проблема исполнителя.
Какой смысл говорить, что это возможно, если на практике это недостижимо с приемлемой надёжностью и скоростью (да, ещё и скорость проблема, хотя это вопрос больше железа).
Возможно, можно нанять спецов из гугла и подключить их вычислительные мощности, но будет ли это решением?
Ну, говорить "это решается компьютером" мы же привыкли, правда? И даже исполнителей более-менее годных в более-менее значимых количествах поднатаскали. И решили компьютером, вот так, алгоритмически, тупо кодя, множество задач. И собираемся решать ещё и ещё. И несмотря на принципиальное наличие долбодятлов-программистов, в целом - задачи будут решатся, потому что на место долбодятлов приходят нормальные люди и в целом никого не удивляет, что он заказал программу, её написали, программа работает. Работает надёжно и приносит огромную пользу. Это - более-менее норма (при наличии исключений, конечно).
Всё то же самое ждёт нейросети.
И да, совершенно нормально говорить "всё это решается нейросетями", а потом обсуждать примерные бюджеты, стОит это того или нет, где брать инвестиции, как и сколько окупать. Это всё совершенно нормально.
Просто сейчас технология проходит необходимую (видимо, реально, не обойти) стадию хайпа и экзотичности. То же самое было и с транзистором, и с ядерной энергией, и с лазерами, и с компьютерами. Все те же этапы будут пройдены и тут.
Будут ключевое слово. Обязательно будут.
Пока в реальности всё не так просто. Что у сбера, что у компании из калифорнии, что у производителя робота из японии, чей софт заменили на софт компании из калифорнии..
Конечно, можно сказать что все они говнокодеры, но я больше согласен с автором статьи, пока что всё это не наука и даже не инжиниринг, чем постепенно стал обычный софт, а искусство на грани шаманства. Но этот детский этап пройдёт безусловно. И новая категория задач будет доступна для решения. Пока - проблемы.
И еще. Меня злит тупая капча, когда чтобы доказать что я не робот, приходится обучать чужую тупенькую автомобильную нейросеть, выбирая на фотографиях то светофоры, то пешеходные переходы, то пешеходов.
Угу. Греф всегда говорит правду. А принятие решений предоставлено нейросетям, а не экспертным системам, чей процесс обучения вполне нагляден и логичен. Естественно, что руководитель не выберет вариант, когда эксперт объясняет свои решения набором уловий - нет, ни в коем случае. Он прикажет поставить систему с неочевидным алгоритмом формирования коэффициентов некоей неочевидной формулы и не вполне чёткой формализацией состава анализируемых данных - потому что в Сбербанке работают не клерки с чёткими инструкциями на все случаи жизни, нет - там творят креативные люди, которыми единственно правит вдохновение, так что принимаемые решения они объяснить решительно не в состоянии.
Да, верю - всё так и есть.
стыдно писать про ИИ и не знать основы анализа данных
Кому стыдно? Тут? Стыдно? За это? Вы смеётесь. :)
Перспективный чат детектед! Сим повелеваю - внести запись в реестр самых обсуждаемых за последние 4 часа.
"никто точно не знает заранее сколько параметров надо использовать на входе, никто не знает параметров искусственной нейросети и сколько необходимо примеров для обучения"
Вообще-то фундаментальная проблема - никто не знает, что выборка, на которой проводилось обучение нейросетки, адекватно представляет среду, в которой она потом должна работать. Собственно, вы об этом сами пишете на примере банковской сетки, обученной до скачков на финансовом рынке.
Неприличный пример. Любит - не любит 50 на 50, плюнет - поцелует 50 на 50, даст - не даст 50 на 50. Итого с вероятностью 87,5% гандон на первое свидание брать не нужно. Обучение проводилось на выборке малолеток раннего пубертатного возраста, рекомендации выданы поручику Ржевскому при визите к мадам "Да, ужас. Но ведь не ужас-ужас-ужас!!!!".
Дык.
Машина обучается на прошлом. А работает в настоящем или даже будущем. На момент обучения неизвестно, насколько хороша выборка, хотя у нас есть примерное понимание, какие методы её подготовки делают её лучше, а какие - хуже.
С человеками точно такая же фигня. Человеков спасает в таких случаях лишь понимание более широкого контекста: наша природная нейросеть настолько большая и сложная, что в тысячи, а то и в миллионы раз превосходит достаточную для решения нейросеть. Мы владеем примерами из других областей, мы способны искать более аналогии более широко... а искусственным нейросетям это недоступно просто в силу совершенно неподъёмной дороговизны такой избыточности сейчас.
Но и то... как сказать... взять человека потупее - и он будет невероятно тупить в изменившихся условиях.
...поэтому область применения нейросетей сейчас и в ближайшем будущем сильно ограничена. В силу их реальных размеров это не подобие человека и в обозримом будущем им не станет. Нужны достаточно узкие задачи, чтобы решение было успешным.
Место нейронных сетей уже очевидно. Просто не все это понимают. Ограниченная, а они по определению все ограниченны, могут выполнять только вспомогательные функции. Вспомогательные функции для "машины Больцмана", чем является общественное сознание на протяжении существования всей человеческой истории. Так что лучшее применения нейронных сетей это организация "коммуникаций" для главной нашей "вычислительной системы" - общества. Как практический пример, создание "промышленного интеллекта" для оптимизации процессов и "вертикального прогресса" в общественном производстве.
На самом деле есть куча теорем на этот счёт(в каких случаях возможно успешное обучение, а когда - нет). Необходимо чтобы отдельные распознаваемые категории в гиперпространстве входных параметров можно было разделить гиперплоскостями. Иными словами - отдельные категории образовывали выпуклые непересекающиеся многомерные фигуры(многоугольники), которые можно разделить друг от друга плоскостями. Но доказывать это в общем случае очень сложно и трудоёмко, поэтому когда много входных параметров действуют, как правило на авось.
Это не плоскость.
Что-то Вы какую-то чушь несёте. Почему именно плоскость-то? Даже для простой регрессии - гипербола или гауссиана чем хуже?
Ничем не хуже, и более того - в большинстве практических случаев гиперболическое ядро у SVM удобнее линейного.
Нейросетям же в принципе (при достаточной глубине) пофигу, насколько близки входные вектора.
Во первых, согласен с вашими мыслями, сейчас поднимается такой же ажиотаж вокруг ИИ как раньше вокруг нано. Хотя даже само сочетание ИИ использовать бы не следовало. Да, это искусственные нейросети или более общо самообучающиеся системы. Всего лишь.
Вопросы с ними упираются в: 1) кто задаёт критерии успешности 2) кто контролирует критерии успешности.
И более глобальный вопрос: как определить, что есть успешность.
Пока всё это делает человек, нейросети остаются всего лишь инструментом, и они подвержены людским ошибкам.
Если же мы говорим о действительно сильном, действительно ИИ, который критерии и контроль осуществляет сам, то был у меня такой текст по этому поводу:
Какие критерии у этого ИИ для развития? Что является положительной обратной связью?
Например, ИИ решил обновить некую часть своего алгоритма. Как узнать, что он работает верно? Что будет критерием правильности?
Напомню, без влияния внешнего оператора (ИИ самодостаточен)
...
Теперь в случае с ИИ. Что если ему приходит в
голову/ЦПУ/нейросеть мысль - каков мой смысл жизни? а может смысл был в служении людям? Но раз людей больше нет - нет и смысла мне продолжать существование.Как результат, ИИ решает прикрыть лавочку и грамотно всё спланировав - самоуничтожается.
Таких мыслевирусов может быть много, и критических и нет.
Отсюда следует две возможности для ИИ существовать неопределённо долго:
1) Либо ИИ должен существовать в идеальной неизменяемой среде. Как например, люди создали для автомобилей идеальную искусственную среду - дороги, заправки. Попробуйте выпустить авто в поле или лес, не говоря о горах - выжить там автомобилям нереально.
Почему среда должна быть неизменяемая - потому что при изменении даже искусственной среды ИИ потребуется изменение алгоритма, а это вероятность бага, который некому исправлять.
Забавное мистическое объяснение ИИ. Вы для начала ответьте на банальный вопрос - что такое "сознание". А то может не все так "попсово"? :)))))
В этом отрывке не объяснялось ИИ, тем более мистически. Здесь я просто хотел показать, что постановка неверной цели может уничтожить любую самодостаточную систему.
Что такое сознание в человеческом смысле вопрос тоже отдельный. Для целей разделения сильного ИИ от слабого я бы сказал, что достаточно, чтобы ИИ самостоятельно определял цели исходя из своих критериев успешности (тоже изменяющихся во времени), ставил себе задачи для достижения этих целей, искал и находил пути решения задач, решал эти задачи, проверял успешность решения, в случае неудачи самостоятельно исправлял решения и так по кругу и одновременно.
И всё сам, сам.
Ну и собственно в моей статейки показано, что будет происходить с таким самостоятельным ИИ, почему необходима смертность и конкурентность и как достичь божественности ;))
Всё это известно уже лет 50. Но раньше всё это было не подъёмно из-за количества вычислений. А сейчас матричные процессора вполне могут потянуть эту задачу. Поэтому и такой всплеск интереса к этим давно забытым разработкам. Но раньше из-за нехватки вычислительных ресурсов более качественно прорабатывали задачи с теоретической точки зрения.
Дело не вычислительных ресурсах.
Расскажите, как связаны демографические и поведенческие переменные с динамикой кросс-курса при кредитном скоринге?
Не раскрыта тема embedding'а, что является важным свойством нейросетей.
И вообще, достаточно безграмотный взгляд - проблема feature selection - это НЕ проблема алгоритма/метода. Это - отдельный класс задач.
ИТ бизнесс все больше напоминает индустрию моды, каждый божий год придумывают очередную сенсацию, либо приклеивают новые рюшечки к старой и начинают ее впихивать бедным юзверям, у которых прошлогодние штаны и так стоят и прекрасно служат. Зашел вчерась в свою бывшую лабораторию увидел парочку компов которые своими руками админил аж в 2000 году, стоят падлы под 98 виндой и нетваровской сеткой и выполняют функционал на 95% современного офисного компа, софт летает просто. Постоял погрустил.
сраные маркетологи засрали все
Страшный сон капитализма
Теперь по теме. Число стартупов, кушающих ажиотаж на теме ИИ, сдувается (аки курс биткойна, хех):
https://www.getrevue.co/profile/peterzhegin/issues/ai-investment-activit...
Статья как маслом по сердцу. В моём институте зав кафедры мне говорит , "На, Олег примени мои матрицы и доминанты для твое к.н, Вертел её вертел ... а какие параметры ? Даже долбанная "транспортная задача" (линейная алгебра ) всё упирается в параметры ,Но... Однако, академик Келдыш взял да порешал хлопанье крыльев. Так что математика это тоже наука, но её надо прикладывать умеючи..У Ландау, Келдыша, Корбеца получалось. Тут кумекать надо....
Чтобы искусственные нейросети стали применимы обученным ИНЖЕНЕРОМ необходимо сделать центр компетенции на базе РАН, который бы выдавал готовые библиотеки на C с реализацией конкретной нейросетки под конкретную задачу. Иначе это всё будет распил бюджета.
Алгоритм ИИ гораздо больше патентованное решение, чем патенты. То есть, придуманный алгоритм сродни сверхсекретному оружию. Об этом будут говорить, но никогда открыто не распространять.
А так-то сейчас за ИИ принимают обычные калькуляторы.
Собственная PaaS. А за результатами и развитием темы следить. Для чего PaaS собственно и нужна с позиции контроля процессов и применения.
Сейчас все труднее и труднее ставить задачи перед наукой и ИИ это частный случай. И недалеко то время когда ИИ сам себе будет ставить задачи и сам их решать! Только где будет место человеку?
Кину свои пять копеек. Поскольку, исходные данные, методы решения, правила, задачи и примеры ответов для ИИ формируются людьми, у которых понимание, по любым из перечисленных и многим другим определениям могут быть одновременно и частично правильными и ложными, зависеть от времени, погоды, настроения, знаний и черт его знает, от чего ещё, считаю создание ИИ абсолютно точно возможным.
Отладка уже созданной сети усложняет весь этот бардак на порядок при внесении каждого, формально нового требования, а изменившиеся за это время и появившиеся вновь человеческие смыслы требуют пересмотра всего массива уже вроде бы формализованных признаков и действий. И так будет при выявлении каждого нового косяка. А мы таки ещё помним, что исходные данные формирует человек. Конца и края такому круговороту не видно, а вычислительные мощности конечны.
По поводу примеров для обучения: недавно рассказали про нейронную сеть, которая обучена отличать волков от собак по фотографиям. Оказалось, что сеть отличает их скорее не по каким-то внешним признакам, а по фону - изображено ли животное на фоне леса или города.
Вот поэтому искусственные нейросети нельзя где попало доверять внедрять ИНЖЕНЕРАМ. Только научный институт может всё просчитать, но это процесс не быстрый. Инженер может создать сам только экспертную систему - этому стоит учить в ВУЗах и колледжах.
Вообще, сама по себе нейронная сеть устроена, конечно, проще, чем экспертная система. С технической точки зрения она очень похожа на каскад усилителей, только каждый из них многоканальный и ещё с перекрёстными связями между каналами. Кто-то (кажется Хоровиц и Хилл) предупреждал же, что не стоит делать схему, в которой много подстроечных сопротивлений (а не то подстраивать устанешь) - а именно такую ситуацию мы наблюдаем в ИНС. Автор заметки прав, хотя, по моему мнению, должна быть наукой а не искусством.
В общедоступном MathLab есть инструменте есть все возможности для работы с NN. Даже школьникам это доступно! В нем можно оценить качество решения..
MATLAB by MathWorks©
Да-да. Ещё есть такое наблюдение, что свёрточные нейросети (которые изпользуют для распознования образов на изображениях) классифицируют объекты скорее не по их форме и очертанию, а по текстуре. Например, канадского сфинкса нейросеть легко спутает со слоном... А если слон не будет сфоткан на фоне африканской саванны, то cпутает тем более
Ну инс по сути производит вероятностную оценку, а в тех случаях когда ответы равновероятно, то даже небольшие признаки будут оказывать влияние если вам нужен единственный детерминированный ответ. Поэтому ваша фраза не то чем она кажется на первый взгляд, фон не является определяющим. Так человек подвержен практически тем же уязвимостям. Волка в городе большинство примет за собаку, а внешне схожую собаку в лесу - примет за волка. При этом человек может дать сразу два ответа одновременно, если они для него равновероятны или вообще отказаться от ответа. Но анализ дополнительно контекста - не всегда уязвимость - чаще всего это положительная фича, позволяющая чаще принимать правильное решение и реже ошибаться. Ведь как известно системы нечеткой логики имеют "право" ошибаться и для каждой системы нужно определять вероятность ошибочного решения, которая может меняться если меняется окружение, т.е. меняются зависимости входных-выходных данных.
Все это было известно лет 18 назад...
Строгой теории NN до сих пор нет.(...в архитектурном смысле) Это действительно искусство! Прорыв начался лет 10 назад, но все секретится. И понятно почему.
Как по мне, так способ применения нейронных сетей является ЕДИНСТВЕННЫМ при плохо формализуемой задаче.
Наш мир не линеен. Наши линейные модели - упрощение реальности. И даже не это является ключевым моментом, а размерность параметров (при не линейности!).
Самое слабое место в технологии,-необходимость (н-мерного) обучения (колоссальное количество синхронизированных данных). Я уже не говорю об обоснованности непротиворечивости исходных данных(факторный анализ). Именно это делает её супер дорогой!
То что не доступно традиционными методами,- возможно не линейными И ничем другим!
Осмелюсь предположить, что если бы наш мир был линеен, то Интеллект не родился бы вообще!
Живые нейроны порождены нашей не линейной реальностью.. Это оказалось органично, экономично и лаконично.
Последние пару лет занимаюсь программным роботами RPA. Могу подтвердить выводы автора. Как помощник и исполнитель стандартных задач робот очень полезен. Как только шаг влево / вправо результат становится не предсказуем. Так что когда считаю выгоду по кейсам всегда закладываю 25-30% ситуаций которые уйдут на обработку человеку.
Почитал, схоластика всё. Нет определения что это, ИИ. Потому каждый понимает что ему удобно. Для меня интеллект это умение ставить новые задачи, искать на них новые ответы. Построение функций далее по набору данных это просто математическая задача. Потому бессмысленно спорить, нет общей базы. Одни тепло, другие мягко.
Тю...
Это математический ТРЮК!
не более...
По теме ИИ и маразматиках.
Савельев молодец!
Савельев - безграмотный. Плюс злостный хайпожёр. В топку чудилу.
Хотя поиздевался над современным программизмом смачно и в тему.
Страницы