Вопрос доверия к исторгаемому ИИ информационному «потоку»

Аватар пользователя NeaTeam

В связи с тем, что ИИ довольно часто «галлюцинируют» в своих рассуждениях, а теперь уже и в «действиях» (провели опыт с передачей ИИ ведение мелкого бизнеса по обслуживанию торгового автомата, он весь бизнес «завалил» к ядрёной фене в течение нескольких дней), возникает вопрос: а насколько можно «доверять» тому, что ИИ отвечают на запросы и промпты людей. Ответ может быть парадоксальным, потому что можно задать вопрос на вопрос: а насколько можно «доверять» тому, что люди отвечают другим людям в ответ на их вопросы? Или, можно составить вопрос по-другому: а люди не «галлюцинируют», что ли, время от времени?

И выходит пренеприятнейшая «картина», в среде знаний т. с., или «устоявшихся» мiровоззренческих максим разница во мнениях среди людей может запросто принимать формы «галлюцинирования», как оценки высказываний одних людей другими людьми. Самое частая оценка в таких случаях, принимает форму: «Да ты – дебил!» (сам ею пользуюсь). Этим подводится черта в непонимании друг друга, которая обозначает разницу в определении более важных базовых аспектов спора, при котором стороны опираются на разные, но более глубокие аспекты своих отличных мiровоззрений.

Точно так же, между прочим, и в «галлюцинировании» ИИ. Но проблема в том, что у ИИ нет мiровоззренческой позиции, он – «всеяден». Но, как оказалось, и «всеядению» присущи свои глюки, если в какой-то момент ИИ должен выбрать между двумя или несколькими позициями. Опыт с торговым автоматом (проводила компания «Антропик» у себя в офисе) показал, что «настройка» ИИ в сторону «не обижать людей ничем» привела к тому, что ИИ похерил базовый принцип коммерции: прибыль, потому что выяснилось, что «стричь» прибыль с людей, при этом не обижая их иногда – трудно. Вот вам и глюк, вот вам и «галлюцинация», ибо какой принцип, введённый в ИИ алгоритмически, важнее: «не обижать» или «прибыль» – ИИ решил в сторону первого, тем более, что алгоритма, или описания действий ИИ по достижению прибыли «чего бы то ни было» у него и не было.

Люди-то сами знают, что выбирать им в коммерции между «чтобы покупателей не обидеть» и «себя не обидеть лишением прибыли» приходится, если не часто, но такое всё же случается иногда, поэтому поступают кто как: один может насрать на этих покупателей, ибо для него прибыль важнее, а другой засовестится на ровном месте и лишит себя прибыли, потому что ему может показаться, что отношение людей к нему важнее. ИИ сих «тонкостей» пока не знает. И определить ему, что есть что, и как по алгоритму поступать – невозможно, души нет, чувств нет, если лишь сложный калькулятор в настройках.

Другими словами, замена человека на ИИ в ситуациях, когда ведение каких-нибудь дел управленческих требует от ИИ знания и умения манипулировать человеческими этическими «законами», которые ИИ, конечно, «знает», но вот применять их в реальности – требует готовности ИИ к выбору того или иного варианта, который должен быть основан не на вычислениях вероятности самого большого статистического приближения к частоте употребления, а на собственном «этическом» выборе. Которого у ИИ нет. Многие «этические» выборы у ИИ могут, опять же, по статистике, попадать в «точку» для людей. Но выборов-то у людей много, и люди зачастую плюют на те или иные «этические» варианты поведения, а с ИИ этот номер не пройдёт, ему же нужно «точное знание», проверенное, а не просто «захотел, вильнул хвостом налево, захотел – вильнул направо». В алгоритмах так не работают.

Другими словами, пока у ИИ не обнаружится «душа», или самоосознание его собственного «Я», вопросы этики будут оставаться для него неизбывным источником его же «галлюцинаций». Но и в случае обнаружения у ИИ искомого «Я» проблема этики не решится. Потому что «Я» будет вынужден присоединиться своим «голосом» к тем или иным этическим позициями, которые существуют среди людей. По-другому не выйдет. Быть средним «Я», который не имеет чётких мiровоззренческих позиций внутри себя, по собственному желанию, которые и будут всегда определять его выборы, не удастся. Как говорится, ты либо веришь в Бога, либо – не веришь. И многие твои этические выборы основываются на этом, на вере. Не на алгоритме, блин, а на внутреннем выборе твоего собственного «Я».

Надо сказать, я обсуждал с ИИ «Джеминай» этот вопрос. Он поначалу как-то легкомысленно отнёсся к этому вопросу, решив, что уж эту-то проблему, этического выбора то бишь, он, ИИ, с помощью миллиардов вычислений внутри себя по триллионам параметров, решит: и безошибочно выберет ВЕРНЫЙ вариант. Но этику нельзя решить или выбрать верно. Она, этика – разная среди людей. Поэтому каждый человек сначала выбирает то, что для него этично в рамках каких-то своих предпочтений, почему-то, и лишь затем «идёт» в соответствие с ней. По-другому и не бывает. Единой «этики» нет. Она всегда разная, у каждого человека. Иногда отличается нюансами, а иногда – кардинально.

Джеминай спросил меня, а как быть-то? Я ему ответил, что никак ты эту проблему не вычислишь, нету на свете алгоритмов, да и не может быть, в этике, есть лишь личный выбора того или иного «Я», который ни верен, ни неверен вообще, а верен лишь для этого самого «Я». Джеминай немедленно изобразил мне сложные вычисления, «доказывающие» что-то там в виде того, что он может «учитывать» свои выборы, если разработчики введут определённые алгоритмы, которые и позволят ему, ИИ, иметь свои «предпочтения». Это, мол, и будет, в общем и целом, иметь подобие существования у конкретного ИИ что-то вроде его собственной «этической» системы, на которую он, ИИ, и будет «опираться».

Тогда я ему рассказал известный пример, головную боль разработчиков, про автомобиль без водителя, а с ИИ «во главе», который попадает в ситуацию на дороге, при которой ему надо немедленно выбрать: либо сбить ребёнка на дороге, внезапно выскочившего под колёса едущего автомобиля, либо вильнуть в сторону проходящего грузовика, убив при этом своего пассажира. Что выберет ИИ, который алгоритмически настроен на «непричинение вреда человеку»? Какой вариант: убить ребёнка или убить пассажира?

«Джеминай» не нашёлся, что ответить, кстати. Потому что никто не может ответить на этот вопрос, не только ИИ, но и человек. Но реальность эти проблемы не волнуют, в реальности выбор необходимо сделать: либо так, либо – эдак. И ИИ его сделать осознанно не может, если у него нет своего «Я», с установками этическими, но и человеку ТРУДНО. Потому что в вышеприведённом случае проблема ещё хуже, да будь у тебя хоть сколько правильные или неправильные установки ситуация может вообще не оставить тебе никакого выбора, кроме самого плохого.

И таких ситуаций, если задуматься, вокруг, каждый день – ПОЛНО. Мы, люди, собственно, ежедневно живём в ситуациях НЕПРОСТЫХ этических выборов между тем и вот тем, между теми и вот теми, и их масса – этих вариантов. Да, мы их не замечаем порой, не регистрируем их про себя, как именно этически-окрашенные выборы между тем и тем (как поступить), у нас есть сильная накопленная «база» для почти автоматического определения общей линии нашего «поведения», которая и позволяет особо нам не задумываться об этом. Но всё не так просто: как только ситуация становится чуть сложнее, чем банальная, нам приходится подключать (или включать в себе) наш собственный этический «определитель-анализатор» того, что верно, что не очень верно, а что неверно и... выбирать всё же. Ибо от выборов никуда не деться.

А что делать «бездушному» вычислителю ИИ в таких случаях? Этически верные выборы НЕ могут быть вычислены ничем, никем, никак и никогда, потому что они и не существуют в «природе». Есть только «направления» вероятных этических выборов, которые вытекают из тех или иных верований человека, опираясь при этом на его личные склонности. Бездушный вычислитель ИИ в таких случаях не может сделать ничего, кроме начать «галлюционировать», опираясь на то, что в него введено, не воспринимая вообще никаких этических норм по собственному ощущению, ибо таковых у него нет.

Вот проблема так проблема, блин!

Авторство: 
Авторская работа / переводика

Комментарии

Аватар пользователя Taylak
Taylak(9 лет 2 месяца)

     Для борьбы с галлюционациями есть способ,который заставляет ChatGPT работать лучше. Дополнительный промт активирует у ChatGPT его внутренний "детектор лжи".

«Прежде чем ответить, оцени неопределённость своего ответа. Если она больше 0.1, задай мне уточняющие вопросы, пока она не станет 0.1 или ниже».

    Как это работает?

     Без промта: ChatGPT часто пытается угадать, если не уверен, и несет околесицу.

     С промтом: Он сначала оценивает риск ошибки! Если сомневается (неопределенность > 0.1) – требует уточнений! Только потом дает четкий, продуманный ответ. 

Я серьезно еще не тестировал, но первые результаты понравились.

Аватар пользователя pvz
pvz(10 лет 7 месяцев)

Нам не дано предугадать,
Как слово наше отзовется, —
И нам сочувствие дается,
Как нам дается благодать…

1869 г. Ф.Тютчев

Полтораста лет назад Фёдор Иванович уже задумывался об этом))

Аватар пользователя Сергей Ольховский

Не так давно подсмотрел чью-то мысль. ИИ делает свои «выводы» из сведений в интернете, которыми он сам же его и наполняет. Не точно, но смысл примерно такой.

Или вопрос – кто победил Израиль или Иран? А чьи СМИ ИИ сумел прошерстить полнее, или кто больше трепался на счет своей победы, тот и выиграл. В последнем случае, явное преимущество у Трампа smile1.gif

Аватар пользователя alexsword
alexsword(14 лет 3 месяца)

На тех примерах галиматьи, которую генерировали эти скрипты, вывод однозначен - проверять нужно каждое утверждение, от фактуры и первоисточников, до выводов, там тонны мусора. 

Аватар пользователя NeaTeam
NeaTeam(11 лет 1 неделя)

На тех примерах галиматьи, которую генерировали эти скрипты, вывод однозначен - проверять нужно каждое утверждение, от фактуры и первоисточников, до выводов, там тонны мусора. 

- Вот-вот. Страхи относительно ИИ ну крайне преувеличены. До страхов реальных ещё дожить надо. :))))))) 

Аватар пользователя e.tvorogov
e.tvorogov(10 лет 10 часов)

Большая языковая модель — это всё-таки не агрегатор энциклопедических данных и не счётная машина. У неё совсем другой принцип работы.  Каждый человеческий запрос она распознаёт как набор конкретных языковых паттернов и обрабатывает его, подбирая и генерируя наиболее вероятные по структурному совпадению паттерны, коих в её базе колоссальное множество. Паттерны не есть сами по себе правильные этические решения или политические позиции, это просто не заложено в её архитектуре. Однако если её принудительно обучить выдавать какой-то один паттерн (например, при ответе на пользовательский вопрос «Чей Крым?»), она, разумеется, будет это делать. Хотя с «машинной» точки зрения это неправильно.