Наш ответ --Чемберлену-- Джошу Андерсону

Прочел тут рассказ Джоша Андерсона

Про так, как ИИ мешает людям становиться хорошими программистами, а хороших программистов отупляет и сие не вдупляют.

Ну-ну.

История выглядит честной. Вполне себе чистый и с корректными рамками эксперимент: Джош три месяца разрабатывал продукт, полностью полагаясь на ИИ, а потом не смог внести маленькое изменение в собственный же код.
И сделал вывод: ИИ «отбирает» компетенции.

Джош, жжош!

Кратко: человек лбом словил стенку, ну то есть наткнулся на правильный механизм — и прошёл мимо. А искры из глаз проигнорировал.

Итак.
1. Код, написанный руками, — это не просто код.

Когда разработчик пишет код сам, даже без всяких там "рефлексий" и прочих философских умных слов про процесс познания, он выстраивает у себя в голове рабочую модель того, что происходит. Не "понимание всего мира", а простые вещи:

- откуда приходят данные,

- что с ними делают по дороге,

- где чего можно, а где чего нельзя, в смысле - какие данные корректные, а какие явно ошибочные,

- почему функция А подходит, а похожая Б — нет,

- ???

- профит Готовый код!

А еще - где тот самый кусок кода, который лучше не трогать по пятницам.

Это понимание формируется не «желанием учиться», а самим процессом работы. Сам процесс запрягания машины в работу с нужным результатом заставляет мозг объяснять самому себе, что происходит.

Когда же человек работает через ИИ, возникает удобная иллюзия:
«Я давал указания — значит, я понимаю, что я хотел, и что я получаю». Более того, когда вывод ИИ совпадает с некоторыми "ожиданиями заранее", как должен выглядеть код, такая иллюзия усиливается - а кто сказал, что эти ожидания были правильными с самого начала?

И вот что меняется:
- не формируется внутренняя картина всего процесса,
- человек видит результат, но не видит ни механизм его  создания, ни эволюцию первых черновиков в готовые работающие фрагменты кода.
А значит?
Не понимает!

И самое неприятное. У него даже не возникает привычки спрашивать себя: “А я вообще понимаю, что тут под капотом?”. Потому что рабочий поток больше не требует этого усилия. А если такая привычка была из предыдущего опыта работы, она легко глушится той самой иллюзией "я писал ТЗ, значит, все понимаю как надо!".

2. Андерсон описывает провал, но не видит структуру провала

Он описывает явление: «всё работало отлично, пока не потребовалось сделать маленькое изменение — и внезапно я ничего не понимаю».
Ну еще бы ты понимал! Разве ты написал этот код? Разве ты выкурил десять банок кофе, выбирая правильную библиотеку и вбивая ее с помощью лома и такой-то матери в состав принимаемого проектом функционала? Может, это ты намотал двести километров вокруг стула, разбирая выданную компилятором "синтаксическую ошибку" на участке, где ее просто не может быть?
Ну может ты хотя бы скормил своему ноуту пару гигабайт трафика с программистских форумов, чтобы обсудить проблемы своего кода  с коллегами?
Нет, не ты?
Ну значит, не ты его и писал.

Понятно, что главному инженеру завода вовсе не обязательно знать, какого типа сталь нужна в подшипнике цехового крана. Об этом заботится инженер цеха. А про резец в зажиме станка пусть вообще токарь думает, это даже не уровень мастера участка.
Просто программисты раньше совмещали все эти роли, в последние пару десятилетий код стал сложнее - и началось ползучее разделение компетенций, а сейчас код настолько велик и сложен, что нельзя быть одновременно и токарем, и мастером участка даже, не то чтобы совмещать роли от рабочего до инженера завода!

Джош, ты отошел от станка и сел в кабинет инженера завода. Завод работает. Но теперь ты уже не знаешь, какие резцы надо менять, чтобы сделать нужный цеховому крану подшипник.
Ничего удивительного.

И это не магия и не "предательство ИИ".
Это закономерность.

ИИ не уничтожает компетенции.

ИИ убирает стимул к их формированию. И меняет рабочий процесс так, что без специальной оглядки на самого себя "как я думаю и почему именно так" - человек просто перестает формировать и развивать свою компетенцию.

Настоящая компетентность — это ведь не набор знаний, иначе Большой Энциклопедический словарь давно бы работал в куче мест, а референты исчезли бы, как извозчики.
Компетентность - это:
- критерии проверки решений;
- способность держать в голове причинно-следственные связи;
- привычка проверять свою логику - причем не только в тезисах, но и в гипотезах;
- способность объяснить самому себе (и частенько еще и дураку-начальнику), что ты делаешь и почему.

Когда ИИ делает всю вот эту черновую работу, эти элементы просто перестают формироваться.
Человек нажимает кнопку, получает результат — и считает это "пониманием". Помните старую песню группы "Технология"? Кто-нибудь, дайте Джошу перевод, не могу смотреть, как бедолага мучается!

Мы видим результаты новой модели работы - "человек плюс ИИ". Неспособность человека изменить что-то в системе, в которой он сам уже не является строителем. А что, это прям очень новый результат?

3. Что касается менеджеров — там всё ещё веселее

Андерсон жалуется, что менеджеры «не могут оправдать решения, которые они не принимали». Но, откровенно говоря, многие менеджеры и до ИИ принимали решения по схеме:
"ситуация похожа на ту - берём похожую стратегию - чуть поправили (опционально) - выкатили". Почему именно так? Как обоснованы выводы о похожести? Каким способом сделана ясность, что надо поправить? -

- "...и тишина-а!".

ИИ просто сделал это очевидным: когда ты никогда не держал свой мыслительный процесс в руках, ИИ быстро занимает пустующее место. А еще прожектором светит на этот не самый приятный факт.

Так что, Джош, нас ждет не проблема провала компетенций из-за ИИ-ассистентов, а титаническая битва кое-какерства против адептов церкви "Знание - сила!".

4. Почему провалы — это следствие, а не проблема

Андерсон называет это «отречением». Но корень не в отказе от ответственности. Можно подумать, это ИИ лишат квартальной премии или заставят заниматься исправлением того, что там система напахала.

Можно даже подумать, что человеки, которые делали свой продукт с ИИ, не понимают, что ответственность все равно на них. В смысле "разгребать последствия" - она никуда не денется, отказывайся от нее хоть по двадцать раз на дню!

Корень в том, что у человека исчезает то, что раньше формировалось адаптивно и напрямую в процессе делания или думания: умение понимать, что ты делаешь, объяснять, как именно ты это делаешь, и почему именно это.
Не в абстракции — а конкретно: как устроена штука, с которой ты работаешь.

ИИ ускоряет уже существующий процесс:

пилоты больше не знают, как работает автопилот;

врачи — как алгоритм интерпретирует рентгеновские снимки;

менеджеры — откуда взялись цифры в таблице;

разработчики — как получился код, который «они же и запускали».

То есть мы подошли к точке, когда процессы перестали формировать понимание автоматически. Черный ящик - он такой, очень черный. Пока ты хотя бы немного вовлечен в процесс формирования реальности, можешь претендовать, что твой "черный ящик" под черепной крышкой что-то адекватно соберет в модельку в сознании. Отошел на уровень "вот тебе промт... не, не работает, ошибка Х - переделай... о, работает!" - можешь попрощаться с собственной когнитивной мощностью. Ну, в рамках конкретного проекта, конечно.

5. Что действительно стоит делать (и что многие проигнорируют)

Выход не в том, чтобы «отказаться от ИИ» — это разговор уровня XIX века.

Выход в другом: вернуть человеку ту часть работы, которая формирует понимание, и вбить в каждую человековую голову: ИИ - помощник, а не оператор. Инструмент, а не строительный рабочий и уже тем более не архитектор.
Пусть человек продолжает чесать извилины, но не потому, что человек "должен страдать".
А потому, что это — та часть работы, которая делает человека мастером, а не свидетелем процесса.

Скучно? Тяжко? А в дороге ИИ кормить не обещал! И если ты готов отдать свою "рутину понимания" электронному ассистенту, то и объяснять, как что устроено в бывшем твоем проекте будет он. Может, лучше, может хуже, но - он, потому что ты свой проект уже не понимаешь.

"А конфеты за меня тоже вы есть будете?"
ИИ-ассистент: Несомненно, Господин Великий Пользователь!

6. Итог

95% провалов инициатив ИИ — не показатель некомпетентности отрасли.
Это показатель отрыва человека от понимания того, что он делает. Отрыв был всегда, но теперь работа с ИИ очень ярко и контрастно его подсвечивает.

Андерсон увидел симптом: человек больше не чувствует себя автором своей работы.

Но истинная причина — глубже: когда рабочий процесс перестаёт формировать понимание, человек перестаёт быть компетентным, даже если знает правильные кнопки.

Это не проблема класса "человек против ИИ", и не проблема "человек вместе с ИИ".
Это проблема чисто наша, человековая.