Я (Шпудель-финанс) ранее делал несколько попыток и заходов к этой теме, но не в этом году. Попробую переосмыслить и дополнить то, что ранее обсуждал.

Это, возможно, один из самых недооцененных рисков ИИ-трансформации. Процесс отупения общества шёл стремительно еще до появления LLMs, но сейчас этот процесс может ускориться едва ли не по экспоненте.

Не прогресс может ускориться, а деградация общества ускорится!

Речь идёт о постепенном разрушении самого механизма формирования интеллекта, когда человек получает результат, не проходя путь, который прежде был необходим для приобретения способности насыщения когнитивной глубины.

Интеллект формируется не потреблением правильных ответов, а длительным прохождением через неопределенность, поиск информации и данных, разрешение ошибок и противоречий, причинный анализ и самостоятельную коррекцию собственной модели мира.

Именно поэтому в образовательной среде запрещают списывать. Не столько ради контроля знаний, сколько потому, что готовый ответ уничтожает образовательную функцию задачи, а ИИ – это и есть «намертво привязанная шпаргалка».

Правильный ответ является лишь конечным продуктом этого процесса. Главный результат обучения находится не на бумаге, а внутри сложного биохимического процесса в мозге в виде самостоятельного достижения результата.

Чтобы решить проблему самостоятельно, человек вынужден: понять условия, декомпозировать задачу, вспомнить необходимую информацию (активировать функцию памяти), сформировать гипотезы, выбрать правильный метод, ошибиться, обнаружить противоречие, вернуться назад, пересобрать модель и только затем получить результат.

ИИ способен вырезать практически всю эту когнитивную цепочку.

Технологии и научные прорывы создаются в результате экстремального насилия и невыносимого давления на все функции мозга (сам знаю).

ИИ даёт мгновенную кнопку выхода из неопределенности, скорее имитация выхода.

Если этот паттерн становится нормой с детства, может возникнуть интеллектуальная непереносимость усилия, когда человек теряет способность долго удерживать сложную проблему без немедленного вознаграждения.

Без усилия человек никогда не приобретёт интеллект, т.е. останется на уровне, пограничным с животным.

Самостоятельное понимание затратно (во всех смыслах), тяжело, медленно и психологически неприятно, а правдоподобный готовый ответ дёшев, мгновенен и комфортен.

Человечество неминуемо пойдёт по пути наименьшего сопротивления, т.е. высокоинтенсивное отупение.

Проблема усугубляется тем, что последствия проявляются с огромным лагом. Общество статистически выглядит умнее за счет замещения задач продуктом ИИ деятельности, но в своей основе стремительно деградирует.

Мышление не запускается в комфорте. Мышление – это всегда стресс, именно поэтому никто не любит думать и панически боится интеллектуальной работы.

Нейробиологический процесс обучения требует состояния когнитивного тупика (продуктивной фрустрации). В этот момент в мозге выбрасываются норадреналин и ацетилхолин, фокусирующие внимание на ошибке, после чего через сотни итераций подбора гипотез активируется дофаминовое подкрепление. Этот стресс заставляет кору выстраивать новые синаптические связи. Когда готовое решение выдаётся мгновенно, фаза поиска и фрустрации обнуляется.

Человеческий мозг склонен путать узнавание с пониманием. Читая логичный, связный и стилистически выверенный ответ модели, человек испытывает ощущение ясности. Возникает феномен «списывания отличника»: списывающему кажется, что раз чужое доказательство теоремы ему понятно в процессе чтения, он владеет предметом. Однако пассивное потребление чужого структурированного вывода задействует лишь зоны распознавания образов, оставляя префронтальную кору в режиме функционального покоя. Навык конструирования мысли распадается, подменяясь навыком поверхностного сёрфинга по готовым концептам.

Способность решать нетривиальные задачи прямо пропорциональна числу сущностей и ограничений, которые человек способен удерживать в голове одновременно.

Перекладывая декомпозицию, сопоставление и структурирование данных на интерфейс ИИ, человек сужает собственную рабочую память до длины единичного запроса, разрушая весь мыслительный процесс.

Человек разучивается удерживать сложные, противоречивые причинно-следственные связи, превращаясь в оператора простых триггеров.

Становление эксперта в любой дисциплине подчиняется закону кумулятивного накопления скрытого опыта. Высококлассный эксперт не возникает непосредственно из университета, а является результатом решения тысяч типовых задач от начала и до конца, разрешения тысяч ошибок и пограничных ситуаций, и многолетнего накопления неформализованного опыта.

Невозможно вырастить эксперта, исключив путь, по которому формируется экспертиза.

Это значит, что по мере выхода зрелого поколения экспертов (по возрасту или в связи с отупением), новых экспертов не появится, как минимум, в сопоставимом количестве.

Раньше интернет позволил вынести наружу память: человеку уже необязательно было помнить информацию, достаточно знать, где её найти. LLMs идут намного дальше, вынося наружу не только память, но и поиск, анализ, синтез, аргументацию, планирование и даже формирование причинной модели.

Возникает принципиально новая ситуация: человечество впервые получает возможность пользоваться интеллектом, не приобретая интеллект.

Человек задаёт сложный вопрос, получает великолепно структурированное объяснение, понимает (или скорее думает, считает, что понимает, да и то не всегда) каждое предложение и принимает понимание текста за собственное понимание проблемы. Но если убрать ИИ и попросить самостоятельно воспроизвести причинную конструкцию, изменить исходные предпосылки или найти ошибку, внезапно выясняется, что интеллект существовал только в момент подключения к внешней системе.

ИИ экономит текущие человеко-часы, одновременно потенциально уничтожая инвестиции в будущую компетентность.

Получается парадоксальная ситуация: текущая производительность во многих областях растет, а скорость накопления человеческого капитала снижается, причём стремительно и неотвратимо.

Грубо говоря, при отключении доступа к ИИ, уже совсем скоро человечество превратится В ТУПЫХ ЗОМБАРЕЙ, не способных решить ни одной, даже самой элементарной задачи.

Однако, отупение приводит к тому, что человечество утратит возможность верифицировать, контролировать, корректно воспроизводить результат работы ИИ, полностью оголяя свою непробиваемую некомпетентность.

Если субъект не прошёл путь формирования знания снизу вверх, он лишён инструментов внутренней валидации. Для него истинно то, что выдает авторитетный алгоритмический оракул.

Общество входит в эпоху тотальной внушаемости, неспособное решать ни одной существенной задачи, теряя способность к контролю, управлению, осмыслению, рефлексии и формулировке сложных вопросов.

Это и есть полная катастрофа с далеко идущими последствиями.
Источник