Эпистемологическая слепота в проекте сильного ИИ

Разговоры об определении «смысла», «информации» и «сознания» в контексте ИИ-разработок всплывают регулярно, но в подавляющем большинстве случаев заканчиваются там же, где и начинались. Количество альтернативных формулировок, предлагаемых в качестве определений, может рассчитываться по формуле из анекдота: на двух исследователей 3 варианта. Ни одно определение из множества не выглядит для остальных или большинства убедительным, но что ещё более важно — не влечёт за собой существенных конструктивных следствий для прогресса в НИОКР, как могло бы быть, если бы действительно сильная формулировка выразила бы важную часть понимания. Ситуация настолько не нова и повторяема, что уже исключительно статистически должна привести к подозрениям, что вопрос, возможно, не в некой серебряной формулировке-пуле, которую нужно отыскать, а в чём-то за пределами этих уже набивших оскомину усилий. Но этого, увы, не происходит.

Констатация тупиковости, впрочем, тоже не нова. Как минимум, уже молодой Чалмерс своей книге «Сознающий ум» 1996 года даёт подзаголовок  «В поисках фундаментальной теории» и сетует, что без оной мы никуда не двинемся. В науке поиск хорошей объясняющей теории —  это нормальное, обычное состояние исследования. У человека есть области эпистемической темноты: области неопределённости, отсутствия достаточно качественного, ясного знания, в которые человечество отважно движется, вооружённое фонарём разума. Сообщество разработчиков AGI, особенно инженеры, не особо уделяющих внимание высокоабстрактным соображениями, к поиску сильного ИИ и вроде бы связанных с ним вопросами «смысла» и «сознания» относится именно так: нужно взять и найти механизм, алгоритм, теорию — и всё заработает. Мы же уже сто раз так делали: вон сколько изящных табуреток, гигантских мостов и изощрённо самонаводящихся ракет из этой темноты успешно достали.

Но я возьмусь утверждать, что из указанного тупика такая стратегия не выведет, при любом количестве заброшенных в работу денег, специалистов, экзабайтов, петафлопсов и глубины нейроархитектур с динамической структурой. Впечатляющие достижения недавнего прошлого — это эффект от движения по первой части подъёма по кривой, для которой существует асимптота, когда результаты по Y были околопропорциональны забросу ресурсов в X. Чем дальше в этот ресурсный Х, тем сложнее будет получать хоть какой-то прирост в качестве искусственной когнитивной функции по Y. Без изменения подхода, на фундаментальном уровне. Насколько я вижу, этот факт не осознаётся сколь-нибудь широко, отношение к нему скорее легкомысленно-шапкозакидательское.

Причина этого в том, что разработка сильного ИИ — это сверхпроект разработки сверхсложной машины, к которой подходят с теми же знаниевыми, эпистемическими инструментами, которые успешно работали с табуреткой, мостом и ракетой. И сложность сильного ИИ не просто высокая, она запредельная. «Запредельное» тут — не просто экспрессивная бытовая замена для «очень-очень», это указание на то, что, в терминах закона Эшби, сложность регулятора сопоставима со сложностью регулируемого устройства. Или даже очевидно превосходит, находится за пределами совокупной текущей способности общества понимать и создавать. Мы пытаемся построить нечто, имеющее более сложное строение, чем мы сами, как организованная созидательная машина.

Я не буду акцентировать внимание на утопичности или принципиальной достижимости AGI — есть разные достойные аргументы в обе стороны. Тезис данной статьи в том, что в данном технологическом вызове предельного характера мы имеем дело не только и не столько с привычной эпистемической темнотой, а с эпистемологической слепотой. Под эпистемическим я понимаю знание о мире, а под эпистемологическим — знание о знании о мире. Эпистемология — протокол мышления о мышлении. (Что несколько контрастирует с академическим определением, но оное здесь бесплодно). В первом случае мы имеем известное незнание: так или иначе осязаемая темнота с границами и уверенностью, что фонаря достаточно. Во втором же случае мы можем видеть свет, темноту, полутени, но это не имеет значения: нет решения. Уже даже не сильно играет роль то, чего мы не видим — пока мы осознаём границу видимости. Во втором случае проблема находится не в видимом и невидимом, а в самих инструментах зрения, которые определяют градации знаниевой «освещённости», в конфигурации нашей когнитивной оптики, в знании о знании и в мышлении о мышлении. Мы должны понимать, что наш «фонарь» не монументален, не постоянен, не «объективен» как ньютоновская табуретка, которую можно остановить, разобрать и собрать на новом технологическом месте; все свет и тени [на стенах платоновской пещеры] — это игры разума, параметрические флуктуации, по большей части вне собственно разумного контроля.

Именно [естественное] мышление о [искусственном] мышлении является предметом инженерной работы: человеческий рацио создаёт механический. Но именно эпистемологическая слепота, отсутствие качественной рефлексии, позволяет думать, что конструирование искусственного мышления на основании естественного знания возможно без развития естественного знания о естественном знании. Без перехода на следующий этаж не только в скорости матчинга паттернов на графах, а в качестве естественных инструментов знания о знании и мышления о мышлении, без рационально управляемой эпистемологии.

Разговоры о «смысле» и «сознании» — это, несомненно, частность. Но частность, которая показывает, что ситуация в ИИ сейчас аналогична ситуации в физике конца XIX — начала ХХ века: микромир уже доступен, оттуда поступают странные микроволновые сведения, но думают о нём ещё в терминах корпускулярных «макротабуреток». Надо ведь просто найти правильную формулу для описания траектории электрона на щели и нахождения его импульса. Сейчас поднажмём. Но последующие события показали, что «поднажимать» бессмысленно — нужно радикально менять и добавлять не столько онтологические формулы, а саму онтологию — саму принципиальную организацию знания и понимания мира — за пределами известной тогда ньютоновской физики и в известной мере в противоречии с последней.

«Смысл», «сознание», «информация» и пр. зомби-теории о «философских зомби» — это неуклюжие, неуправляемые механистичные инструменты знания о знании, которые висят кандалами на всех, кто двигается в сторону конструирования сложных искусственных агентов. Дискуссии о них — душераздирающее зрелище, напоминающее ожесточённую атаку мухи на стекло. Асимптота не просто видна, от неё уже шрамы на макушке. Но упорство — это наша доблесть. Идея о том, что любые формулировки понятий предельного характера одинаково полезны или бесполезны, особого внимания не привлекает. Ещё меньше понимания вызывает идея, что сама организация дискурса вокруг такой конструкции как «определение термина» может быть как минимум неоднозначно нужно или полезной. Коммуникация может быть выстроена иным образом не просто онтологически: другие термины в других отношениях-семантиках между собой; а эпистемически: с изменением паттернов управления онтологической работой и организацией онтологий. Например — на необъектных принципах.

Естественным знанием об естественном знании сейчас занимаются больше философы и социологи — светлые гуманитарии, которым некуда спешить, и которые с большинстве случаев не могут или не хотят проверять свои теории на практике, «в железе», имея к этому очень уважительные причины. Предельно уважительные. Что сильно снижает требования к дисциплинированности мышления о мышлении и на конструкторскую работу инженеров действует часто усыпляюще. В истории такая ситуация не первая. Усилия первых учёных, прото-физиков, завершились отрывом собственно физики от «натуральной философии», с нахождением настолько дисциплинированных форм знания, что дисциплинированное железо смогло улететь к облаку Оорта, а дисциплинированная кремне-медь сочиняет музыку. Физика, химия, биология больше не висят на орбите философии-о. Сейчас требуется совершение ещё одного такого же отрыва. Знание о знании должно также выйти из философской песочницы и стать не предметом «свободных разговоров о разном», а управляемой эпистемологией — дисциплиной с иным качеством представления знания и знания о знании, позволяющей сначала снижать затраты на естественный когнитивный манёвр, и потом — предоставлять архитектуры для построения симметричных искусственных функций.

Причём, речь здесь не идёт про некое эзотерическое знание, доступное просветлённым. По моим наблюдениям, проблема не столько в отсутствии понимания каких-то положений, сколько в неадекватном представлении этого понимания в дискурсе, в недостатках философского и инженерного протоколов, приводящих к стягиванию внимания к ряду малополезных аттракторов. И проблемы лежат не на операционном плане, что может решиться менеджментом коммуникации, а в достаточно высокого уровня обобщения структурах и параметрах, таких как отношение к категории «истинности» или само наличие, необходимость такой категории в эпистеме.

В рамках этой статьи нет места для очерчивания каких-то принципиальных оснований для такой дисциплины. Её цель — ещё раз спровоцировать эпистемологическую, нефилософскую рефлексию инженеров, вовлечённых в AGI проект; сфокусировать взгляд на неосознаваемом незнании и проблематизировать его, вывести в зону осознанного незнания.

Читайте также:

комментария 2

  1. Roman Leventov:

    По-моему, cumulative concept/theory learning, knowledge extraction широко признаны сообществом разработчиков ИИ как главные препятствия на пути к AGI. Мне кажется, эти проблемы вполне могут быть преодолены текущими, инженерными подходами. Хоть и не «тупым» набрасыванием все больших данных для обучения трансформерных сетей со все большим кол-вом нод, но в то же время и без углубления в эпистемологическую глубину понятий «концепт» и «теория». За первое сойдет любой паттерн, за второе — любая модель. Разобраться с деталями, возможно, AGI *должен* самостоятельно — в соотвествии с http://www.incompleteideas.net/IncIdeas/BitterLesson.html.

    > Причина этого в том, что разработка сильного ИИ — это сверхпроект разработки сверхсложной машины, к которой подходят с теми же знаниевыми, эпистемическими инструментами, которые успешно работали с табуреткой, мостом и ракетой. И сложность сильного ИИ не просто высокая, она запредельная. «Запредельное» тут — не просто экспрессивная бытовая замена для «очень-очень», это указание на то, что, в терминах закона Эшби, сложность регулятора сопоставима со сложностью регулируемого устройства. Или даже очевидно превосходит, находится за пределами совокупной текущей способности общества понимать и создавать. Мы пытаемся построить нечто, имеющее более сложное строение, чем мы сами, как организованная созидательная машина.

    Я не спорю с тем, что экстенсивный подход не приведет к качественному прорыву (хотя и не до конца сам в этом убежден). Но параграф выше, по-моему, это совершенно не доказывает.

    Во-первых, смешиваются задачи создания агента и его регуляции. Невозможно контролировать что-то, что сложнее тебя, но создать — вполне можно. Из дальнейшего рассуждения в статье следует, что для создания AGI надо вывести рационально управляемую эпистемологию из философии в научную или инженерно-научную дисциплину. Интуитивно, это изменит сложность социальной созидательной машины совсем на чуть-чуть (условно, 0.1%) и затем не более чем на десятки процентов в течение следующих, допустим, 100 лет, при условии, что у нас за это время не появится сильный AGI. И это еще оптимистично. Так что, эти 0.1% или десятки процентов в сложности — это то, что отделяет нас от «планки» AGI, чтобы ее перепрыгнуть? Почему не сотни процентов или не тысячи? В то же время, за исключением романтиков, которые думают что AGI принципиально не может быть создан, большинство ученых сейчас ожидают его появление в ближайшие 20-40 лет, а не 100 или 200.

    Во-вторых, человеческая организованная созидательная машина сейчас неизмеримо сложнее, чем один человек. А проект AGI — это про создание пока что чего-то равного по интеллекту одному человеку, а не всему обществу.

    • Roman Leventov:

      Иронично, что сам закон Эшби сформулирован в объектных терминах, против которых вы, возможно справедливо, выступаете.

Добавить комментарий для Roman LeventovОтменить ответ