Нейросети оказались символическими внутри

Нейросети всегда представляли как антипод символьного мышления. Мол, там внутри векторы, а не формулы и правила. Но что, если мы ошибались насчёт самой природы этих векторов?

Векторы vs. символы: ложная дилемма?

Классический подход к ИИ, который называют GOFAI, опирался на символы. Информация кодировалась как логические формулы, деревья вывода и явные правила. Если «Сократ — человек» и «Все люди смертны», то вывод «Сократ смертен» получается по правилам логики.

Современные нейросети работают иначе: вместо символов — векторы в непрерывном пространстве, вместо явных правил — миллионы числовых параметров. Интуитивно это выглядит как противоположность символьному подходу. И всё же векторные модели отлично справляются с задачами, которые, казалось бы, требуют символической обработки: арифметикой, логикой, программированием и даже математическими доказательствами.

Что значит «символическая структура» в контексте нейросетей

Исследователи из Johns Hopkins и других университетов показали: внутри нейросетей, в том числе больших языковых моделей, спонтанно возникают символические структуры. Это не метафора, а наблюдаемый эффект.

Авторы работы взяли нейросети разного масштаба и попробовали заменить их внутренние представления на явные символические формулы — закрытые математические уравнения, которые делают то же самое, но без обучения. Идея была проста: если сеть внутри устроена символически, то её можно «сжать» в компактные формулы без потери функциональности.

Результат оказался поразительным: для маленьких нейросетей, обученных работать со списками, замена на символические формулы вообще не изменила результат. Для больших языковых моделей замена дала почти то же поведение в задачах на арифметику, логику, программирование и лингвистику.

ЗАМЕНА ВЕКТОРОВ НА ФОРМУЛЫ
───────────────────────────
  ┌─────────┐     ┌─────────────┐     ┌──────────┐
  │ Векторы │ ──▶ │ Уравнения   │ ──▶ │ Поведение│
  │ нейросети│     │ (символы)   │     │ модели  │
  └─────────┘     └─────────────┘     └──────────┘
        ≈ 95-100% совпадение

Четыре домена, где это работает

Исследователи проверили подход на задачах, которые традиционно считаются «символьными».

• Арифметика — модели, обученные на сложении и умножении, внутри оказались устроены как таблицы с формулами.
• Логика — задачи на логический вывод тоже свелись к символическим структурам.
• Компьютерный код — парсинг и генерация кода оказались представимы через формулы.
• Естественный язык — грамматические структуры и семантические отношения также выражаются символически.

Это значит, что модель может вести себя как система, в которой есть не только статистические зависимости, но и компактные правила, пригодные для явного описания.

ДВА ВЗГЛЯДА НА НЕЙРОСЕТЬ
─────────────────────────
Векторный взгляд          Символьный взгляд
    ┌───┐                    ┌───┐
    │ 0 │ ──┐            ┌─▶ │ A │
    │ 1 │ ──┼─▶ [НС] ──▶│   │ B │
    │ 0 │ ──┤            └─▶ │ C │
    └───┘                  └───┘
 "чёрный ящик"         "прозрачная структура"

Что это даёт на практике

Если внутри модели есть символическая структура, её можно менять напрямую: не переобучать на новых данных, а внести точное изменение в формулу и получить предсказуемый эффект.

Исследователи показали это на практике: они вмешались во внутренние представления LLM через символические формулы и изменили её поведение целенаправленно. Это похоже на то, как если бы удалось открыть чёрный ящик и подкрутить конкретный винтик.

Почему это важно для интерпретируемости

Одна из главных проблем современного ИИ — непрозрачность. Мы видим вход и выход, но не всегда понимаем, что происходит внутри. Это особенно критично в медицине, юриспруденции и финансах.

Если модель внутри действительно использует символические структуры, появляется новый инструмент для анализа. Вместо того чтобы гадать, почему модель ошиблась, можно попробовать извлечь формулу и посмотреть, какое правило она использовала.

Границы и оговорки

Важно не переоценить результат. Авторы оговаривают: то, что модель представима символически, не значит, что она использует символы так же, как человек. Это математическая эквивалентность, а не когнитивное сходство.

Кроме того, символическая структура обнаружена не во всех задачах. Есть области, где векторный подход остаётся более естественным. Поэтому работа — это приглашение к дискуссии, а не финальный ответ.

Практический вывод

Эта работа заставляет пересмотреть базовые допущения о том, как устроен ИИ. Мы привыкли думать: символьное мышление — это правила и логика, нейросети — это статистика и паттерны. Но эти два подхода, возможно, ближе друг к другу, чем кажется.

Если внутри больших моделей действительно живут символические структуры, это открывает путь к большей интерпретируемости. Мы сможем не просто видеть активации нейронов, а понимать логику, которой следует модель.

Для инженеров это означает новый инструментарий: вместо тонкой настройки на миллионах примеров — точечная правка формулы. Вместо поиска багов вслепую — анализ символьных правил. И это хорошая новость.

Ссылки

• Статья на arXiv: The Emergent Symbolic Structure of Artificial Neural Networks — оригинальная работа об emergent symbolic structure в нейросетях