Как работает искусственный интеллект: от принципов обучения до железа

Под словом «искусственный интеллект» сегодня понимают в основном одну технологию — глубокие нейронные сети, обученные на больших объёмах данных. Но это лишь верхний слой. Под ним лежит сорокалетняя смена парадигм, конкретная математика обучения, набор алгоритмов с разной областью применения, отдельная инженерная дисциплина по созданию новых методов и индустрия специализированного железа стоимостью в десятки миллиардов долларов. Разберём всё это по порядку — что такое ИИ, как именно машина «учится», какие алгоритмы есть, как рождаются новые и какое оборудование нужно, чтобы всё это запустить.

Что такое ИИ и какие парадигмы сменяли друг друга

ИИ — это не один метод, а несколько подходов, которые исторически конкурировали и частично вытеснили друг друга.

Символьный ИИ (GOFAI, 1960–1980-е). Первая парадигма исходила из того, что интеллект — это манипуляция символами по явным правилам. Знание о мире записывали вручную: факты, логические правила, экспертные системы вида «если симптом A и симптом B, то диагноз C». Такие системы прозрачны — каждое решение можно объяснить цепочкой правил, — но плохо обобщают: всё, что не предусмотрено правилами, остаётся за пределами их возможностей. Запись знаний вручную не масштабируется на сложность реального мира.

Машинное обучение (1990–2000-е). Следующая идея: не записывать правила руками, а выводить их из данных статистически. Модель получает примеры и подбирает параметры так, чтобы предсказывать правильный ответ. Здесь работают линейная и логистическая регрессия, деревья решений, метод опорных векторов. Правила больше не пишет человек — их находит алгоритм оптимизации.

Глубокое обучение (2010-е). Прорыв 2012 года — свёрточная сеть AlexNet, выигравшая соревнование по распознаванию изображений ImageNet с большим отрывом, — показал, что многослойные нейронные сети при достаточных данных и вычислениях бьют все прежние методы на задачах восприятия.¹ Сеть сама выучивает признаки на каждом уровне абстракции (края → текстуры → части объектов → объекты), вместо того чтобы получать их от инженера. Цена этого — потеря прозрачности: модель превращается в «чёрный ящик».

Трансформеры и большие языковые модели (2017 — настоящее время). Архитектура Transformer, предложенная в работе «Attention Is All You Need», отказалась от рекуррентности и свёрток в пользу одного механизма — внимания (attention).² Это дало два решающих преимущества: модель обрабатывает всю последовательность параллельно (а не по шагам, как рекуррентные сети) и улавливает связи между удалёнными частями текста. На этой архитектуре построены все современные большие языковые модели (LLM) — от GPT до Gemini.³

Парадигмы не отменяют друг друга полностью. Сегодня активна идея нейросимволического синтеза — соединить обучаемость нейросетей с прозрачностью и строгостью символьных правил. Прозрачность, потерянная при переходе к глубокому обучению, остаётся открытой проблемой, к которой ещё вернёмся.

Как машина учится

Сначала — о самом объекте. Нейросеть — это слои простых ячеек, «нейронов». Каждый нейрон берёт числа с предыдущего слоя, умножает их на свои веса, складывает и пропускает сумму через нелинейную функцию активации, передавая результат дальше. Данные входят в первый слой (например, яркости пикселей картинки), проходят через скрытые слои и дают ответ на выходе (например, метку «кошка»). «Глубокой» сеть называют тогда, когда таких слоёв много. Веса связей и есть то, что настраивается при обучении.

Обучение модели — это подбор этих весов так, чтобы предсказания совпадали с правильными ответами. Различают три режима по тому, какие данные доступны.

Обучение с учителем (supervised). Модель получает пары «вход → правильный ответ»: фотография → метка «кошка», письмо → метка «спам». Большинство практических задач классификации и регрессии — отсюда.

Обучение без учителя (unsupervised). Размеченных ответов нет, модель ищет структуру сама: группирует похожие объекты (кластеризация), сжимает данные, выявляет закономерности. Предобучение языковых моделей по своей сути близко к этому режиму — модель учится предсказывать следующее слово по тексту без явной разметки.

Обучение с подкреплением (reinforcement learning, RL). Агент действует в среде и получает награду или штраф за результат. Цель — выработать стратегию, максимизирующую суммарную награду. Так обучают игровых агентов и роботов; этот же механизм лёг в основу финальной настройки языковых моделей.

Откуда берутся данные

Модель не умнее своих данных. Для обучения с учителем нужны размеченные примеры, и разметку часто делают вручную — это дорого и медленно. Большие языковые модели обучают на огромных текстовых корпусах из веба, измеряемых терабайтами. Важен не только объём, но и качество: ошибки, перекосы и предвзятость в данных модель перенимает как есть, а дубликаты и мусорный текст ухудшают результат. При этом объём данных связан с качеством модели напрямую — на каждое удвоение размера модели данных нужно примерно вдвое больше (об этом в разделе про разработку алгоритмов).

Механика: loss, градиентный спуск, backpropagation

Внутри любого из этих режимов работает одна и та же математика.

1. Функция потерь (loss). Численная мера того, насколько предсказание модели расходится с желаемым. Обучение — это задача минимизации loss.
2. Градиентный спуск (gradient descent). Чтобы уменьшить ошибку, нужно понять, как каждый параметр влияет на неё, и сдвинуть его в сторону уменьшения. Градиент — это направление наискорейшего роста ошибки; шагаем в противоположную сторону.
3. Backpropagation. Алгоритм, который эффективно вычисляет градиент по всем параметрам сразу, распространяя ошибку с выхода сети назад по слоям через правило дифференцирования сложной функции. Формализованный в 1986 году работой Румельхарта, Хинтона и Уильямса, он остаётся вычислительным двигателем обучения всех нейросетей.⁴

Цикл повторяется миллионы раз: прогон данных вперёд → расчёт loss → backpropagation → корректировка весов.

Train, validation, test

Данные делят на три части, чтобы измерять не запоминание, а способность обобщать:

• Train — на этих данных модель учится.
• Validation — на них подбирают гиперпараметры (настройки самого процесса обучения, например размер шага) и следят за переобучением: если ошибка на train падает, а на validation растёт, модель начала запоминать обучающую выборку вместо извлечения закономерностей.⁵
• Test — финальная независимая проверка, к которой модель не имела доступа при обучении.

Как обучают большие языковые модели

Конвейер обучения LLM состоит из трёх стадий:

1. Pretraining (предобучение). Модель учится предсказывать следующий токен (фрагмент слова — минимальная единица, которой модель оперирует с текстом) на огромном корпусе текста. Это даёт ей язык, факты и базовые навыки, но не умение следовать инструкциям.
2. Fine-tuning (тонкая настройка). Предобученную модель дообучают на более узких размеченных данных под конкретное поведение — например, отвечать на инструкции.
3. RLHF (обучение с подкреплением на обратной связи человека). Финальная стадия выравнивания. Работа над InstructGPT показала ключевой результат: модель на 1,3 млрд параметров, настроенная через обратную связь людей, предпочтительнее для пользователей, чем исходная GPT-3 на 175 млрд параметров без такой настройки.⁶ Сначала собирают демонстрации желаемых ответов и дообучают модель с учителем; затем обучают отдельную модель награды на человеческих сравнениях ответов; наконец, оптимизируют основную модель методом RL под эту награду. Именно RLHF превратил «предсказатель текста» в управляемого ассистента.

Какие алгоритмы существуют и для чего нужны

Поле алгоритмов делится на классическое машинное обучение, ансамбли и нейросетевые архитектуры. Выбор определяется задачей, объёмом данных и требованиями к интерпретируемости.

Классические методы

Классические методы прозрачны, дёшевы в обучении и хорошо работают на табличных данных умеренного объёма. Их типичные применения — кредитный скоринг, фильтрация спама, медицинская диагностика на структурированных признаках.

Ансамбли

Идея ансамбля — объединить много слабых моделей в одну сильную.

• Random Forest строит множество деревьев решений на случайных подвыборках данных и признаков, а затем усредняет их голоса; рандомизация снижает переобучение, свойственное одиночному дереву.
• Gradient Boosting и его промышленная реализация XGBoost строят деревья последовательно, каждое следующее исправляет ошибки предыдущих. XGBoost — масштабируемая система древесного бустинга с регуляризацией и распараллеливанием — остаётся одним из самых частых победителей соревнований на табличных данных.⁸

Нейросетевые архитектуры

Для данных без табличной структуры — изображений, звука, текста — доминируют нейросети, и каждая архитектура заточена под свой тип данных.

• Свёрточные сети (CNN) — обработка изображений. Свёртки выявляют локальные пространственные паттерны; именно CNN (AlexNet) запустила революцию глубокого обучения в 2012-м.¹
• Рекуррентные сети и LSTM — последовательности. LSTM, предложенная в 1997 году, ввела ячейки памяти с управляющими «воротами», что позволило сетям учить долгосрочные зависимости и обходить проблему затухающего градиента.⁹ До трансформеров это был основной инструмент для текста и речи.
• Transformer — последовательности через механизм внимания, без рекуррентности; сегодня — фундамент LLM и всё чаще компьютерного зрения.²
• Генеративно-состязательные сети (GAN) — генерация изображений. Две сети учатся в противоборстве: генератор создаёт подделки, дискриминатор отличает их от настоящих.¹⁰
• Диффузионные модели — современная генерация изображений. Модель учится постепенно убирать шум, превращая случайный шум в осмысленное изображение; на этом построены Stable Diffusion, DALL·E и подобные.¹¹

Как разрабатывают новые алгоритмы

Создание новых методов ИИ — это отдельная исследовательская дисциплина со своим циклом и своими патологиями.

Цикл исследования. Гипотеза → реализация → эксперимент на стандартных бенчмарках → сравнение с baseline (эталонным методом для отсчёта) → ablation study (поочерёдное отключение компонентов, чтобы понять, что именно даёт прирост) → публикация и peer review. Бенчмарки и общие датасеты (ImageNet, GLUE, MMLU) играют роль линейки: они позволяют сравнивать методы между группами и фиксировать прогресс.

Эмпирика против теории. Значительная часть прогресса в глубоком обучении — эмпирическая: метод работает раньше, чем появляется теория, объясняющая почему. Яркий пример — законы масштабирования (scaling laws). Работа Каплана и коллег обнаружила, что ошибка языковой модели падает по степенному закону от размера модели, объёма данных и вычислений — на интервале более семи порядков величины.¹² Это превратило увеличение модели из искусства в инженерное предсказание: можно оценить качество будущей модели до её обучения.

Эту картину уточнила работа DeepMind о Chinchilla. Она показала, что прежние крупные модели были существенно недообучены: при фиксированном бюджете вычислений размер модели и объём обучающих данных нужно наращивать пропорционально — на каждое удвоение числа параметров удваивать число токенов.¹³ Модель Chinchilla на 70 млрд параметров, обученная на бо́льшем объёме данных, обошла модели в несколько раз крупнее. Это пример того, как новый алгоритмический принцип рождается из эмпирического пересмотра предыдущего.

Автоматизация поиска архитектур. Neural Architecture Search (NAS) и AutoML пытаются автоматизировать сам процесс конструирования. Метод DARTS сделал поиск архитектуры дифференцируемым: вместо перебора дискретных вариантов он вводит непрерывную релаксацию и ищет архитектуру градиентным спуском.¹⁴ Это снизило стоимость поиска на порядки.

Патологии дисциплины. Исследовательская практика ИИ небезупречна, и это признано внутри самого сообщества. Работа «Troubling Trends in Machine Learning Scholarship» перечислила системные дефекты: спекуляции, поданные как объяснения; приписывание выигрыша не тому компоненту; «mathiness» — наукообразная математика, маскирующая слабые аргументы.¹⁵ Отдельная проблема — воспроизводимость. Отчёт программы воспроизводимости NeurIPS 2019 под руководством Пино зафиксировал, что значительная доля работ публикуется без кода и данных, достаточных для повторения результатов.¹⁶ Прирост на бенчмарке может оказаться следствием не нового метода, а большего вычислительного бюджета или подгонки под конкретную метрику.

Какое оборудование нужно

Современный ИИ упирается в железо. Разберём, что требуется и чем варианты различаются.

GPU, TPU и специализированные ускорители

GPU (графические процессоры) — рабочая лошадка ИИ. Изначально созданные для графики, они оказались идеальны для матричных операций, из которых состоит обучение нейросетей: тысячи параллельных вычислительных ядер. NVIDIA H100 — типичный современный ускоритель для дата-центров: 80 ГБ памяти HBM3 с пропускной способностью 3,35 ТБ/с и около 1979 TFLOPS в формате BF16.¹⁷ Гибкость GPU делает их основным инструментом для исследований и разнородных нагрузок.

TPU (тензорные процессоры) — специализированные чипы Google под нейросетевые вычисления, построенные на систолических массивах (фиксированный поток данных, оптимизированный под матричное умножение). Оригинальная работа Google сообщала, что TPU первого поколения был в среднем в 15–30 раз быстрее современных ему CPU и GPU на инференсе при кратно лучшей энергоэффективности.¹⁸ Узкая специализация даёт выигрыш в эффективности ценой меньшей гибкости.

Wafer-scale и нишевые ускорители (Cerebras, Graphcore, Groq) идут дальше специализации — вплоть до размещения целой системы на одной кремниевой пластине. Они выигрывают на отдельных сценариях, но проигрывают экосистеме GPU по широте поддержки софта.

Память и связь между чипами — реальное узкое место

Для больших моделей ограничением чаще оказывается не скорость вычислений, а память и обмен данными.

• Видеопамять (VRAM / HBM). Веса модели, градиенты и состояния оптимизатора должны помещаться в память ускорителя. Высокоскоростная память HBM нужна, чтобы «кормить» вычислительные ядра данными без простоя.
• Interconnect. В кластере из многих GPU они должны постоянно обмениваться данными. Внутри одного сервера это делает NVLink (быстрая прямая связь GPU↔GPU), между серверами — InfiniBand. Межузловая связь обычно медленнее внутриузловой и становится бутылочным горлышком при распределённом обучении.

Обучение против инференса

Требования к железу для обучения и для инференса — работы уже обученной модели — различаются в разы.

Обучение прожорливее по памяти: нужно одновременно хранить параметры, градиенты, состояния оптимизатора и промежуточные активации всех слоёв. На практике это требует в 4–8 раз больше VRAM, чем простой инференс той же модели.¹⁹ Чтобы вместить гигантские модели, применяют системные приёмы вроде ZeRO из библиотеки DeepSpeed, который распределяет состояния оптимизатора и градиенты между процессами и снижает потребление памяти на узел до восьми раз.²⁰

Инференс дешевле по памяти, но для языковых моделей упирается в её пропускную способность: при генерации каждого следующего токена нужно прочитать веса модели, и скорость определяется тем, как быстро память отдаёт данные.

Исследования против промышленного обучения

• Прототипирование и исследования. Одиночная мощная GPU (или несколько), приёмы экономии памяти — квантизация, LoRA — позволяют дообучать и запускать даже крупные модели на ограниченном железе. Порог входа здесь — одна-две видеокарты.
• Промышленное обучение с нуля. Обучение модели уровня GPT-3 (175 млрд параметров³) — это кластеры из тысяч ускорителей, работающие неделями, и счёт за электричество, сопоставимый с заметным углеродным следом (об этом ниже). Это доступно немногим организациям, что само по себе стало предметом критики.

Пределы и критика

Господствующий нарратив — «масштабируй модель, и качество вырастет» — встречает обоснованные возражения, и игнорировать их при описании ИИ было бы нечестно.

Понимание против имитации. Работа «On the Dangers of Stochastic Parrots» утверждает, что языковые модели сшивают последовательности языковых форм по вероятностным паттернам, не обращаясь к смыслу; уверенный, но ложный ответ (галлюцинация) — прямое следствие этого устройства.²¹ Спор о том, есть ли за статистикой «понимание», далёк от завершения.

Масштабирование не бесплатно и не бесконечно. С ростом модели растёт не только качество, но и побочные эффекты: более крупные модели сильнее запоминают обучающие данные дословно, что создаёт риски приватности.²² Появились и аргументы об убывающей отдаче от чистого масштабирования — в частности, после того как отдельные модели достигли паритета с лидерами при кратно меньших вычислениях, что сместило внимание к эффективности и архитектурным идеям, а не к одному лишь размеру.²³

Энергия и доступность. Обучение крупных моделей дорого экологически. Работа Strubell и коллег оценила, что обучение большого трансформера с перебором гиперпараметров может давать сотни тонн эквивалента CO₂.²⁴ Концентрация необходимых вычислений в руках немногих компаний поднимает вопрос о доступности исследований.

Прозрачность. Рудин в работе о «чёрных ящиках» доказывает, что пост-фактум объяснения решений непрозрачной модели ненадёжны и для ответственных областей (медицина, правосудие) следует строить изначально интерпретируемые модели, а не объяснять необъяснимое.²⁵

Заключение

Если свести всё к прямым ответам на исходные вопросы:

• Как работает ИИ. Сегодня — преимущественно через глубокие нейронные сети, которые сами выучивают закономерности из данных, а не получают правила от человека. Это итог смены парадигм: символьные правила → статистическое обучение → глубокие сети → трансформеры.
• Как идёт обучение. Через минимизацию функции потерь градиентным спуском, где градиент по всем параметрам эффективно считает backpropagation. Для языковых моделей — конвейер из предобучения, тонкой настройки и RLHF.
• Какие алгоритмы. От классических (регрессии, SVM, k-NN, деревья) и ансамблей (Random Forest, XGBoost) до нейросетевых архитектур под тип данных: CNN для изображений, LSTM/Transformer для последовательностей, GAN и диффузия для генерации.
• Как создают новые алгоритмы. Цикл «гипотеза → эксперимент на бенчмарках → ablation → peer review», во многом эмпирический; законы масштабирования и автоматический поиск архитектур (NAS) — примеры новых принципов. Дисциплина при этом борется с воспроизводимостью и подгонкой под метрики.
• Какое железо. GPU как универсальный инструмент, TPU и специализированные ускорители для эффективности; критичны объём быстрой памяти (HBM) и скорость связи между чипами. Обучение требует в разы больше ресурсов, чем инференс: от одной-двух видеокарт для прототипа до кластеров из тысяч ускорителей для обучения большой модели с нуля.

За этими результатами стоит конкретный стек: математика оптимизации, набор архитектур под типы данных, эмпирическая исследовательская практика и дорогое специализированное железо. У стека есть признанные пределы — в понимании, прозрачности, цене и отдаче от масштаба.

Insufficient Evidence

• Точные цифры стоимости обучения конкретных моделей (число GPU, дни обучения, суммарные FLOPs для GPT-3 и более новых моделей) в публичных первоисточниках раскрыты неполно; в отчёте они даны на уровне порядков и параметров, а не точных значений из проверенных датасетов.
• Точные спецификации interconnect и нишевых ускорителей (конкретные ТБ/с NVLink разных поколений, характеристики Cerebras/Groq) приведены качественно: надёжные числа требуют вендорских datasheet, которые в рамках этого обзора не верифицировались поштучно.
• Историю символьного ИИ (McCarthy, Minsky, экспертные системы) обзор описывает по вторичной картине — основополагающие работы 1960–1980-х выходят за пределы доступных здесь академических архивов.
• Споры о «убывающей отдаче масштабирования» опираются частично на авторскую аналитику (Marcus) — это атрибутированное мнение, а не установленный факт; консенсуса по вопросу нет.

Quality Metrics