Настоящая история ИИ, часть 4: большой взрыв глубокого обучения (2012–2017)

Дата, после которой всё изменилось

30 сентября 2012 года - дата, которую стоит запомнить. В этот день были опубликованы результаты соревнования ImageNet за 2012 год. Свёрточная нейросеть AlexNet Алекса Крижевского, Ильи Суцкевера и Джеффри Хинтона выиграла с top-5 ошибкой 15.3% против 26.2% у второго места.

Разрыв в 10.9 процентных пунктов в соревновании, где ежегодные улучшения измерялись долями процента, был событием другого порядка. Через несколько месяцев почти все исследователи компьютерного зрения мигрировали с SVM на нейросети. Через два года в каждом крупном стартапе уже работали data scientists, переучивающиеся на глубокое обучение. Так начался большой взрыв.

Это четвёртая часть истории ИИ - пять лет, в которые поместились почти все архитектурные идеи современного ИИ.

2012: AlexNet и пять часов на двух GPU

Что было внутри AlexNet, что сделало его таким мощным? Технически - три инженерных решения:

1. Глубина: 8 слоёв (5 свёрточных + 3 полносвязных) - в три раза глубже, чем LeNet 1989 года.
2. GPU-обучение: вся сеть обучалась на двух потребительских NVIDIA GTX 580 (видеокартах для игр) около пяти суток. Первое массовое применение игрового железа для большой задачи ML.
3. Регуляризация: ReLU вместо сигмоид (сходимость в 6 раз быстрее), dropout (отключение случайных нейронов на каждом шаге для борьбы с переобучением), аугментация данных (растягивание, отражение, изменение цвета).

Любая из этих идей сама по себе не была новой. ReLU обсуждался с 2000-х. Dropout предложил Хинтон в 2012-м. CNN существовали с 1989 года. Новым была их комбинация плюс GPU плюс ImageNet. Магия 2012 года была инженерной, а не математической.

2013: word2vec - смыслы из статистики

В 2013 году Томаш Миколов с коллегами в Google опубликовал word2vec - технику преобразования слов в плотные числовые векторы. Идея была удивительно простой: обучить мелкую нейросеть предсказывать соседние слова в тексте. Получившиеся внутренние представления (embeddings) обладали поразительными свойствами:

• vector('king') − vector('man') + vector('woman') ≈ vector('queen')
• vector('Paris') − vector('France') + vector('Italy') ≈ vector('Rome')

То есть нейросеть, никогда не учившая семантику явно, выучивала её из чистой статистики совместной встречаемости слов. Эта идея - смысл = распределение по контекстам - впоследствии станет основой всех языковых моделей. GPT, BERT, Claude - все они работают с embeddings, идейно происходящими от word2vec.

2014: GAN - сети, которые играют друг против друга

В 2014 году студент Иэн Гудфеллоу предложил Generative Adversarial Networks (GAN). Идея появилась на ночной дискуссии в монреальском баре и была проверена в коде той же ночью.

Архитектура GAN: две нейросети играют в игру. Генератор получает случайный шум на входе и пытается выдать на выходе правдоподобный объект (например, лицо). Дискриминатор получает либо настоящие данные, либо подделки от генератора, и пытается их различить. Обе сети обучаются одновременно: генератор - обманывать дискриминатор, дискриминатор - не давать себя обманывать. Со временем генератор начинает выдавать всё более реалистичные образцы.

К 2018 году StyleGAN от NVIDIA генерировал фотореалистичные лица людей, которых не существует (вспомните сайт thispersondoesnotexist.com). К 2019 году появились первые deepfake-видео. До прихода диффузионных моделей в 2020-2022 годах GAN были основной технологией генеративного ИИ.

2015: ResNet - сеть глубже мозга

В декабре 2015 года команда Microsoft Research (Хэ Кайминг и др.) опубликовала ResNet - архитектуру с 152 слоями. Главный трюк - residual connections (остаточные связи), которые позволяют градиенту «пробрасываться» через слои без затухания.

Результат: 3.57% top-5 ошибки на ImageNet. Для сравнения, человек на той же задаче делает около 5% ошибок. Момент, когда нейросеть впервые превзошла человека на значимом бенчмарке компьютерного зрения.

К 2016 году ResNet стал стандартной несущей архитектурой для всех задач компьютерного зрения - от детекции объектов до сегментации до распознавания лиц. Идея residual connections потом перейдёт в трансформер 2017 года и в LLM.

2016: AlphaGo и игра, которую «невозможно» выиграть машине

Игра го долго считалась недоступной для ИИ. В шахматах около 30 разумных ходов в среднем; в го - около 200. Ветвление дерева ходов в го таково, что число возможных позиций превышает 10¹⁷⁰ - больше, чем атомов в наблюдаемой вселенной. Brute force, работавший в шахматах, на го не масштабировался ни при какой технике 1990-х–2000-х.

В марте 2016 года AlphaGo от DeepMind (компании Google) выиграл у южнокорейского профессионала Ли Седоля в матче из пяти партий со счётом 4:1. Внутри было три ингредиента:

• Свёрточная нейросеть, оценивавшая позицию (value network).
• Свёрточная нейросеть, предлагавшая следующий ход (policy network).
• Поиск Монте-Карло по дереву (MCTS), направляемый этими сетями.

Сети обучались сначала на партиях людей, потом - играя сами с собой миллионы раз. В одной из партий AlphaGo сделал ход 37 во второй партии, который комментаторы назвали «ходом, который не сделал бы ни один человек». Этот ход стал известен как момент, когда стало ясно, что машина играет иначе, чем мы. Через год AlphaGo Zero научился играть в го с нуля, без единой человеческой партии, и обыграл оригинального AlphaGo со счётом 100:0.

Личный анекдот: первое впечатление от AlphaGo

Я помню ночь 9 марта 2016 года. Первая партия Ли Седоль - AlphaGo, я смотрел стрим (с переводом) около двух часов ночи. Был уверен, что Ли Седоль выиграет - так считали практически все эксперты. AlphaGo выиграл первую партию, потом вторую. Вторую я досматривал уже с растущим чувством, что прямо сейчас, на моих глазах, происходит нечто историческое - спортивный интерес отошёл на второй план.

Через пару дней я попробовал поиграть с AlphaGo онлайн (DeepMind не давала прямого доступа, но появились похожие движки на свободных весах). Я не профессионал, я любитель уровня 12-кю, но даже на этом уровне различие было ясным: машина играла не как человек. Не лучше или хуже - иначе. Делала ходы, которые в литературе го веками считались странными или плохими, и они работали.

Тогда я впервые увидел, как ИИ открывает что-то, чего люди не знали. Не имитирует, а открывает. Через шесть лет такое же ощущение будут испытывать программисты, увидевшие, как Copilot пишет нетривиальный кусок кода. Через восемь лет - ученые, использующие AlphaFold для предсказания структуры белков. Линия одна.

Декабрь 2017: статья, изменившая всё

12 июня 2017 года восемь исследователей Google Brain опубликовали препринт, а в декабре он вышел на конференции NeurIPS. Название: "Attention Is All You Need". В статье описывалась новая архитектура для машинного перевода, названная Transformer.

Идея трансформера: отказаться от рекуррентных связей (RNN/LSTM), которые мучительно обучались последовательно. Вместо этого использовать механизм внимания (attention) - каждое слово в предложении смотрит на все остальные слова и решает, насколько они важны для его контекста. Это давало два преимущества:

• Параллелизация: трансформер обучается одновременно на всей последовательности, а не слово за словом.
• Длинные зависимости: слово может напрямую «посмотреть» на любое другое слово в тексте, а не передавать информацию через цепочку шагов.

Статья 2017 года говорила про машинный перевод. Никто из её авторов в момент публикации не предсказал, что через пять лет на этой архитектуре будут построены ChatGPT, Claude, Gemini и почти все мировые LLM. Через год Google выпустит BERT, OpenAI - GPT-1. Гонка началась.

Что забрать из этой эпохи

Главные тезисы части 4:

1. Большой взрыв 2012 года был инженерным, не математическим. AlexNet комбинировал идеи 1980-х–2000-х (CNN, ReLU, dropout) с GPU 2010-х и датасетом 2009 года. Когда пишут «глубокое обучение изобрели в 2012-м», это про точку взрыва, а не про точку появления технологии.
2. Все ключевые архитектуры современного ИИ были изобретены в эту пятилетку. AlexNet (CNN, 2012), word2vec (embeddings, 2013), GAN (генеративные сети, 2014), seq2seq + attention (2014-2015), ResNet (2015), Transformer (2017). Всё, что сейчас называют «ИИ», - вариации на эти архитектуры.
3. AlphaGo доказал, что ИИ может открывать новое. До 2016 года была установка «ИИ может только повторить то, что в данных». AlphaGo, играя с собой и находя ходы, не виданные за 4000 лет истории го, эту установку похоронил.
4. Трансформер 2017 года - редкий пример архитектуры, заработавшей сразу и оставшейся доминирующей. За девять лет (2017-2026) предлагали десятки альтернатив (Mamba, RWKV, S4, RetNet, и так далее). Все главные модели мира на 2026 год - трансформеры. Это самый длинный архитектурный консенсус в истории ML.

В части 5 - последние пять лет: BERT и GPT, скейлинг до GPT-3, появление InstructGPT, ChatGPT и моя личная история - как я в 2019 году собрал коммерческого копирайтера новостей на GPT-2, за три с половиной года до того, как мир «узнал об ИИ».