Настоящая история ИИ, часть 3: рекомендации, зрение и тихая революция (2000–2012)

Десятилетие, в котором ИИ вошёл в твой карман

Если бы в 2010 году тебя спросили «пользуешься ли ты ИИ?», ты бы, скорее всего, ответил «нет». На деле в этот год ты уже:

• получал рекомендации фильмов от Netflix (коллаборативная фильтрация),
• видел квадратики автофокуса вокруг лиц в фотоаппарате (Viola-Jones),
• доверял Gmail отсеивать миллиарды спам-писем (наивный байесовский классификатор),
• строил маршруты в Google Maps (графовые алгоритмы поверх собранных данных о пробках),
• видел рекламу, подобранную под твой поисковый запрос (логистическая регрессия на 10⁹ признаков),
• слушал плейлист Last.fm «Рекомендованное для тебя» (item-item collaborative filtering),
• набирал текст в iPhone с автоисправлением (статистическая модель языка).

Это третья часть истории ИИ - период тихой революции 2000-2012, когда технология стала вездесущей, но почти невидимой. И именно в этот период созрели ингредиенты, на которых через десять лет взлетит ChatGPT.

2001: Viola-Jones и лица в каждом фотоаппарате

В 2001 году Пол Виола и Майкл Джонс из Mitsubishi Electric Research Labs опубликовали алгоритм быстрой детекции лиц Viola-Jones. По устройству - каскадный классификатор на признаках Хаара, обученный методом AdaBoost. Прорыв был в скорости, а не в точности: алгоритм работал в реальном времени на процессорах того времени.

К 2005 году технология стояла практически в каждом цифровом фотоаппарате - те самые квадратики автофокуса вокруг лиц при наведении. Один из первых случаев, когда компьютерное зрение работало на конечном устройстве, без облака, без сети.

Никто не называл фотоаппараты с Viola-Jones "AI camera". Они были просто "smart camera". Слово "AI" вернётся в маркетинг камер только в 2017 году, когда смартфоны начнут различать сцены с помощью свёрточных нейросетей.

2006: Netflix Prize - 1 миллион долларов за 10%

В октябре 2006 года Netflix объявил конкурс с призовым фондом в миллион долларов для команды, которая улучшит точность их рекомендательной системы Cinematch на 10%. Открытый датасет: 100 миллионов оценок от 480 000 пользователей по 17 770 фильмам. До этого рекомендательные системы были закрытой темой каждой компании. Netflix Prize вынес её в открытое пространство.

Конкурс длился почти три года. Участвовали более 50 000 команд из 186 стран. Победила в 2009 году команда BellKor's Pragmatic Chaos, объединившая решения трёх отдельных команд. Их ансамбль из 100+ моделей улучшил точность на 10.06%.

Само победившее решение Netflix так и не запустил - слишком сложно для эксплуатации. Но конкурс сделал две вещи, которые перевернули индустрию:

1. Популяризировал матричную факторизацию (SVD, ALS) как стандартный инструмент рекомендаций.
2. Научил поколение инженеров работать с большими разреженными матрицами на обычном железе.

После Netflix Prize коллаборативная фильтрация ушла в каждый сервис, где у тебя был профиль и какие-то предпочтения. YouTube, Amazon, Spotify, Last.fm, eBay - все это работало на наследниках техник, отточенных на конкурсе Netflix.

Личный анекдот: Last.fm и магия "Recommended for you"

Где-то в 2007 году я установил Last.fm - сервис, который собирал ("scrobbled") информацию о каждом треке, который я слушал на компьютере и в плеере. Через две-три недели у меня сформировалась библиотека прослушиваний на несколько тысяч композиций, и появилась вкладка "Recommended for you".

Я открыл её - и испытал то самое жутковатое ощущение, которое лет через десять станут испытывать пользователи TikTok. Сервис рекомендовал мне исполнителей, про которых я не слышал, но которые были точно по моему вкусу. Не банальные «если вам нравится Radiohead, послушайте Coldplay», а необычные сочетания, которых я бы сам не нашёл - какой-нибудь латвийский постпанк, который реально оказывался хорош.

Что было внутри? Item-item коллаборативная фильтрация. Last.fm для каждого исполнителя считал, кто ещё его слушает, и сравнивал множества пользователей. Если множество слушателей A и множество слушателей B сильно пересекались - значит, A и B «похожи», и любителю A можно рекомендовать B. Никаких нейросетей, никакого «понимания» музыки. Чистая статистика на матрице «пользователь × исполнитель».

В 2007 году это уже работало в потребительском продукте. В 2024 году TikTok с его рекомендательным алгоритмом производит на пользователей ровно то же впечатление - но между ними семнадцать лет одной и той же базовой идеи, только всё лучше масштабируемой.

2007: iPhone и статистическое ML на устройстве

В январе 2007 года Стив Джобс показал iPhone. Его автоисправление текста, распознавание жестов мультитача и адаптация яркости экрана к освещению - всё это работало на статистических моделях, обученных на агрегированных данных пользователей.

Автоисправление iPhone было особенно интересным случаем. Внутри работала комбинация:

• Языковой модели на n-граммах (какие пары и тройки слов чаще встречаются вместе),
• Модели опечаток (какие буквы пользователи чаще задевают вокруг целевой клавиши),
• Персональной адаптации (если ты упорно набираешь "thx" - перестать его исправлять).

Никто из миллионов пользователей iPhone в 2007 году не думал «у меня в кармане ИИ». Но это был ML в эксплуатации с ежедневной аудиторией, которая через три года перевалит за 100 миллионов человек.

2009: ImageNet - датасет, который изменил всё

В 2009 году профессор Стэнфорда Фей-Фей Ли опубликовала ImageNet - размеченный датасет из 14 миллионов изображений по 22 000 категорий. За плечами - три года работы и крупные траты на разметку через Amazon Mechanical Turk.

Идея ImageNet была простой и революционной: компьютерному зрению не хватает данных, а не алгоритмов. Модели до 2009 года обучались на нескольких тысячах изображений. ImageNet давал три порядка больше.

С 2010 года стартовал ImageNet Large Scale Visual Recognition Challenge (ILSVRC) - ежегодное соревнование на подмножестве ImageNet (1000 категорий, 1.2 миллиона изображений). В 2010-2011 годах победители использовали SVM с признаками, сконструированными вручную (SIFT, HOG, Fisher Vectors). Точность top-5 застряла около 26% ошибки.

Этот фон важно держать в голове, потому что в 2012 году случится событие, которое расколет историю компьютерного зрения надвое. Об этом - в части 4.

2011: IBM Watson и Jeopardy!

В феврале 2011 года суперкомпьютер IBM Watson обыграл двух чемпионов телешоу Jeopardy! - Брэда Раттера (победитель турнира всех времён) и Кена Дженнингса (74 победы подряд). Первая массовая демонстрация ИИ, отвечающего на вопросы на естественном языке - за 11 лет до ChatGPT.

Watson внутри был коктейлем из:

• Парсера вопросов на естественном языке (NLP).
• Поиска по 200 миллионам страниц неструктурированного текста, включая всю Wikipedia.
• Сотен параллельных гипотез с ранжированием через машинное обучение.
• Базы знаний DBpedia + структурированных источников.

Watson не был нейросетью. Под капотом - ансамбль методов классического NLP, информационного поиска и машинного обучения. Но эффект на массового зрителя был шоковый: машина понимает вопрос, ищет ответ, выбирает уверенный вариант, нажимает кнопку. На массовой публике 2011 года это выглядело ровно так, как ChatGPT выглядел в 2022-м.

Дальше IBM попыталась монетизировать Watson через медицинские приложения - и провалилась. К 2018 году почти весь Watson Health был закрыт. Ровно тот же урок, что в первой зиме: блестящая демонстрация на конкурсе ≠ работающий медицинский продукт.

Что забрать из этой эпохи

Главные тезисы части 3:

1. К 2010 году ИИ уже лежал в основе всех твоих ежедневных сервисов. Поиск, рекомендации, спам-фильтр, фотоаппарат, навигация, реклама - везде ML. Просто называли это «персонализация» и "big data".
2. Netflix Prize стал водоразделом для рекомендательных систем. До него - закрытые корпоративные алгоритмы. После - открытая индустриальная дисциплина с известными техниками. Современные рекомендации YouTube и Spotify - наследники этого конкурса.
3. ImageNet был подготовлен ровно к моменту появления GPU. Если бы датасет вышел в 2005 году, на нём бы тренировали SVM. Если бы он вышел в 2015 году, мы бы потеряли три года прогресса. Совпадение момента - больших данных, GPU и алгоритмов - и стало причиной взрыва 2012 года.
4. Tихая революция учит важному уроку. Самые успешные технологии редко приходят с ярлыком "AI". Когда продукт работает хорошо, он называется просто «продукт». Когда продукту нужен маркетинг - его называют "AI". В 2010 году Netflix не называл свои рекомендации "AI". В 2024 году каждое всплывающее окно с тремя кнопками называется "AI-powered".

В части 4 - 2012 год и большой взрыв глубокого обучения: AlexNet выигрывает ImageNet, word2vec даёт смыслы словам, появляются GAN, AlphaGo обыгрывает чемпиона мира по го, а в самом конце 2017 года выходит статья, которая через пять лет станет техническим основанием ChatGPT.