Что вашему ИИ решать не разрешено
Safe AI в реальном внедрении - это четыре правила о том, где в процессе стоит человек. Вот они, со стоимостью каждого и с тем, где проходит линия.
Вопрос, который стоит за словами «это безопасно?»
Оператор задаёт его в той или иной форме перед подписью, и он почти никогда не означает того, на что отвечает подрядчик. Подрядчик слышит «будет ли модель галлюцинировать» и начинает рассказывать про точность. Оператор имеет в виду вещь гораздо более узкую и практическую: что эта штука может решать без меня?
Это вопрос проектирования, у него есть письменный ответ, и на один процесс он занимает примерно час. Ниже наш ответ, изложенный четырьмя правилами вместо набора принципов. Принцип нельзя проверить во вторник днём, а правило можно.
Правило первое: ничего обязывающего без человека
Цена. Дата поставки. Условие. Документ, который суд прочитает как обязательство. Всё это останавливается на человеке.
Это правило переживает встречу с юристами, и оно же самое дешёвое, потому что обязывающий шаг занимает малую долю любого процесса. В проекте для брокериджа ИИ отвечал первым, квалифицировал обращение, собирал пакет документов и направлял нужному агенту. Первый ответ упал с 6 часов до 8 минут, подготовка документов с 2 дней до 20 минут. У всего, что уходило наружу, по-прежнему стояло имя человека, принявшего решение.
Шесть часов были очередью. Никто не думал шесть часов, обращение лежало в почте. Автоматизация очень хорошо убирает ожидание, перепечатывание и поиск, и очень плохо несёт ответственность. Разделение этих двух вещей и есть большая часть проектирования.
Правило второе: исключение приходит вместе с контекстом
Любая система, поднимающая сомнительные случаи к человеку, по замыслу тратит его время. Переменной остаётся форма, в которой эскалация приходит.
Эскалация с текстом «требуется проверка» заставляет согласующего сначала собрать всю картину заново и только потом решить, и эта пересборка обычно длиннее самого решения. Эскалация, пришедшая с полной перепиской, использованными данными и указанием, в чём именно система засомневалась, превращает пятиминутную пересборку в тридцатисекундное суждение.
Это важно финансово, а не только эргономически. Доля эскалаций, умноженная на время согласующего, - это ежемесячный расход навсегда, и место ему в арифметике до подписи, а не в открытии на третьем месяце.
Правило третье: система собирает из готового
Во всём договорном ИИ работает с шаблонами, которые вы утвердили, и с данными, которые прошли проверку. Он заполняет, выбирает, компонует. Новых формулировок он не пишет.
Это обещание уже, чем «ИИ пишет вам договоры», и юридическая проверка получается от этого короткой. Проверяющий, который смотрит, тот ли утверждённый шаблон взят и те ли проверенные данные в него подставлены, делает быструю работу с понятными границами. Проверяющий, который ищет в сгенерированном абзаце незапланированное обязательство, делает медленную работу без границ.
Та же логика покрывает регулируемое содержание вообще: административная работа идёт сама, профессиональное суждение не идёт. В проекте для клиники приём пациента сократился с 45 минут до 8, неявки упали на 40%, административной бумажной работы стало меньше на три четверти. Каждое клиническое решение осталось за врачом, и ничему в системе не было позволено выглядеть похоже.
Правило четвёртое: каждое автоматическое решение остаётся в записи
Если система решила что-то сама, есть запись: что решила, на каких входных данных и когда. Читают её редко, но вопросы, которые в итоге задают, всегда обращены назад. Почему это предложение ушло с такой цифрой. Когда мы начали так делать. Покажите десять случаев до жалобы.
Журнал заодно оказывается тем самым доказательством, которое просит регулируемый рынок, и поэтому разговор про комплаенс идёт легче, когда операционная схема была сделана первой. Документация, описывающая систему, которая и так ведёт себя правильно, честна. Документация, описывающая систему, которую никто не ограничивал, является декларацией с обложкой.
Где проходит линия
Универсального ответа нет, и подрядчик, предлагающий такой ответ, продаёт плакат.
| Тип решения | Идёт само | Требует человека |
|---|---|---|
| Напоминания, расписание, маршрутизация, справки | Да | Нет |
| Квалификация и сортировка обращений | Да, с записью | Нет |
| Всё, где есть цена, обещание или договор | Нет | Всегда |
| Профессиональное суждение в регулируемой области | Нет | Всегда, поимённо |
| Серая середина | Решается по процессу | Решается по юрисдикции |
Серая середина и есть настоящая работа, и она закрывается на диагностике вместе с теми, кто несёт ответственность, до того как что-то построено. Клиника и брокеридж в одной стране проведут линию по-разному. Та же клиника в двух странах проведёт её по-разному ещё раз.
Записанная до запуска, эта линия называется проектом. Восстановленная потом по тому, что система успела сделать, она превращается в разбор инцидента.
Чего у нас нет
Мы не публикуем нумерованный список принципов, и этот текст таким списком не является. Есть четыре правила выше, применённые на 200+ выкаченных процессах в 50+ компаниях, с линией, которую переставляют по каждому процессу на диагностике.
Если это звучит менее внушительно, чем фреймворк из шести столпов, так и задумано. Полезное свойство правила в том, что во вторник кто-то может проверить, соблюдалось ли оно, и рассказать вам, что произошло, когда оно не соблюдалось.
01Не съедает ли шаг подтверждения ту скорость, которую вы обещали?+
Не съедает, потому что медленной частью процесса решение почти никогда и не было. В проекте для брокериджа первый ответ упал с 6 часов до 8 минут, а подготовка документов с 2 дней до 20 минут, и при этом человек по-прежнему подписывал всё, что уходило наружу. Шесть часов были временем в очереди, а никаким не временем размышления: обращение просто лежало в почте, пока до него не доходили руки. Автоматизация отлично убирает ожидание, перепечатывание, поиск справок и сборку, и отдаёт человеку готовую вещь, которую он подтверждает за минуту. Это принципиально другое расходование внимания подтверждающего. Случаи, где подтверждение действительно тормозит, это те, где подтверждающий и так был узким местом, и на диагностике это видно как очередь перед одним человеком. Если мы такое находим, мы про это говорим, потому что автоматизация до заблокированного согласующего просто переносит очередь на шаг назад.
02Где именно должна проходить линия подтверждения?+
Она ставится по каждому процессу и по юрисдикции, и универсального ответа, который стоило бы напечатать на плакате, тут нет. Правило, которое мы применяем, звучит так: всё обязывающее компанию требует человека. Названная цена, согласованное условие, данное обещание, документ, который можно прочитать как договор. Всё чисто административное работает само: напоминание, маршрутизация, слот в расписании, поиск данных. Интересное лежит между, и это решается на диагностике вместе с теми, кто несёт ответственность. Клиника и брокеридж в одной стране проведут линию по-разному, а та же клиника в двух странах проведёт её по-разному ещё раз, потому что различаются и регулирование, и профессиональная обязанность. Важно, что линия записана до запуска и пересматривается при изменении процесса, вместо того чтобы восстанавливаться задним числом по тому, что система успела натворить.
03Сколько на самом деле стоит содержать человека в контуре?+
Стоит он ровно столько: доля эскалаций, умноженная на время подтверждающего, и место этой цифры в бизнес-кейсе, а не в допущениях. Если процесс идёт 400 раз в месяц, поднимает наверх 12% случаев и каждый случай отнимает у согласующего 4 минуты, это примерно 3 часа времени конкретного человека каждый месяц и дальше всегда. Обычно это хорошая сделка, и нулём она не бывает никогда. Хуже, чем нужно, её делают две вещи. Первая - эскалация, приходящая без контекста, из-за чего согласующий сначала восстанавливает картину и только потом решает. Вторая - порог эскалации, который после запуска никто не пересматривает. Против первой мы прикладываем к каждой эскалации полную переписку и причину сомнения, против второй пересматриваем пороги при передаче. Когда оцениваете любого подрядчика, спрашивайте долю эскалаций и среднее время согласующего тем же вопросом, что и срок окупаемости.
04Чем это отличается от этики ИИ и комплаенса?+
Комплаенс отвечает регулятору и производит документы: классификацию рисков, описание модели, свидетельства проверки на предвзятость, процедуры на инциденты. Проектирование человека в контуре обращено к оператору и задаёт поведение: какое решение куда идёт, на ком оно висит, что записывается. Эти две вещи пересекаются, потому что аудитор спрашивает доказательства, что шаг человеческой проверки существует и является настоящим, а журнал автоматических решений и есть ровно то доказательство, которое ему нужно. Ломаются они по-разному. Компания может быть безупречно задокументирована и всё равно выкатить автоматизацию, которая тихо обяжет её к цене, которую никто не имел в виду. И наоборот, компания может иметь здравую схему подтверждений и не иметь ни одной бумаги, которую потребует регулируемый рынок. Делать нужно обе половины, и когда операционная сделана первой, бумажная получается описанием факта, а не декларацией намерений.
