Организационная сингулярность без утопии: где человек остаётся обязательным

Я всё чаще оказываюсь в ситуации, когда значительная часть работы уже выполнена до моего непосредственного участия.

Агенты исследуют тему, собирают источники, проверяют существующие материалы, предлагают структуру, пишут черновик, готовят иллюстрации и фиксируют результаты в рабочих системах. Один человек получает производственный контур, который ещё недавно потребовал бы небольшой команды.

И всё же в этом процессе остаются действия, которые агенты не совершают без моего отдельного решения.

Они не публикуют материал от моего имени. Не отправляют внешнее сообщение. Не проводят платёж. Не меняют доступы. Не выполняют производственное изменение и не удаляют данные без возможности восстановления.

Технически агент может быть способен на каждое из этих действий. Иногда он даже подготовит его точнее и быстрее человека. Ограничение связано с другим: кто дал системе право действовать и кто примет последствия, если результат окажется неправильным.

Именно здесь проходит человеческая граница агентной компании.

Способность ещё не создаёт полномочия

Мы привыкли оценивать автоматизацию по сложности задачи.

Сначала машина научилась считать. Потом искать информацию, писать тексты, программировать и анализировать данные. Теперь она получает инструменты и может самостоятельно переходить от рассуждения к действию.

Из этого легко сделать вывод: чем умнее становится система, тем больше решений ей можно передать.

В реальной организации этой зависимости нет.

Агент может провести сложное исследование по сотне источников, потому что результат можно проверить, исправить или не принять. При этом простое нажатие кнопки «Опубликовать» остаётся за человеком, поскольку после него текст становится публичным высказыванием конкретного автора.

Сложная задача может иметь низкий риск. Простое действие может создавать большие последствия.

Поэтому автономию нужно определять не уровнем интеллекта модели, а следующими вопросами:

• имеет ли система право совершить действие;
• кого затронет результат;
• насколько велик возможный ущерб;
• можно ли безопасно отменить действие;
• сможет ли затронутый человек оспорить решение;
• кто отвечает за итог.

Техническая способность отвечает на вопрос «может ли агент это сделать». Организационное полномочие отвечает на вопрос «можно ли ему позволить это сделать самостоятельно».

Это разные вопросы.

Человек в контуре может оказаться декорацией

Обычный ответ на риски автоматизации звучит успокаивающе: окончательное решение всё равно принимает человек.

На практике человек часто видит уже подготовленный результат и кнопку подтверждения. Если таких подтверждений несколько десятков в день, внимательная проверка быстро превращается в ритуал.

Anthropic пишет, что пользователи Claude Code одобряли около 93% запросов разрешений. Компания связывает это с усталостью от подтверждений: чем чаще система просит нажать «разрешить», тем меньше внимания получает каждый отдельный запрос. Поэтому Anthropic дополняет человеческий надзор техническим ограничением среды: песочницами, виртуальными машинами и контролем сетевого доступа. Они уменьшают масштаб того, что агент физически способен изменить. Anthropic: How we contain Claude across products

Есть и более фундаментальная проблема. Человек не является безошибочным контролёром.

В экспериментах, опубликованных в Nature Human Behaviour, небольшие смещения, возникавшие во взаимодействии человека и ИИ, могли усиливаться в последующих решениях. Исследование включало серию экспериментов с 1401 участником. How human–AI feedback loops alter human judgements

В другом исследовании 295 участников оценивали подлинность изображений, получая подсказки якобы от человека или ИИ. Более положительное отношение к ИИ в группе с машинными подсказками было связано с худшей способностью различать настоящие и синтетические лица. Авторы осторожно говорят о риске чрезмерного доверия, не распространяя результат на любые виды решений. Examining human reliance on artificial intelligence in decision making

Свежий препринт о проверке computer-use agents показывает ещё один парадокс. Улучшенный интерфейс помогал участникам быстрее искать ошибки, но не дал значимого повышения точности. При этом уверенность в своих решениях росла. Это предварительный и узкий результат, однако он хорошо показывает проблему: удобная проверка может создавать ощущение контроля, не улучшая сам контроль. Overseeing Agents Without Constant Oversight

Присутствие человека в процессе ничего не гарантирует. Ему нужны время, контекст, полномочие отменить результат и техническая возможность остановить действие.

Поэтому human-in-the-loop, то есть участие человека в контуре, полезнее считать архитектурой, а не должностью согласующего.

Право на вмешательство уже появляется в регулировании

Законодательство разных стран не даёт универсального списка решений, которые всегда должен принимать человек. Но общий вектор уже заметен: чем сильнее автоматизированное решение влияет на права человека, тем важнее объяснимость, возможность возражения и человеческого вмешательства.

В России статья 16 Федерального закона № 152-ФЗ ограничивает принятие решений исключительно на основании автоматизированной обработки персональных данных, если они порождают юридические последствия для человека или затрагивают его права и законные интересы.

Закон предусматривает исключения, однако требует объяснить порядок и возможные последствия решения, дать человеку возможность возразить и рассмотреть это возражение. Это специальная норма о персональных данных. Её нельзя превращать в общий запрет любых автономных решений в компании. Федеральный закон № 152-ФЗ, статья 16

Похожая логика присутствует в статье 22 GDPR. Она относится к определённым решениям, основанным исключительно на автоматизированной обработке и создающим юридические или сопоставимые существенные последствия. В предусмотренных исключениях сохраняются гарантии, включая возможность человеческого вмешательства, изложение своей позиции и оспаривание решения. GDPR, Article 22

Статья 14 европейского AI Act относится только к высокорисковым ИИ-системам в области действия регламента. Для них человеческий надзор должен быть соразмерен риску, уровню автономности и контексту применения.

Уполномоченный человек должен понимать возможности и ограничения системы, учитывать риск автоматического доверия, правильно интерпретировать результат, отказаться от его использования, отменить его или безопасно остановить систему. EU AI Act, Article 14

Здесь для меня особенно важен один момент: человеку дают не только обязанность наблюдать, но и право реально вмешаться.

Шесть параметров человеческой границы

Я предлагаю использовать понятие человеческой границы решения.

Это условия, при которых итоговое право принять или совершить действие остаётся у человека.

Граница определяется шестью параметрами.

1. Полномочие

Кто имеет право совершить действие?

Агент может подготовить платёжное поручение, договор или решение о предоставлении доступа. Но технический доступ к системе ещё не означает, что организация передала ему соответствующее полномочие.

Право должно назначаться явно. Оно не должно возникать случайно из-за того, что агенту выдали слишком широкий API-ключ.

2. Масштаб последствий

Сколько объектов, денег, клиентов или процессов может затронуть одна ошибка?

Агент, способный изменить одну тестовую запись, и агент с доступом ко всей клиентской базе выполняют похожее техническое действие. Масштаб возможного ущерба у них совершенно разный.

3. Обратимость

Можно ли вернуть систему в предыдущее состояние?

Черновик можно переписать. Локальное изменение файла можно откатить. Отправленное клиенту письмо уже прочитано. Опубликованная формулировка могла попасть в скриншоты. Переведённые деньги могут оказаться недоступны.

Чем труднее восстановить предыдущее состояние, тем ближе действие к человеческой границе.

4. Оспоримость

Может ли затронутый человек понять, что произошло, и потребовать пересмотра?

Это особенно важно для решений о людях: доступе к услуге, цене, найме, увольнении, кредитовании, страховании или модерации.

Если результат невозможно объяснить и некому предъявить возражение, формальное человеческое подтверждение не решает проблему.

5. Неопределённость

Насколько текущая ситуация похожа на те, для которых процесс уже был спроектирован?

Агенты хорошо работают внутри заданного контура. Слабый сигнал, новый конфликт интересов, изменение стратегии или неожиданное сочетание обстоятельств могут потребовать пересмотра самого процесса.

В такой точке человеку нужно принять не очередной результат, а новые правила работы системы.

6. Ответственность

Кто обязан объяснить принятое решение и исправить последствия?

Принцип ответственности OECD связывает её с ролями участников, контекстом применения и их реальной способностью действовать. Он также требует прослеживаемости данных, процессов и решений на протяжении жизненного цикла системы. OECD AI Principle: Accountability

Фраза «так решил агент» не является схемой ответственности.

Три режима автономии

После такой оценки каждое действие можно отнести к одному из трёх режимов.

Эта классификация не должна навечно закрепляться за типом задачи.

Например, запись в рабочую систему может сначала требовать подтверждения каждого раза. После накопления статистики и появления строгой схемы часть таких записей можно разрешить автономно. Публикация от имени человека, вероятно, ещё долго будет оставаться за отдельным подтверждением.

Граница двигается вместе с качеством системы, но расширять её нужно по доказательствам, а не по впечатлению от новой модели.

Где человек остаётся обязательным сегодня

Ниже не юридический список для всех компаний. Это управленческие области, в которых автономию особенно опасно назначать по умолчанию.

Деньги и обязательства

Агент может посчитать сумму, проверить реквизиты, подготовить счёт и провести сверку. Решение о платеже создаёт финансовое последствие и иногда юридическое обязательство.

Автономность здесь возможна только внутри заранее заданных лимитов, получателей и типов операций.

Решения о людях и их правах

Отбор кандидатов, изменение условий работы, увольнение, кредитный лимит или отказ в услуге могут существенно влиять на человека.

ИИ способен готовить анализ. Организация при этом должна сохранить понятного владельца решения, возможность пересмотра и процедуру возражения там, где она необходима.

Доступы и секреты

Выдать доступ технически легко. Последствия неправильного решения могут проявиться через несколько месяцев.

Здесь особенно важно проверять полномочие в целевой системе. Агент не должен самостоятельно решать, имеет ли он право выдать доступ, только потому, что у него есть инструмент для этого.

Публичная речь и репутация

Текст может быть полностью подготовлен агентами, но публикация от имени человека или компании создаёт внешнее обязательство.

После выхода материала уже невозможно гарантировать полный откат: останутся цитаты, пересылки, скриншоты и решения людей, принятые на основании публикации.

Производственная среда и безопасность

Изменение в production, то есть в работающей системе, может повлиять на клиентов, данные и доступность сервиса.

Агент может подготовить исправление и выполнить проверки. Право на развёртывание зависит от масштаба воздействия, качества отката и принятых в компании правил.

Разрушительные действия

Удаление данных, закрытие аккаунта, отзыв ключа, перезапись истории или массовое изменение записей требуют отдельного отношения.

Главный критерий здесь — возможность гарантированного восстановления.

Изменение смысла и правил

Часть решений вообще возникает за пределами настроенного процесса.

Я могу поговорить с человеком на консультации, получить расшифровку встречи, заметить повторяющийся запрос и добавить в работу новую идею. Именно так появились многие темы этой серии: из разговоров, комментариев и слабых сигналов, которые до этого не существовали внутри агентного контура.

Такой человеческий контекстный импульс становится новой переменной системы. Он меняет не отдельный результат, а сам процесс.

Эту роль я подробнее разбирал в статье «Нулевая стоимость координации: почему менеджмент меняется раньше производства».

Контур необратимости

Для проектирования агентной компании нужен ещё один термин: контур необратимости.

Это участок процесса, после которого последствия нельзя безопасно отменить обычным откатом.

До этой границы агент может исследовать, моделировать, писать черновики, проводить тесты и собирать варианты. После неё начинается внешнее воздействие: деньги уходят, сообщение получает адресат, доступ открывается, данные удаляются, изменение попадает в работающую систему.

Контур необратимости полезно отмечать непосредственно на графе задач.

Исследование
    ↓
Черновик
    ↓
Проверка
    ↓
Подготовленное действие
    ↓
[ ЧЕЛОВЕЧЕСКАЯ ГРАНИЦА ]
    ↓
Публикация / платёж / доступ / удаление

При этом сама необратимость не всегда абсолютна. Публикацию можно удалить, платёж иногда отменить, а производственную версию откатить. Но последствия уже могли выйти за пределы системы.

Поэтому нужно оценивать не наличие технической кнопки Undo, а реальную возможность вернуть всех затронутых участников в прежнее состояние.

Бюджет последствий

Третий рабочий термин — бюджет последствий.

Это заранее ограниченный масштаб ущерба, который агент способен создать без нового человеческого решения.

Бюджет может выражаться по-разному:

• максимальная сумма операции;
• число изменяемых записей;
• перечень разрешённых получателей;
• доступ только к тестовой среде;
• возможность создавать черновики без права публикации;
• лимит внешних сообщений;
• время автономной работы;
• разрешённые классы инструментов.

Здесь находится важное отличие управляемой автономии от доверия модели.

Мы не пытаемся угадать, ошибётся ли агент. Мы заранее ограничиваем последствия возможной ошибки.

OWASP называет чрезмерную функциональность, избыточные разрешения и чрезмерную автономию корнями риска Excessive Agency. Среди рекомендаций: давать агенту только необходимые инструменты, минимальные права, проверять авторизацию в целевой системе и требовать подтверждения действий с высоким воздействием. OWASP LLM06:2025 — Excessive Agency

Это переводит разговор из области надежды в инженерную плоскость.

Архитектура вместо бесконечных согласований

Если человек будет подтверждать каждый шаг, агентная система упрётся в скорость его внимания.

Рабочая архитектура должна расходовать человеческое внимание только там, где оно действительно меняет качество решения.

Для этого нужны несколько слоёв.

Минимальные права

У агента нет доступа к функциям и данным, которые не нужны для конкретной роли.

Агент для аналитики получает чтение, но не удаление. Агент для подготовки публикации может создать черновик, но не нажать «Опубликовать».

Проверка полномочий вне модели

Решение о допустимости действия принимает политика целевой системы, а не сама языковая модель.

Если платёж превышает лимит или получатель отсутствует в разрешённом списке, операция блокируется независимо от объяснения агента.

Ограниченная среда

Песочница, отдельная рабочая копия, тестовая база и сетевые ограничения уменьшают доступный масштаб ущерба.

Журнал действий

Нужно видеть, какой агент, на основании каких данных, каким инструментом и с каким результатом выполнил действие.

Журнал нужен для расследования, обучения и пересмотра границы автономии.

Линии остановки

Stop-line — условие, при котором агент обязан прекратить работу и передать решение человеку.

Причиной может быть изменение требований, недостающий доступ, конфликт источников, превышение лимита, появление персональных данных или необратимое действие.

Откат и безопасное состояние

Система должна знать, как остановиться без дальнейшего ущерба и как вернуть результат в предыдущее состояние.

Эскалация по исключениям

Человек подключается к необычному или рискованному случаю, а не наблюдает за каждым штатным шагом.

Так человеческое внимание перестаёт быть постоянным тормозом и становится дефицитным ресурсом, который система расходует на реальные развилки.

Как эта граница уже работает в pimenov.ai

В работе над pimenov.ai мы постепенно разделили подготовку результата и право совершить внешнее действие.

Это не универсальный регламент для любой компании. Это рабочий контур, на котором можно наблюдать, где автономия экономит внимание, а где начинает создавать новый риск.

Со временем отдельные границы могут сдвигаться. Если действие стало хорошо измеримым, ограниченным и обратимым, подтверждение человека можно убрать.

Если цена ошибки выросла или появились новые участники, границу нужно вернуть назад.

Матрица для одного процесса

Чтобы применить эту модель, возьмите один реальный процесс и не начинайте с вопроса «какого агента сюда поставить».

Разложите процесс на конкретные действия и для каждого заполните восемь полей:

После этого добавьте журнал, условие остановки и способ отката.

Только теперь можно выбирать модель, инструменты и агентную архитектуру.

Такой порядок защищает компанию от распространённой ошибки: сначала предоставить агенту широкие возможности, а потом пытаться придумать, как его контролировать.

Организационная сингулярность не отменяет человека

В статье «Смерть компании: что такое организационная сингулярность» я описывал момент, когда привычная связь между объёмом работы, числом сотрудников и структурой компании начинает разрушаться.

Агенты действительно позволяют одному человеку управлять производительностью, для которой раньше требовалась организация.

Но до компании, способной существовать независимо от постоянного присутствия основателя, в реальном бизнесе ещё далеко.

Главное ограничение сегодня связано уже не только с качеством исполнения. Система должна понимать, откуда появляется легитимное право на действие, кто меняет её цели, кто замечает слабые сигналы и кто принимает последствия решения.

Моя собственная работа сейчас находится между двумя состояниями.

В одних процессах я всё ещё человек с набором сильных инструментов. В других уже возникает агентная микрокомпания: задачи распределяются, исследования и производство идут параллельно, а ко мне возвращаются подготовленные результаты и точки решений.

Моя роль при этом не исчезает. Она меняется.

Я всё меньше нужен системе для выполнения каждого шага. Я добавляю контекст, замечаю новые переменные, меняю правила и принимаю решения в точках необратимости.

Возможно, человеческая граница со временем отодвинется. Для этого агентам недостаточно стать умнее. Организации придётся научиться ограничивать их полномочия, измерять последствия, обеспечивать оспоримость и доказывать, что расширение автономии действительно безопасно.

Организационная сингулярность без утопии начинается там, где компания умеет увеличивать автономию агентов, не растворяя человеческую ответственность.

Источники

• Федеральный закон № 152-ФЗ «О персональных данных», статья 16
• GDPR, Article 22
• EU AI Act, Article 14
• Council of Europe Framework Convention on Artificial Intelligence
• OECD AI Principle: Accountability
• OpenAI Agents SDK: Human-in-the-loop
• OWASP LLM06:2025 — Excessive Agency
• Anthropic: How we contain Claude across products
• Anthropic: Measuring AI agent autonomy in practice
• Examining human reliance on artificial intelligence in decision making
• How human–AI feedback loops alter human judgements
• Overseeing Agents Without Constant Oversight

Следующий шаг

В статье «Кто отвечает за результат, если работу сделали ИИ-агенты?» я показываю, как закрепить владельца результата, журнал действий, контрольные точки и линии остановки.

Связанные материалы

• Статья: 10 контуров ИИ-компании: как отличить новую операционную модель от набора ИИ-инструментов
• Блог: Теневой ИИ уже работает в вашей компании
• База знаний: Cloudflare Agents — трассировка, replay и подтверждение действий в production

Если вы проектируете агентный процесс и хотите определить, какие действия можно передать системе, а где нужна человеческая граница решения, можно разобрать это на одном реальном процессе вашей компании.

Если захотите обсудить, как это применить у себя или в команде — пишите в Telegram @pimenov