Гостевой материал Никиты Осокина, создателя платформы «ГОСТ-ОН», генерального директора Центра цифровых решений «Цикл-ОН».
Одиннадцать минут до комплекта, за который не стыдно
Всем привет. Меня зовут Никита, я занимаюсь автоматизацией документации и развиваю платформу ГОСТ-ОН — профессиональный инструмент для подготовки документов по государственным стандартам и не только. Для моей команды это стало полноценной заменой Word при подготовке технической и эксплуатационной документации для ИТ-продуктов. Два года использовали только для себя, с этого года мы стали её предлагать как продукт.
Вызов, с которым столкнулись все SaaS, меня касается напрямую. Языковые модели становятся сильнее каждый месяц, и рано или поздно приходится честно себя спросить: а надо ли вообще развивать свою платформу и тем более продавать её кому-то. Вопрос для человека, который этот продукт построил и вложил много ресурса и души, так себе. Но задать его пришлось. Результатами своих изысканий хотел бы тут поделиться.
Мы выпустили свой MCP-сервер, который позволяет с помощью ИИ-агента писать документацию. Соответственно, самое интересное было оценить — насколько такой подход целесообразнее банальной работы с языковой моделью, которая сама по себе уже неплохо штампует документы.
Сначала просто попробовали. Посадили агента через Claude Code на пустой демо-проект в ГОСТ-ОН и попросили собрать комплект по ГОСТ 34. Через одиннадцать минут было семь документов, 186 страниц: ЧТЗ на 38 листов, ПМИ на 24, руководство пользователя на 31 и ещё четыре документа. С рамками, основными надписями и нумерацией, все как положено.
После этого решили сделать полноценный эксперимент.
Взяли один бриф и попросили собрать по нему комплект из 20 документов по ГОСТ 34, потом внести четыре правки и выгрузить всё заново. Два режима: в первом агент работает через нашу платформу ГОСТ-ОН, во втором тот же агент сам пишет документы и собирает DOCX скриптом. Две модели — Sonnet 5.5 и Haiku 5.5.
И тут выяснилось, что мы, сами того не планируя, подготовили идеальную среду для работы ИИ-агента с документацией. Два года пилили её под людей — про агентов тогда и речи не было.
«Карета на автопилоте»
У нас внутри прижилась формулировка: ИИ-агент, пишущий документы в Word, — это «карета на автопилоте».
Смысл такой. Агент, который пишет текст и складывает его в DOCX, живёт в той же схеме, что и человек до него: один документ — один файл, правка вносится в каждый файл отдельно, проверка глазами. Поменялся извозчик. Повозка, дорога и колёса остались прежние.
Как обычно пробуют приспособить ИИ к документации? Открыл чат, описал систему словами, попросил оформить по ГОСТ, получил текст. Многие так и живут до сих пор, и на одном документе это честно работает: структуру разделов модель знает, формулировки выдаёт приличные.
Нюансы вскрываются на комплекте. Возьмите этап, где документов под сотню. Наименование системы, номер договора, состав подсистем, перечень функций — одно и то же сидит в десятках документов сразу. Заказчик поменял одно требование, и ты идёшь по всему комплекту и молишься, чтобы нигде не пропустить.
Что нас смущало.
- Контекст. Комплект не влезает в контекстное окно, на таком объёме модель начинает сочинять.
- Знание оседает в личных чатах. Аналитик полдня объяснял модели, как у нас принято описывать подсистемы, — и все это осталось у него в переписке. Де-факто этим владеет конкретный специалист, а не компания. Можно упаковать в скилл, но зачастую этот скилл тоже остаётся только у автора.
- Правка одной строки стоит как весь документ. Файл уже выгружен в Word, и ради одной строчки он пересобирается целиком.
- Верстка потребляет токены отдельно. Рамки, колонтитулы, нумерацию модель выдаёт как текст, и ты за это платишь.
В итоге получается ровно то, от чего мы уходили. Текст есть, но сдавать заказчику рисковано. Кто-то опять выверяет документы вручную.
Претензий к модели тут нет. Она делала ровно то, что умеет, в обстановке, которая для неё не приспособлена.
Что получилось
Напомню условия: комплект из 20 документов по ГОСТ 34 по одному брифу, четыре правки, повторная выгрузка всего комплекта. Вариант А — агент работает через ГОСТ-ОН, вариант Б — тот же агент сам пишет документы и собирает DOCX скриптом.
| Модель | Режим | Число промптов до нужного результата | Время | Токены |
| Sonnet 5.5 | А: ГОСТ-ОН + ИИ-агент | 1 | 728 с | 684 тыс. |
| Sonnet 5.5 | Б: агент сам по себе | 2 | 1542 с | 598 тыс. |
| Haiku 5.5 | А: ГОСТ-ОН + ИИ-агент | 2 | 731 с | 744 тыс. |
| Haiku 5.5 | Б: агент сам по себе | 2 | 1153 с | 647 тыс. |
По времени среда выигрывает заметно: на Sonnet 728 секунд против 1542, на Haiku 731 против 1153. По токенам проигрывает — 14 и 15 процентов сверху. Про токены скажу отдельно чуть ниже, там всё оказалось интереснее.
Отдельно про «доделывание», его было достаточно. На шаге со сборкой комплекта вариант Б потратил 696 секунд против 358 у варианта А. Сборщик DOCX он писал сам и пересобирал четыре раза. Содержание в итоге заполнилось, но другим шрифтом, а у Haiku в нём разъехались строки. Боковые графы основной надписи пришлось добавлять отдельным заходом. Человеческое время на дополнительные промпты не считалось, но сам факт необходимости такого дополнительного контроля уже говорит о том, что сам по себе ИИ-агент задачу под ключ не решает.
Теперь честно про то, что эти цифры НЕ значат.
Мерили мы сами и мерили «своё» против «не-своего» — это внутренний замер, а не независимое исследование. По одному прогону на случай, разброс не оценивался. Прогона вслепую не делали: обе стороны шли с подсказками о найденных раньше ошибках. Haiku в режиме А шаги с правками и экспортом выполнял на неполном комплекте, так что эта строка сравнивает не совсем одинаковый объём работы. Токены — общий счётчик без разделения на вход, выход и кэш, в деньги их не пересчитать. Файлы проверяли своим инструментом, в Microsoft Word не открывали.
Среда не делает слабую модель сильной. На Haiku оба варианта прошли со второй попытки. С платформой получается быстрее и доделывать приходится меньше — в этом основная разница. Среда «помогает» (позволяет) модели выдавать более качественный результат в единицу времени и особенно на масштабе. Особенно в контексте повторяемых рутинных операций: сформируй выгрузку актуальных версий, сделай архив, сформируй опись — специализированная среда сама такие операции выполняет линейной логикой, вовсе не затрачивая токены.
Пять причин, почему ИИ-агент раскрывается в правильной среде
Мы выделили пять основных свойств, которые помогают делать документы с ИИ-агентами быстрее и качественнее. Ни одно из них мы не делали ради искусственного интеллекта.
| Что позволяет ГОСТ-ОН | Зачем мы это делали | Что получил агент |
| хранятся не документы, а описания | чтобы не копипастить одно и то же | правит структуру, а не переписывает файл |
| набор операций вместо доступа к файлам | чтобы человек не «сломал» комплект документов | заходит только туда, куда можно, и видно, что сделал |
| нормоконтроль | чтобы проходить формальную проверку с первого раза | оформление его работы проверяют без человека |
| версии, автор правки, откат | чтобы работать вчетвером и не драться | видно построчно, что он натворил, и можно отменить |
| чистый экспорт по ГОСТ в DOCX, ODT, PDF | чтобы сдавать без ручной доводки | не рисует рамки и нумерацию сам |
Описания вместо документов. В ГОСТ-ОН нет документов в привычном нам понимании. Есть описания: наименования и реквизиты, состав подсистем, функции, экранные формы, связи между ними. Документ собирается из них по запросу и сразу в нужном оформлении. Для агента это переворачивает все: он заполняет структуру, а документ из неё собирает встроенный шаблонизатор. Результат его работы — заполненные переменные и заведённые объекты, а не новая версия файла, которую надо вычитывать от корки до корки. Сюда же относится то, что правила ГОСТа и готовые комплекты лежат в платформе заранее: агент не выводит структуру технического задания из общих соображений, он берёт готовую.
Операции с описаниями. Пустить агента к документации можно двумя способами. Первый — отдать ему готовые файлы: сначала он правит все и сразу, а потом сиди и выясняй, что он там поменял — проверяй заново весь комплект. Второй — дать набор операций над данными: прочитать структуру, завести объект, заполнить переменные, точечно поправить текст, собрать документ, выгрузить.
Сломать он и так может — в наборе есть и замена документа целиком, и удаление. Руки ему никто не связывал, просто каждое действие названо и видно в журнале. А системные шаблоны ГОСТ, стили оформления и правила проверки ему заданы заранее.
Нормоконтроль. Структура разделов, рамка, основная надпись, нумерация, состав комплекта — все прописано в стандарте, а значит, проверяется машиной. Эти проверки мы начали автоматизировать задолго до появления ИИ, и результаты агента теперь проверяются по этим же правилам. Забытый раздел видно до выгрузки, пустая страница сразу подсвечивается, нумерация страниц всегда соответствует описи, в общем множество мелочей.
Версионный контроль. Любая сессия с моделью рано или поздно закроется, и вопрос в том, что после неё останется. В ГОСТ-ОН заполнение переменных и вёрстка шаблонов полностью логируются. Каждая правка фиксируется слепком, у правки виден автор, версии сравниваются построчно, откатиться можно на любую. На практике это значит вот что: после работы модели в чате вы читаете документ целиком, потому что иначе не поймёте, что изменилось. В ГОСТ-ОН можно обратиться к истории изменений и увидеть, какой специалист (самостоятельно или через ИИ-агента) внёс какие правки. Вместо вычитки и сверки разных файлов — просмотр диффа в одном интерфейсе.
Чистый экспорт. Выгрузка в DOCX, ODT и PDF сразу идёт по ГОСТу: рамка, основная надпись с боковыми графами, нумерация, содержание с номерами страниц. Агент, работая на ГОСТ-ОН, оформлением не занимается вообще — это сильно сокращает риск нестыков. В варианте Б нашего эксперимента агент половину времени возился именно с версткой.
Про токены на дистанции
Теперь вернусь к строке, на которой ГОСТ-ОН проиграл, если смотреть «голые» цифры.
На одном прогоне по токенам мы проиграли. В среде агент тратит их на то, чтобы ходить по структуре проекта, читать и писать объекты, проверять оформление. В варианте Б тратится меньше, потому что агент просто пишет текст.
Но замер — это один цикл, а проект из одного цикла не состоит. Правка, перевыгрузка, снова правка, снова перевыгрузка. Выгрузка вообще самая повторяемая операция на проекте: поменяли наименование системы, уточнили состав подсистем, заказчик прислал замечания — и весь комплект уходит на пересборку. За проект это случается десятки раз.
В нашей среде экспорт и пересборку выполняет встроенный генератор. Сама сборка документов не обращается к языковой модели. В варианте Б агент писал и дорабатывал сборщик по ходу эксперимента.
На одном прогоне мы потратили на 14–15 процентов больше токенов. На длинном проекте рассчитываем компенсировать эту разницу за счёт повторных выгрузок без участия модели. В этом эксперименте мы сравнили один цикл; долгосрочную экономию и число пересборок, после которого она возникает, пока не измеряли.
Рядом со скоростью важна повторяемость оформления. В ГОСТ-ОН рамки и стили задаются встроенными функциями и готовыми шаблонами. В варианте Б сборщик пришлось писать и дорабатывать по ходу эксперимента, после каждой доработки проверяя результат. Отдельный скрипт тоже может собирать документы детерминированно; его разработку и проверку тогда нужно выполнить самостоятельно.
Надо ещё проговорить одну вещь. К серверной версии ГОСТ-ОН есть возможность подключать свою локальную модель. В таком случае токенная экономика может быть вовсе не столь важна, как умение агента стабильно выдавать требуемое качество готовых документов.
Человек никуда не делся, он поднялся на уровень выше
Ошибки, само собой, есть. На Haiku агент связал функции с модулями не тем типом связи, и в двух разделах документа вместо текста осталась служебная метка «нет экземпляров». Такое ловится глазами, и ловить приходится.
Теперь про то, чего от этого абзаца ждут, — про выдуманное содержание. За все прогоны мы его не встретили ни разу. Только вывод отсюда я делать не буду: специально мы его не искали, а нормоконтроль такого и не ловит, он про оформление.
Раньше человек сидел над текстом. Теперь он сидит над правилами, по которым текст получается. Работа становится другой и, на мой взгляд, более осмысленной: результат одной правки тиражируется по всему комплекту, что будет собрано потом.
А если делать такое самому
Сразу скажу очевидное: я сравниваю с тем, что продаю, так что делайте на это поправку.
Собрать один документ можно просто в чат-сессии. А дальше начинается ровно то, над чем мы два года и работали. Вот список работ, который придётся закрыть:
- Структура данных и способ описывать объекты со связями;
- Шаблонизатор и разработка самих шаблонов с разметкой;
- Правила проверки документов;
- Версионирование с построчным сравнением и возможность отката;
- Разграничение доступа для командной работы;
- Единое пространство для хранения документов команды.
Когда вообще стоит переходить на среду разработки документов
И напоследок то, с чего, наверное, надо было начать.
Я не стану говорить, что всем срочно пора на ГОСТ-ОН. Среда окупается далеко не везде, и честнее сказать, где именно.
Она окупается там, где документация живёт долго (хотя бы несколько месяцев). Вы ведёте её на продукт постоянно или разрабатываете под проект, комплект согласуется с заказчиком итерациями, каждая итерация — это правка и повторная выгрузка, документов десятки, и одни и те же сведения сидят в половине из них. Вот тогда всё, о чём я написал, начинает работать на вас: вход оплачивается один раз, а экономия набегает с каждым кругом.
А если задача разовая — написать документ, сдать и забыть, — то связка ИИ и Word закроет большую часть потребности. Заводить под это среду, настраивать шаблоны и разбираться с разметкой выйдет дороже, чем сделать руками один раз.
Граница проходит примерно здесь: прикиньте, сколько раз вы вернётесь к этому комплекту. Один — открывайте чат. Десятки — тогда считайте.
Об авторе
Никита Андреевич Осокин, генеральный директор ООО «Центр цифровых решений Цикл-ОН» — российского разработчика прикладного программного обеспечения для государственных заказчиков и промышленности. Кандидат экономических наук, специализация — управление инновациями. Создатель платформы ГОСТ-ОН для подготовки и ведения ИТ-документации по государственным стандартам.
Следующий шаг
Claude Code — кодинг-агент от Anthropic — руководство по установке, работе с агентом и проверке его изменений.
Если вы ведёте большие комплекты документов, можно разобрать, где у команды повторяются одни и те же правки и какие проверки стоит поручить машине. Это поможет определить задачи для агента и требования к его рабочей среде.
Если захотите обсудить, как это применить у себя или в команде — пишите в Telegram @pimenov

