Альтман: кто будет контролировать развитие ИИ
Сэм Альтман поделился предложением OpenAI об общих стандартах безопасности ИИ. Главная мысль: у людей за пределами лабораторий должна быть возможность влиять на развитие технологии и проверять, насколько оно безопасно.
Повод — перспектива рекурсивного самоулучшения: ИИ участвует в создании следующего поколения ИИ, которое ускоряет дальнейшую разработку. OpenAI подчёркивает, что полностью автономного процесса такого рода сегодня нет. Запускать его допустимо только при сохранении человеческого контроля.
Компания предлагает согласовать способы оценки моделей и правила раскрытия инцидентов. Отдельно определить, когда автоматизированное исследование требует немедленной проверки человеком. Это позволило бы сопоставлять результаты разных лабораторий и учиться на чужих сбоях.
Возглавить международную работу OpenAI предлагает, конечно, США. При этом стандарты, по замыслу компании, должны сохранять конкуренцию, включая новых игроков и разработчиков открытых моделей. Само предложение не вводит лицензий или обязательного разрешения перед выпуском модели; применение стандартов в законах остаётся за государствами.
Читать этот текст полезно как предложение заинтересованного участника рынка. Его качество станет понятнее по конкретным критериям: кто проверяет лаборатории, какие доказательства доступны обществу и насколько посильны требования для небольшой команды. Пока это вопросы к будущим правилам.
Для собственной работы с агентами отсюда можно взять один вопрос: какое действие ИИ в вашем проекте обязательно должен проверить человек? Лучше определить эту границу до того, как агент получит доступ к рабочим системам.
Следующий шаг
OpenAI показала, как модели придумывают себе инструкции и скрывают ошибки
Связанные материалы
Статья: Сначала архитектура, потом код: зачем ИИ-агенту контрольные барьеры
Блог: OpenAI на две недели остановила обучение флагманских моделей
База знаний: MCP и безопасность — prompt injection, tool poisoning и как защититься
Если вы внедряете ИИ-агентов в работу команды, можно обсудить границы их самостоятельности и проверку важных действий.
Если захотите обсудить, как это применить у себя или в команде — пишите в Telegram @pimenov