На картеВ 1969 году советский хирург описал задачу, которую сейчас решают ведущие ИИ-лаборатории: как контролировать машину, мысли которой человеку не прочесть.
Это книга Н. М. Амосова «Искусственный разум»: Киев, «Наукова думка», 1969, тираж 58 000 экземпляров. В октябре того же года по ARPANET, предшественнице интернета, передали первое сообщение.
Николай Амосов был кардиохирургом: в 1963 году он первым в СССР провёл протезирование митрального клапана сердца. С 1960 года он руководил отделом биокибернетики Института кибернетики АН УССР, в 1969-м стал академиком АН УССР.
Ниже четыре мысли Амосова об опасностях разумных машин.
«Смогут ли люди ограничить развитие систем искусственного разума или, по крайней мере, держать их под контролем? Боюсь, что ни то, ни другое невозможно.»
В марте 2023 года больше 30 тысяч человек подписали открытое письмо с призывом на полгода остановить обучение систем мощнее GPT-4. Паузы не случилось: через год авторы письма признали, что компании только ускорились.
«Конечно, можно выдавать на выход все его мысли, но прочесть их практически не удастся из-за сложности и, главное, обилия.»
Модели теперь пишут рассуждения текстом. В июле 2025 года исследователи OpenAI, Google DeepMind, Anthropic и британского AI Security Institute написали, что эти рассуждения пока можно читать, но возможность хрупкая. Читать их предлагают автоматическому монитору, другой модели.
«…отказаться от машинного управления станет так же невозможно, как сейчас невозможно отказаться от электричества.»
В сентябре 2026 года OpenAI сообщила, что её продуктами каждую неделю пользуются больше миллиарда человек и 2,5 миллиона компаний. В её исследовательском отделе на рабочий день человека приходится 3,1 рабочего дня ИИ-агентов.
«Контроль над сложным искусственным разумом осуществить трудно.»
По миру сейчас идёт волна взломов: за одну неделю у нас набрался дайджест из 15 историй. В одной из них китайская группа VAPOR PANDA с 17 октября атаковала через ИИ-агентов больше 200 организаций в 14 странах, взлом подтверждён в девяти.
Амосов написал это пятьдесят семь лет назад, и прямо сейчас всё сбывается.
Эти и другие прогнозы из 18 советских книг, с отметкой, сбылись они или нет, собраны в моём проекте «Советские прогнозы об ИИ».
Следующий шаг
Soviet AI: как один пост про советскую книгу превратился в живой проект: как появился проект с советскими книгами об ИИ и проверкой их прогнозов.
Если захотите обсудить, как это применить у себя или в команде — пишите в Telegram @pimenov
