Новая военная революция: что такое «роботы-убийцы»

Алимжан Ахметов — основатель и директор НПО «Центр международной безопасности и политики». С 2017 года он занимается продвижением вопросов разоружения, а его организация является членом международной Кампании по запрету роботов-убийц. В своем выступлении на TedX Алимжан рассказал о необходимости превентивного запрета автономного оружия с искусственным интеллектом на международном уровне.

Мы поговорили с Алимжаном, чтобы узнать больше об этом типе оружия, странах, которые могут разрабатывать его и о том, почему важен его превентивный запрет.

---

— Что такое роботы-убийцы и как они работают? 

— Можно сказать, что на практике подобные системы еще не применяются, так как они считаются оружием будущего. Как я упоминал в своем выступлении, мы стоим на пороге третьей революции в сфере вооружений. Автономные оружейные системы, которые в просторечии называют «роботы-убийцы», — это системы, способные самостоятельно, без участия человека, выявлять цели, классифицировать их и уничтожать. Здесь ключевым словом, на мой взгляд, является «автономный». Это означает, что система может самостоятельно обучаться, адаптироваться к изменяющейся внешней среде и действовать в открытой, неструктурированной среде.

Примером структурированной среды является мина: она не взорвется, пока на нее не наступят. Для мины среда четко определена — она срабатывает только при конкретном условии. Или, например, собака, охраняющая двор: для нее двор — это структурированная среда, и она знает, что нападет на любого, кто пересечет границу. Вне двора собака теряется: она не знает, кого защищать или кто враг, а кто нет. Роботы-убийцы, в отличие от таких систем, будут действовать в открытой среде. Им задают цель, а они самостоятельно решают, как ее достичь, без вмешательства человека. И здесь могут возникать непредсказуемые последствия.

Автономное оружие самоуничтожается без участия человека и самоопределяет цель. Существует также большая опасность, связанная с так называемой технологической сингулярностью, когда технология развивается настолько стремительно, что сложно предсказать, чем это все закончится. Мы уже не можем заглянуть за горизонт событий и предсказать будущее.

Когда этот вопрос поднимался на Совете по правам человека, специальный представитель по правам человека произнес такую фразу: «Если мы будем мешкать с решением этого вопроса, то он будет вырван из рук человечества». Это означает, что мы потеряем контроль над развитием технологий в сфере вооружений, особенно если речь идет о искусственном интеллекте. Это представляет собой значительную опасность.

— Можно ли назвать дроны автономным оружием?

— Существует отдельное международное движение по запрету дронов, которое не относится к инициативам по превентивному запрету роботов-убийц. Это связано с тем, что у дрона есть оператор. У человека есть власть не санкционировать выполнение какой-либо задачи. Поскольку человек все еще может вмешаться в процесс, такие системы не считаются автономным оружием.

— Разрабатывается ли сейчас где-то такое оружие?

— Израиль, насколько мне известно, тестирует свои системы. Также США, за которыми следуют Россия, Великобритания, Израиль, Южная Корея, Индия, Китай, Австралия и Турция. Эти страны активно инвестируют в этот вид оружия. Я читал, что Израиль, в своих выступлениях в ООН, обращает внимание на то, что в настоящее время тестирует трехступенчатую автономную систему.

Первая часть этой системы анализирует потенциальных врагов. Система сама анализирует большие объемы данных через интернет и выявляет, кто может представлять угрозу для Израиля. Вторая часть системы определяет, где живут эти люди. Третья часть санкционирует ракетный удар по этой точке с целью уничтожить его. Это, конечно, очень тревожные сигналы.

Ранее мы говорили о революции в сфере вооружений: сначала стояла задача увеличить дистанцию между собой и противником. Сначала появились ножи и шпаги, затем огнестрельное оружие, которое считается первой революцией. Далее стояла задача обеспечить гарантированное уничтожение противника, чтобы он не мог ответить. Для этого было придумано ядерное оружие. Вспоминая Дантеса и Пушкина, можно сказать, что, хотя Дантес попал в Пушкина, Пушкин все же смог выстрелить в ответ. Однако с ядерным оружием такой возможности у противника не будет.

Следующая революция — это не только гарантированное уничтожение, но и то, что такое оружие гораздо дешевле, чем ядерное. Кроме того, производство этих автономных систем может быть абсолютно незаметным. Например, если вы строите ядерный реактор и делаете высокообогащенный уран, МАГАТЭ сразу это заметит. А автономные системы оружия можно создать, написав программу или напечатав 10 тыс автономных дронов. Таким образом, есть три ключевых фактора: это дешевизна и незаметность, а также то, что, если произойдет нападение на условную страну Х, руководство этой страны может даже не знать, откуда поступила атака. 

Эти автономные системы оружия могут представлять собой само оружие или какую-то программу с искусственным интеллектом, которая атакует ключевые стратегические объекты в стране противника. Сложно представить, что это может быть, поскольку официально такого оружия еще нет.

Международное сообщество, которое сейчас активно обсуждает этот вопрос в Женеве, говорит, что ключевое отличие таких систем заключается в его самостоятельности. То есть мы отдаем ИИ право решать, кому жить, а кому умереть.

Я затрудняюсь ответить на вопрос, поскольку примеров такого оружия нет. Сейчас мы говорим только об оружии будущего и о принципах гуманности. 

В протоколе конвенции о гуманном ведении войны говорится, что если международное сообщество знает, что разрабатываемое оружие носит негуманный характер, то оно должно быть запрещено. Конечно, заявление о гуманном и негуманном оружии звучит немного сюрреалистично, однако международное право устроено именно так.

— Что значит гуманное и негуманное оружие?

Негуманное оружие — это оружие, которое причиняет страдания, как военным, так и гражданскому населению. Например, в начале 20 века были запрещены пули со смещенным центром тяжести. Такая пуля, попадая в кость, не проходит на вылет, а поворачивает и может несколько раз рикошетить внутри тела. Противопехотные мины также запрещены как негуманное оружие.

В 2017 году международное сообщество наконец-то запретило ядерное оружие. Запрещены также химическое и биологическое оружие. Ослепляющие лазеры были запрещены в 1995 году. Это был пример превентивного запрета: такие лазеры, применяемые против пехоты, могут навсегда ослепить людей.

Главная проблема негуманности автономного оружия заключается в том, что оно может дать сбой или ошибиться в выборе цели. Например, система может ошибочно идентифицировать ребенка с палкой как угрозу, распознав его как человека с винтовкой. Проблема «черного ящика» заключается в том, что мы не знаем, как может себя повести система, если она получает возможность самообучаться и адаптироваться к изменяющимся условиям. Ее поведение остается непредсказуемым.

На мой взгляд, помимо того, что это дешево и представляет собой следующий этап ведения войны, это уже не будет войной в привычном смысле. Это превратится в одностороннее уничтожение противника.

Вспомним, например, случай с США во Вьетнаме. Они ушли оттуда после массовых протестов внутри страны. Но представьте, что вы — правительство, обладающее автономным оружием. Вы можете объяснить своему населению через СМИ, что ведется антитеррористическая операция и что вы отправили машины в страну X с целью свержения режима, угрожающего вашему существованию. Людям будет легче согласиться с этим, поскольку армия не будет нести потерь. В конфликте будут участвовать только машины.

— Вы упомянули, что в Женеве сейчас обсуждается эта проблема. Можете, пожалуйста, рассказать, какие страны или организации принимают там наиболее активное участие, о чем они говорят, и каковы основные цели их обсуждений?

— Впервые этот вопрос был поднят в 2010 году на Совете по правам человека, где его рассматривали с этической точки зрения. Этот вопрос сейчас считается краеугольным. Генеральный секретарь ООН, Антониу Гутерриш, подчеркивает, что мы пересекаем моральную черту, предоставляя машине право убивать человека.

На одной из конференций было принято решение создать группу правительственных экспертов для рассмотрения целесообразности превентивного запрета автономных систем оружия. Изначально эти системы называли «автономными системами оружия летального действия», но позднее отказались от термина «летального», поскольку если человек не погибает, то следует ли разрешать такие системы?

С 2016 года группа правительственных экспертов собирается два раза в год в Женеве, и в ней участвует порядка 80 стран. Однако сейчас становится очевидным, что группа не сможет прийти к какому-либо решению, поскольку специфика работы конференции о негуманном оружии и группы правительственных экспертов заключается в том, что все решения принимаются консенсусом. Если кто-то против, то решение не принимается, поскольку нет возможности принять его большинством голосов. Этот вопрос блокирует Россия, что удобно для Соединенных Штатов, Израиля, Великобритании, Южной Кореи, Китая и Индии.

Пакистан стал первой страной, которая выступила за запрет автономных систем оружия с искусственным интеллектом. Здесь явно прослеживается практическая сторона: они понимают, что конкурировать с Индией в этом направлении им бесполезно, поэтому стараются продвигать запрет. И, как это было в случае с ядерным оружием, для Пакистана более выгодно выступить за запрет, чтобы избежать противостояния.

В случае военного конфликта это перестает быть двусторонним или даже региональным вопросом. Это затронет всю планету и всех ее жителей. 

Я радуюсь, что Казахстан выступает за запрет. А самыми активными странами в этом вопросе являются Австрия, Коста-Рика, Куба, Бразилия, Южная Африка и Ирландия.

Фактически это те же страны, которые выступают за разоружение в целом. Они не являются гипотетическими жертвами в крупных войнах, но будут страдать из-за побочных или косвенных последствий, будь то ядерное оружие или автономные системы. Поэтому видимого прогресса нет. Технологически развитые страны, к сожалению, будут тянуть с решением, чтобы в какой-то момент заявить: «Мы уже изобрели это оружие, оно уже де-факто существует», и тогда ни о каком превентивном запрете не будет речи.

В связи с этим ряд стран начали организовывать конференции вне Женевской площадки. В 2023 году прошла большая конференция на Филиппинах, а в этом году впервые состоялась крупная всемирная конференция в Вене, где приняли участие все государства. Цель этих мероприятий — привлечь внимание мирового сообщества к остроте проблемы, поскольку в самой конвенции о негуманном оружии не все страны являются участниками и не принимают участия в обсуждении этого вопроса.

Австрия также сделала попытку привлечь внимание общественности: с прошлого года существует австрийская резолюция на Генеральной Ассамблее ООН, в которой поднимается вопрос о необходимости превентивного запрета автономного оружия. Я думаю, что этот вопрос будет развиваться аналогично тому, как это было с противопехотными минами, кассетными боеприпасами и ядерным оружием.

— Насколько может помочь превентивный запрет на автономное оружие? Мы видим, что, несмотря на существующий запрет на ядерное оружие, даже страны, которые когда-то подписались за его ограничение, иногда намекают или прямо заявляют о готовности его применить в случае необходимости.

 — Это большая проблема, что в Договоре о запрещении ядерного оружия нет стран, обладающих ядерным оружием. Однако, на его примере мы видим, что само существование этого договора оказывает давление на страны, обладающие ядерным оружием. Этот процесс не быстрый, у каждой страны есть свои ратификационные процедуры в соответствии с внутренним законодательством.

— Как вы думаете, какая страна может первой начать использовать это оружие? Сейчас в мире два крупных конфликта: Израиль, который значительно продвинулся в области автономного оружия, и Россия, которая может в будущем приобрести это оружие. Как вы считаете, возможно ли, что какая-то из этих стран применит это оружие первой? 

— Самый худший исход, без сомнения, связан с США, Израилем, Китаем, Великобританией и Индией. Великобритания здесь упоминается, потому что я слышал их выступления и вижу, что они больше говорят о необходимости регулирования, а не запрета. Ведь это тоже империя, которая не хочет терять свою позицию в гонке вооружений. 

Худший сценарий будет похож на ситуацию с ядерным оружием. Тогда его разработали и применили, что вызвало катастрофические последствия. После этого страны, обладающие ядерным оружием, поняли, что если другие государства тоже начнут его разрабатывать, то последствия могут быть непредсказуемы, вплоть до уничтожения человечества. Поэтому они предложили подписать договор о нераспространении ядерного оружия, обещая, что будут постепенно разоружаться. На данный момент его не подписали только пять стран (Индия, Пакистан, Израиль, Южный Судан, с 2003 года из договора вышла Северная Корея).

— Как вы оцениваете возможность введения превентивного запрета автономного оружия? 

Я думаю, что в 2025-2027 годах на Генеральной Ассамблее ООН будет принята резолюция и большинством голосов государства смогут созвать переговоры по разработке международного договора, запрещающего использование искусственного интеллекта в военных целях без участия человека. Если этого не произойдет в ближайшее время, будет уже поздно. Это оружие, вероятно, появится через 10 лет.