Автономные системы вооружения несут в себе угрозы, связанные с автоматическими целеполаганием и принятием решений
История развития военного дела и национальной безопасности – это история технологического прогресса. Несомненно, Четвертая промышленная революция повлияет как на вид, так и на природу военных конфликтов. Сейчас, когда доктрина «сетецентрической войны» широко применяется правительствами большинства стран мира, автономные системы вооружения играют все большую роль в вооруженных противостояниях.
Пока единого, признанного всеми определения автономной системы вооружения не существует, поэтому приведем основные черты таких систем, выработанные в одном из исследований Оксфордской школы Мартина.
Во-первых, это оружие, специально разработанное для того, чтобы причинить вред или создать угрозу причинения вреда другой стороне конфликта.
Во-вторых, это оружие, внутри которого физически не присутствует оператор.
В-третьих, оно предназначено для поражения цели преимущественно (но не исключительно) посредством создания кинетического эффекта.
В-четвертых, понятие «системы» означает, что существуют четкие критерии, которые определяют применение силы.
Следует отметить, что термин «автономные системы вооружения» является синонимичным термину «роботизированное вооружения/оружие»; далее они будут употребляться как равнозначные.
В контексте обсуждения автономных систем вооружения необходимо также дать определение такому понятию, как «алгоритм». Алгоритм – это пошаговая инструкция решения какой-то задачи. Роботизированные вооружения используют алгоритмы для выполнения какой-либо операции. Написание алгоритма требует введения соответствующих данных.
Автономные системы вооружения, уже разработанные, использующиеся в военных целях, отличает то, что они могут быть запрограммированы для самостоятельного определения и уничтожения цели.
Это, например, опытный многоцелевой ударный БЛА X-47B, разработанный Northrop Grumman. Он способен совершать взлет и посадку как на сухопутный аэродром, так и на авианосец, а также выполнять некоторые задачи без вмешательства оператора, в частности – дозаправку в воздухе.
Боевой робот SGR-A1, разработанный компанией Samsung Techwin, вооружен двумя пулеметами калибром 5,56 мм и 40-мм автоматическим гранатометом, заряженным выстрелами с резиновыми пулями. Роботы могут вести наблюдение, распознавать голос и в случае необходимости открывать огонь. Эти роботы-часовые уже размещены на пограничных постах в Корейской демилитаризованной зоне (ДМЗ). На данный момент роботами управляет человек, но они могут действовать и полностью автономно. В автономном режиме система по умолчанию считает, что любой человек, входящий в ДМЗ, – враг, и после обнаружения пытается идентифицировать цель посредством распознавания голоса. Если человек не предоставляет надлежащий код доступа (пароль) в течение короткого промежутка времени, система может выбирать дальнейший вариант действий: подачу сигнала тревоги, стрельбу резиновыми пулями либо пулеметами на поражение.
Опираясь на сказанное выше, можно сделать вывод о том, что автономные системы вооружения несут в себе угрозы, связанные с автоматическими целеполаганием и принятием решений. Ниже представлены подобные угрозы:
1. Происходит преувеличение роли алгоритмов, применяющихся в автономных системах вооружения. Руководитель заменяет личные решения рекомендациями алгоритмов. Причина в том, что на психологическом уровне человек считает их решения абсолютно правильными. Нельзя исключать и опасение оператора, что по его ошибке может быть совершенно преступление.
2. Автономные системы вооружения, функционирующие без вмешательства оператора, могут выйти из-под контроля, что приведет к разрушающим для общества последствиям.
3. Использование алгоритмов ущемляет права человека. Алгоритмы опираются на входные данные, которые часто уже являются неполными и дискриминационными. Более того, результаты действий алгоритмов производятся на основе группы или популяции и не являются определяющими по отношению к конкретным индивидам. Все это приводит к закреплению существующей дискриминации.
Указанные выше угрозы возможно предотвратить законодательным путем, однако законодательства, которое бы в полной мере регламентировало применение данного вида вооружения, не существует. Причина заключается в том, что существующая система международного права не успевает адаптироваться к быстро происходящим изменениям Четвертой промышленной революции. Использование существующих норм и законов может привести к так называемой «ловушке переносимости», когда решения, разработанные для одного социального контекста, могут быть неточными, вводить в заблуждение или иным образом наносить вред при применении в другом контексте. Подобное произошло в США, где была предпринята попытка перенесения законов из уголовного права страны в сферу регулирования военных конфликтов в контексте автоматического определения «угрозы» и «врага».
Прежде чем рассмотреть возможные пути законодательного регулирования данной проблемы, необходимо дать краткую характеристику существующим подходам к ее решению.
Сторонники сохранения нормативного статус-кво уверены, что существующие правовые нормы не нуждаются в пересмотре, необходимо только гарантировать их строгое соблюдение.
Преимуществом такого подхода является то, что особое внимание уделяется праву и стремлению к более эффективному использованию существующих норм. По мнению сторонников сохранения нормативного статус-кво, крайне важно, чтобы существующие международные нормы оставались актуальными по мере совершенствования технологий – статья 36 Дополнительного протокола I к Женевским конвенциям уже регулирует разработку нового оружия и требует от государств проводить обзоры этого оружия на предмет его соответствия нормам международного права.
Недостаток данного подхода связан с тем, что он ориентирован исключительно на право, но не учитывает политические и стратегические соображения: во-первых, это риск ответного удара, когда противник с более низким уровнем развития технологий может использовать ассиметричные стратегии, не исключая и терроризм; во-вторых, это риск гонки роботизированных вооружений.
Сторонники запрета автономных систем вооружения уверены, что использование подобных систем не соответствует международным правовым стандартам. Например, будет затруднено распознавание роботизированным оружием, является ли отдельное лицо комбатантом или некомбатантом. Также автономные системы вооружения, в отличие от человека, не смогут определить, является ли их применение силы чрезмерным в конкретном случае или нет. Трудности в законодательном регулировании указанных выше противоречий служат причиной, по которым запрет автономных систем вооружения становится единственно возможным решением проблемы.
С одной стороны, сторонники данного подхода обращают внимание производителей автономных систем вооружения на то, что на данном этапе законное использование такого оружия затруднено. Это способствует совершенствованию роботизированного вооружения.
С другой стороны, проблемы, на которые указывают сторонники запрета автономных систем вооружения, относятся не ко всему роботизированному оружию. Также остается неясным, в каких случаях использование роботизированного оружия считается законным. Критики данного подхода отмечают, что государства, уже вложившие значительные средства в исследования автономных систем вооружения, не пожелают поддерживать их полный запрет. Даже если подобный запрет будет установлен, в соответствующих документах останутся исключения с целью защиты существующего роботизированного оружия, а также интересов государств, занимающихся разработкой автономных систем вооружения для обеспечения национальной безопасности.
Сторонники более умеренного подхода считают, что использование автономных систем вооружения законно, однако возникновение новых правовых проблем делает необходимым прекращение дальнейших разработок такого оружия до тех пор, пока не будет выяснено, могут ли существующие международные нормы эффективно регулировать его создание и использование (это нашло отражение в выступлении специального докладчика Организации Объединенных Наций по внесудебным, суммарным или произвольным казням в 2013 г. Кристофа Хайнца).
Несомненным преимуществом данного подхода является то, что он отражает всю сложность рассматриваемого вопроса. Однако государства, которые уже вложили значительные средства в разработку автономных систем вооружения, с большой вероятностью откажутся от моратория. Кроме того, сторонники данного подхода не имеют четкого представления о том, какие вопросы нуждаются в уточнении.
Рассмотренные выше подходы содержат, наравне с обоснованными предложениями, немало противоречий, а указанные проблемы отражают неоднозначный характер затронутого вопроса. В этой связи необходим анализ всей доступной информации по данному вопросу. В результате подобного анализа можно прийти к следующим рекомендациям, которые предлагают возможные пути законодательного регулирования производства и использования автономных систем вооружения:
1. Необходимо четкое обозначение целей использования автономных систем вооружения, а также разграничение ситуаций, когда использование этого оружия является законным, а когда – незаконным.
2. Определение институциональной роли для военных, которые работают с автономными системами. Должно быть ясно, кто является ответственным за применение силы с использованием роботизированного вооружения, кто запрограммировал оружие и почему оно используется в определенных боевых действиях (так называемая «прозрачность» действий роботов). Было высказано предложение устанавливать в автономных системах вооружения «черные ящики», которые записывают все действия оружия. Это может значительно облегчить процесс судебного разбирательства по факту нарушения законов войны.
3. Повышение эффективности процесса принятия решения человеком-оператором. Необходимо, чтобы люди на основе рекомендаций роботизированного вооружения принимали самостоятельные решения, а не просто следовали рекомендациям алгоритмов. Также должна существовать возможность оспаривания решений алгоритмов (в августе 2018 г. Австрия, Бразилия и Чили высказали предложение о необходимости обеспечения контроля человека над смертоносными автономными системами вооружения).
4. Необходимо при составлении алгоритмов использовать большое количество данных, а также учитывать те факты, что, во-первых, алгоритмы составляются на базе культуры составителя, а потому не всегда могут соответствовать ситуации в регионе с другой культурой, и, во-вторых, невозможно судить о будущем поведении одного человека исходя из поведения других. Подобные рекомендации можно встретить в Исполнительном приказе по искусственному интеллекту, который был подписан Дональдом Трампом в феврале 2019 года. Решение данных проблем предотвратит возможное нарушение прав человека при эксплуатации автономных систем вооружения.
5. С технической точки зрения необходимы: постоянный мониторинг автономных систем вооружения с целью обнаружения возможных сбоев и их быстрого устранения; возможность деактивации оружия (установление пороговых значений деактивации); возможность предотвращения дальнейшего использования вооружения, если его эксплуатация становится небезопасной; принятие мер, направленных на предвидение, предупреждение и предотвращение сбоев в работе роботизированного вооружения.
Таким образом, создание и применение автономных систем вооружения, получающих большое распространение в эпоху Четвертой промышленной революции и использующихся для обеспечения национальной безопасности, представляют собой проблему с точки зрения законодательного регулирования. Наличие большого количества угроз от применения данного вида вооружения и отсутствие единого мнения по поводу разрешения этой проблемы затрудняют дальнейшую разработку и использование этого оружия. Необходимо, чтобы государства в частности и мировое сообщество в целом предпринимали меры для совершенствования норм международного права. Это предотвратит нарушение прав человека и разрушение материальных объектов во время боевых действий.
