Докладчик
Описание
АВТОНОМНИ ОРЪЖИЯ И РОЛЯТА НА ЧОВЕШКИЯ ФАКТОР В ПРОЦЕСА ПО ВЗЕМАНЕ НА РЕШЕНИЯ
Дончо Боянов Иванов
AUTONOMOUS WEAPONS AND THE ROLE OF THE HUMAN FACTOR IN THE DECISION-MAKING PROCESS
Doncho Boyanov Ivanov
Резюме: Настоящият доклад изследва трансформацията на процесите по вземане на решения в контекста на развитието на автономни оръжейни системи и нарастващата роля на изкуствения интелект в съвременната военна среда. Основният фокус е поставен върху напрежението между автоматизацията на бойните функции и необходимостта от запазване на значим човешки контрол върху употребата на сила. Специално внимание се отделя на ролята на човешкия фактор като когнитивен, морален и правен посредник в процеса на вземане на решения, включително способността за интерпретация на контекста, оценка на несигурността и носене на отговорност.
Ключови думи: автономно оръжие, изкуствен интелект, отбрана, сигурност
Abstract: This paper examines the transformation of decision-making processes in the context of the development of autonomous weapons systems and the increasing role of artificial intelligence in the modern military environment. The main focus is on the tension between the automation of combat functions and the need to maintain meaningful human control over the use of force. Special attention is paid to the role of the human factor as a cognitive, moral and legal mediator in the decision-making process, including the ability to interpret context, assess uncertainty and assume responsibility.
Keywords: autonomous weapons, artificial intelligence, defense, security
Военната употреба на изкуствен интелект вече не е периферна хипотеза, а административно, технологично и правно организирано поле на действие. Именно тук възниква напрежението, което този доклад поставя в центъра си: колкото повече системите за откриване, класификация и проследяване обещават по-бързо и по-точно решение, толкова по-несигурно става дали решението остава в нормативно значим смисъл човешко. Нито рамките на НАТО за отговорна употреба на изкуствен интелект (ИИ), нито позициите на Международния комитет на Червения кръст, нито дискусиите в системата на ООН предполагат, че проблемът се изчерпва с въпроса дали „има човек във веригата“. Спорът е по-дълбок и пита какъв вид човешко участие е достатъчен, когато скоростта, мащабът и непрозрачността на алгоритмичните системи променят самата структура на избора?
В този контекст на темата изследователският въпрос пита при какви условия човешкият фактор остава действителен, а не символичен, морален и правен посредник в процеса по вземане на решения при автономни оръжейни системи? Тезата, която може да се защити в дебата е двупластова. От една страна, автономията не отстранява човека, защото тя преразпределя човешката роля във времето назад към дизайна, данните, параметрите, правилата за употреба и интерфейса, и напред към постфактум отчетността. От друга страна - тъкмо това преразпределяне създава опасността човешкото участие да остане формално налично, но фактически изпразнено от съдържание. Следователно проблемът за човешкия фактор не е външен коректив на автономията, а вътрешен критерий за нейната допустимост в полето на националната сигурност и международното хуманитарно право. [3,…, 6], [14,…,18]
Това има пряко значение за сигурността като изследователско поле, защото ако решението за употреба на сила се „разрежда“ между инженерни екипи, данни за обучение, оператори, командири, юридически съветници и машинни препоръки, тогава към класическия въпрос за военната ефективност се добавя въпросът за архитектурата на отговорността. В този смисъл автономните оръжия са и нов тип институционална организация на решението за сила. Именно затова дебатът около тях не може да бъде сведен нито до технически оптимизъм, нито до морална интуиция и изисква едновременно теория на решението, анализ на човешките ограничения и правна преценка за това кога контролът е реален и кога е само реторика.
1.Теоретични опори на автономията, контрола и решението
Първата необходима разлика е между автоматизация и автономия. В класическата рамка на човеко-машинното взаимодействие автоматизацията обозначава делегиране на отделни функции по ясно зададени правила, докато автономията предполага, че системата може да избира между възможни линии на действие в зависимост от данни от средата и вътрешна обработка. Затова автономията не е „повече автоматизация“, а променя мястото, на което възниква несигурността дали системата ще изпълни команда и как ще интерпретира среда, сигнал и критерий за релевантност. Тази разлика се улавя в политико-правните доклади на SIPRI и UNIDIR [1, 2], [14], [20], [26].
Втората разлика е между системите за подпомагане на вземането на решения и системи за заместване на човешкото вземане на решения ("decision support", "decision replacement"). На хартия тя изглежда по следния начин - подпомагащата система предлага, човекът решава, а заместващата система избира и задейства. На практика границата е далеч по-нестабилна, защото ако алгоритъмът предварително селектира най-уместните обекти, подрежда ги по риск, редуцира информационното поле и изчислява „препоръчителни“ действия, тогава човешкото решение често се измества от първична преценка към вторична верификация. Именно тук възниква възможността за функционално заместване под формата на подпомагане, където система, която формално не решава вместо човека, но структурира така средата на решението, че практически прави други решения малко вероятни [2], [8], [20], [27,28].
Понятийната триада „човешко участие в цикъла на решението“, „наблюдаващ човек с възможност за намеса“ и „човек извън цикъла на вземане на решения“ описва различни режими на участие, но не дава сама по себе си критерий за достатъчност. В първия случай може да означава натискане на бутон без реална възможност за съдържателна преценка. При второто понятие може да означава надзор върху темпо, което не позволява ефективна намеса, а в третият сценарий може да е юридически проблематично, което поражда нормативна мъгла. Научната литература по темата постепенно се измества към идеята за „значим човешки контрол“ („meaningful human control“), при който въпросът не е формалното присъствие на човек, а качеството на връзката между човешкото намерение, разбиране и машинното действие. [3,…, 6], [14, 15]
Забелязва се и съществена разлика между между авторите. Така Santoni de Sio и van den Hoven, настояват, че контролът е „значим“, ако човешките причини могат да се проследят в системното поведение и ако съществува отговорим човешки агент, към когото действието се „връща“ [3]. Ekelhof критикува именно чисто семантичната употреба на понятието и премества въпроса към операцията кога, къде и с каква информационна плътност човекът действително може да упражни контрол [4]. Amoroso и Tamburrini прибавят още едно ниво, защото те не свеждат „значимия контрол“ до инженерна настройка, а го разглеждат като нормативен минимум срещу морално и правно неприемливото делегиране на смъртоносна преценка [5, 6]. Това е решаващо: „значим“ не означава само „ефективен“, а и „легитимен“.
Ако класическото военно решение е било ограничено от недостига на информация, алгоритмично подпомогнатото решение страда от изобилие, което трябва да бъде филтрирано, синтезирано и преведено в оперативен избор. ИИ системите променят едновременно скоростта, обема и формата на преценката. По този начин скоростта на обработка свива времето за колебание, а обемът от сензорни данни измества вниманието към селекционни механизми. Формата на избора се преобразува, защото човекът все по-често реагира не на света непосредствено, а на света, вече предварително форматиран от алгоритмична класификация. [2], [7, 8], [11, 12]
Тук е важно да се използва словосъчетанието „съкращаване на времето за вземане на решение“ („decision compression“) като аналитичен термин за процес, при който времевият прозорец за човешка оценка се свива не поради техническа скорост, а поради комбинацията от ускорена обработка, голям брой сигнали и организационно очакване за незабавна реакция. Компресията не е единствено „по-малко време“, а и разместване на тежестта на решението. Това е транзит от същинската преценка към приемането или отхвърлянето на машинна препоръка в условия на натиск. Изследванията върху доверието в автоматизираните системи показват, че склонността към безкритично доверие в автоматизирани системи не действа механично и еднакво върху всички, но и че знанията за ИИ, учебната среда и институционалният контекст влияят върху вероятността човек да надцени или да отхвърли алгоритмична препоръка. [11, 12].
Вторият трансформиращ механизъм е алгоритмичната непрозрачност, което е ограничена възможност да се проследи и обясни как системата достига до конкретно решение. Непрозрачността не означава само техническа сложност на модела, а Burrell разкрива, че тя има поне три източника, които представляват корпоративна или институционална секретност, техническа неразбираемост на някои модели и несъизмеримост между статистическата обработка и обикновените човешки интуиции за причинност. [7] Пренесено в сферата на оръжията, това не е абстрактен проблем. Както се посочва в доклада „The Black Box, Unlocked“, предвидимостта и разбирането са предпоставки за доверие и за спазване на международното хуманитарно право, защото без достатъчно разбиране операторът и командирът не могат да оценят границите на системата в конкретна среда [8]. Оттук следва по-малко удобен извод. Не всяко ускоряване на решението е оперативна печалба. Причината за това е изместване на умственото натоварване при обработка на информация - от бавно, но обосновано вземане на решение - към бързо одобряване на резултат, произведен по начин, който участникът не може да възстанови със собствени средства. При такива условия „човекът в цикъла“ може да се превърне в последна административна спирка, а не в носител на същинска оценка. Това е и причината както в рамките на НАТО, така и в изследванията на McFarland да се подчертава, че връзката между доверието в системата и човешкия контрол не може да се разбира като линейна зависимост - увеличаването на доверието не води до засилване на контрола, а често го ерозира. [23, 24], [27]
2.Човешкият фактор като когнитивен посредник
Човешкият фактор не е романтичен остатък от предалгоритмична епоха, а едновременно ограничен и незаменим. От една страна, изследванията показват устойчиви механизми на уклон към автоматизирани решения и понижена бдителност при работа със системата - когато автоматизираната система е достатъчно надеждна, хората са склонни да пропускат реални несъответствия, да търсят по-малко алтернативни интерпретации и да ангажират вниманието си в мониторинг [9, 10]. Този резултат не трябва да се чете моралистично, защото при ограничено внимание и висок темп на работа човекът използва автоматизацията като заместител на скъпата умствена проверка. От друга страна, трудно е да се открие еднопосочна логика, в която повече знание за ИИ автоматично усилва сляпото доверие, защото отношенията между познание, доверие и свръхупование са нелинейни [11]. При изследване сред американски военни среди Lushenko също показва, че организационният контекст и представянето на системата влияят върху готовността за приемане на алгоритмична препоръка [12]. Това означава, че човешкият фактор не е „слабата брънка“, а е променлива, която може да бъде дисциплинирана чрез обучение, интерфейс, темпо на работа и доктринални ограничения. Тъкмо тук се появява незаменимият елемент. Има форми на преценка, които машината не „няма още“, а които са структурно различни по вид. Например контекстуална интерпретация, работа с неопределеност и разпознаване на морално значимите аспекти на ситуацията, които не могат да бъдат сведени до формални критерии. Операторът или командирът не взема решение единствено върху база на класификация, тъй като той трябва да разбере какъв е този обект в конкретен контекст, какво следва от грешката, каква е цената на въздържането и какво означава да се стреля именно сега, а не след минута. Високите нива на автономия могат да разрушат ситуационната осведоменост тъкмо когато човекът трябва да поеме обратно контрол. [2] UNIDIR стига до близък извод при анализа на интерфейсите, а именно че начинът, по който информацията се представя, е част от самия контрол, а не негова вторична опаковка. [20] Там, където ситуацията е нееднозначна, където противникът се смесва с цивилната среда, където деянието е формално допустимо, но съдържателно погрешно, човешкото мислене не е резервен план. Именно затова да се мисли човешкият фактор само през „човешка грешка“ е концептуална грешка. В полето на автономните оръжия човекът е едновременно източник на риск и носител на онзи тип преценка, без който рискът не може да бъде смислено оценен. [2], [10], [20]
3.Човешкият фактор като морален и правен субект
Проблемът за моралната и правната отговорност започва там, където инженерният език свършва. Машината може да произведе ефект, но тя не може да бъде адресат на вина, санкция или наказателна отговорност. Тук класическият аргумент за „размиване на отговорността“, формулиран от Andreas Matthias, остава удивително устойчив. Когато система учи, адаптира се и действа по начин, който не е напълно предвидим за проектанта или оператора, традиционните режими на приписване на отговорност започват да да се оказват недостатъчни. [13] По-късната литература не опровергава този аргумент, а по-скоро се опитва да го смекчи, като разпредели отговорността между дизайн, разгръщане, командване и употреба. [6], [16] В режима на международното хуманитарно право (МХП) това е особено остро, защото преценката по принципите на разграничение, пропорционалност и предпазни мерки при нападение не е чисто техническа операция. Докладите на SIPRI настойчиво показват, че именно видът и степента на човеко-машинно взаимодействие са решаващи за въпроса дали системата може да бъде използвана в съответствие с МХП. [15], [17] По-сдържаната правна линия не твърди, че автономията е несъвместима с него, а настоява, че съвместимостта зависи от конкретната среда, профила на целта, предвидимостта на поведението и възможността за проверка и намеса. По-рестриктивната линия, застъпвана от Международен комитет на Червения кръст и от част от етическата литература, подчертава, че някои категории употреба, особено непредвидими системи или системи, насочени срещу лица, трябва да бъдат забранени, а не по-добре управлявани. [5], [15], [17,18] Затова въпросът „кой е виновен?“ не може да бъде задаван само след инцидента, а трябва да бъде вграден преди употребата и още в дизайна на интерфейса, в ограниченията на задачата, в логовете, в проверката по член 36, в процедурите за валидация и в доктрината за употреба. В противен случай човешката отговорност би останала само декларативна. Не е достатъчно да кажем, че „човекът носи отговорност“, защото трябва да покажем как този човек е бил поставен в положение да разбере системата, да я ограничи, да откаже препоръката ѝ и по-късно да обясни основанията на решението. Именно тук принципите на проследяване, обяснимост и управление, заложени и в документите на НАТО, имат правно значение, а не само организационна стойност. [16], [18], [23, 24] Не бива да се пропуска и идеята, че прехвърлянето на отговорност назад по веригата към проектанти, доставчици на данни, командни равнища и разработчици решава само част от проблема. Тя разширява полето на обяснение, но не възстановява автоматично човешкото качество на конкретната преценка при употреба на сила. Една система може да е минала правен преглед и все пак да бъде използвана в ситуация, в която нито операторът, нито командирът разполагат с достатъчно време или основание за съдържателна оценка. В този смисъл формалната отчетност не е еквивалент на значим контрол. Тя е необходимо, но недостатъчно условие.
4.Емпирични прояви и доказателства
Първият показателен емпиричен регистър са баражиращите боеприпаси. Те са особено важни защото са прагова технология т.е. комбинират човешко пускане, автономно или полуавтономно търсене, сензорна обработка и възможност за по-късно човешко потвърждение или липса на такова в зависимост от дизайна и затова тези системи са решаващ тест за човешкия контрол. Проблемът не е само способността им да „чакат“ цел, а и че при някои архитектури те преместват визуалната и контекстуалната верификация далеч от момента на вземане на решение и по този начин отслабват способността на оператора да потвърди не само наличие на обект, а значението на обекта в конкретната среда. [21] Редица публични дискусии около употребата на такива системи от Азербайджан срещу Армения направиха баражиращите боеприпаси видими за по-широка публика, но аналитично по-важното е друго - тази категория оръжия показва как автономията може да нараства „на парчета“, чрез сензори, класификация, режим на патрулиране, избор на момент за удар, без никога да се появи един-единствен драматичен момент, в който системата бъде обявена за „изцяло автономна“. Ето защо регулацията, основана само на бинарното „има/няма автономия“, пропуска най-съществения въпрос кои функции по селекция и нападение се прехвърлят към системата, при какви граници и с каква възможност за човешка корекция. [14], [21], [26] Друг емпиричен пример е случаят с Kargu-2 в Либия Случаят с турския дрон Kargu-2 в Либия от пролетта на 2020 г. се счита за исторически прецедент, тъй като за първи път в официален доклад на ООН се споменава за атака срещу хора, извършена от напълно автономен робот-убиец без намесата на оператор..Той е показателен, защото демонстрира колко трудно е да се установи какво точно се е случило, когато автономни функции, дистанционни операции и ограничена публична информация се преплитат. Докладът на панела към Съвета за сигурност на ООН описва системи, програмирани да атакуват цели без необходимост от връзка с оператор, а анализите около случая показват и значителни доказателствени неясноти [22]. Точно тази неяснота е същността на проблема, защото ако политическата общност не може уверено да реконструира режима на действие след предполагаема атака, тогава отчетността е отслабена още на равнище фактология. Третият регистър не е единичен боеприпас, а подпомаганият с ИИ процес на целеразпознаване и селекция. Той е по-малко зрелищен, но вероятно по-значим за близкото бъдеще. В тези системи ИИ класифицира, подрежда, маркира, предупреждава и затова рискът често остава подценен. Прагът на отговорност не се размива само когато машината атакува сама, а и когато човешкият избор е вече силно предварително структуриран от машинна препоръка. Литературата за връзката между доверие и контрол, както и анализите на човешкия надзор при системи с изкуствен интелект, изрично предупреждават, че при подобна конфигурация надзорът може да се превърне в символичен - формално наличен, но лишен от реална възможност за влияние върху решението. [12], [20], [27,…, 30]
Тези примери доказват и показват, че спорът за автономните оръжия не се движи само по оста „човек или машина“, а по оста архитектура на човешкото участие. При едни системи проблемът е недостатъчна предсказуемост на поведението, а при други недостатъчна възможност за своевременна намеса. При трети недостатъчна проследимост на основанията за препоръка. Следователно „човешкият фактор“ не е едно място във веригата, а комплекс от условия, време, интерфейс, обучение, доктрина, правомощие и отказ от натиск към автоматично одобрение.
5.Границите на автоматизацията и на човешкия контрол
Критиката на пълната автоматизация е сравнително добре позната, защото тя се опира на непредвидимост, непрозрачност, трудността да се улови контекстът и риска от несъвместимост с МХП в сложни среди. [7, 8], [15], [18] Идеята, че просто трябва да „върнем човека“, често пренебрегва организационните и когнитивни условия, при които човекът е поставен в средата. Ако интерфейсът е лош, темпото е прекомерно, препоръката е представена като високо уверена, а институцията очаква незабавно действие, човешкият надзор лесно се превръща в ритуал. Green формулира този проблем в по-широкия дебат за алгоритмичното управление. Политиките за човешки надзор могат да създадат фалшиво чувство за сигурност, ако не отчитат реалните ограничения на надзираващия [28]. Във военния контекст този извод е още по-остър, защото цената на грешката е необратима. Следователно напрежението не е дилема между две чисти опции, които са „или човекът решава всичко, или машината решава всичко“. То е структурен проблем на разпределеното действие, колкото повече машината поема елементи на възприятие, оценяване и селекция, толкова повече контролът се измества към етапи, които не приличат на непосредственото решение - проектиране на ограничения, определяне на мисията, избор на данни, процедури за тестване, граници за употреба, правила за деактивация. Това е причината по-новите регулаторни предложения да се движат към двустепенен подход, който от една страна се изразява в забрана на някои категории системи и строги ограничения на други, вместо към абстрактни декларации за „подходящ човешки контрол“ [18], [24, 25].
Стремежът към контрол чрез дизайн не трябва да се превръща в нов технологически фетиш. Контролът трябва да бъде заложен архитектурно чрез проследимост на процеса на вземане на решения, да има обяснимост на алгоритмичните решения, възможност за упражняване на контрол върху системата, ограничения по пространство, време, тип цел и режим на активация. Дори най-добре конструираният интерфейс не отменя политическата икономия на войната, където има натис за темпо, сила на доктрината, култура на доверие към системата, изкушение да се приемат машинни препоръки като по-обективни от човешките [8], [12], [23, 24], [27], [30]. Ето защо значимият човешки контрол не може да бъде сведен нито до морално пожелание, нито до техническа спецификация.
Автономията не премахва човешкия фактор, а го прави по-труден за локализиране и по-лесен за симулиране. Човекът може да присъства навсякъде в документацията и никъде в същинската преценка. Тъкмо затова адекватната рамка трябва да пита не „има ли човек?“, а има ли човек с достатъчно време, достатъчно разбиране, достатъчна компетентност и достатъчно правомощие да откаже, коригира или прекрати машинно предложеното действие? Ако отговорът е отрицателен, тогава контролът не е значим, независимо колко формално впечатляваща изглежда веригата на надзора.
Заключение
Човешкият фактор остава действителен когнитивен, морален и правен посредник при автономни оръжейни системи само ако човешкото участие не е сведено до формално присъствие, а е институционално и технически обезпечено като съдържателна възможност за разбиране, оценка, намеса и отказ. Това означава предвидими и ограничени функции на системата, проследимост на данните и основанията, интерфейси, които поддържат, а не разрушават ситуационната осведоменост, темпо на употреба, съвместимо с реална човешка преценка и правни режими, които не оставят отговорността да се разтвори между човека и машината [8], [14,…, 18], [20], [23, 24]. За военната практика това означава преход от наивна вяра в „по-бързото решение“ към доктрина на контрол чрез ограничаване на мисии, на профили на цели, на автономни функции, на оперативна среда и на времеви прозорци. За политиката по сигурност това означава, че регулацията няма да бъде убедителна, ако се задоволи с общи етически принципи, защото тя трябва да преведе принципите в проверими изисквания за дизайн, изпитване, сертификация, правен преглед и отчетност. Не е случайно, че в рамките на ООН натискът за по-конкретен международен инструмент се усилва, включително чрез резолюциите на Общото събрание и препоръката за сключване на правно обвързващ инструмент. [18], [24, 25].
За бъдещите изследвания остават три приоритета. Първо, трябва да се премине отвъд абстрактната семантика на „контрола“ към измерими показатели за ефективен надзор в различни оперативни сценарии. Второ, необходими са повече емпирични изследвания върху това как реални военни организации взаимодействат с препоръки на ИИ под натиск, а не само в лабораторни условия. Трето, правната теория трябва по-задълбочено да изследва човешкото поведение в сложни системи. Без разбиране на начина, по който човек осъществява надзор, доктрината за отговорността ще остане непълна. Спорът за автономните оръжия не е спор за това дали човекът ще изчезне от войната, а за това дали човешкото решение ще остане носител на смисъл, вина и ограничение или ще бъде редуцирано до последен подпис под чужд, макар и машинно произведен, избор.
ЛИТЕРАТУРА
1.PARASURAMAN, R., Sheridan, T. B. and Wickens, C. D. (2000) A model for types and levels of human interaction with automation. IEEE Transactions on Systems, Man, and Cybernetics – Part A: Systems and Humans, 30(3), 286–297. https://doi.org/10.1109/3468.844354 . [viewed 2026-04-01]
2.ENDSLEY, M. R. (2017) From Here to Autonomy: Lessons Learned from Human–Automation Research. Human Factors, 59(1), 5–27. https://doi.org/10.1177/0018720816681350 . [viewed 2026-04-01]
3.SANTONI DE SIO, F. and van den Hoven, J. (2018) Meaningful Human Control over Autonomous Systems: A Philosophical Account. Frontiers in Robotics and AI, 5:15. https://doi.org/10.3389/frobt.2018.00015 . [viewed 2026-04-02]
4.EKELHOF, M. (2019) Moving Beyond Semantics on Autonomous Weapons: Meaningful Human Control in Operation. Global Policy, 10(3), 343–348. https://doi.org/10.1111/1758-5899.12665 . [viewed 2026-04-02]
5.AMOROSO, D. and Tamburrini, G. (2020) Autonomous Weapons Systems and Meaningful Human Control: Ethical and Legal Issues. Current Robotics Reports, 1, 187–194. https://doi.org/10.1007/s43154-020-00024-3 . [viewed 2026-04-02]
6.AMOROSO, D. and Tamburrini, G. (2021) Toward a Normative Model of Meaningful Human Control over Weapons Systems. Ethics & International Affairs, 35(2), 245–272. https://doi.org/10.1017/S0892679421000241 . [viewed 2026-04-01]
7.BURRELL, J. (2016) How the machine ‘thinks’: Understanding opacity in machine learning algorithms. Big Data & Society, 3(1), 1–12. https://doi.org/10.1177/2053951715622512 . [viewed 2026-04-03]
8.HOLLAND Michel, A. (2020) The Black Box, Unlocked: Predictability and Understandability in Military AI. Geneva: UNIDIR. https://doi.org/10.37559/SecTec/20/AI1 . [viewed 2026-04-03]
9.SKITKA, L. J., Mosier, K. L. and Burdick, M. D. (1999) Does automation bias decision-making? International Journal of Human-Computer Studies, 51(5), 991–1006. https://doi.org/10.1006/ijhc.1999.0252 . [viewed 2026-04-03]
10.PARASURAMAN, R. and Manzey, D. H. (2010) Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors, 52(3), 381–410. https://doi.org/10.1177/0018720810376055 . [viewed 2026-04-03]
11.HOROWITZ, M. C. and Kahn, L. (2024) Bending the Automation Bias Curve: A Study of Human and AI-Based Decision Making in National Security Contexts. International Studies Quarterly, 68(2), sqae020. https://doi.org/10.1093/isq/sqae020 . [viewed 2026-04-03]
12.LUSHENKO, P. (2025) AI, trust, and the war room: Evidence from a conjoint experiment in the US military. Cambridge Forum on AI: Law and Governance, 1, e52, 1–24. https://doi.org/10.1017/cfl.2025.10019 . [viewed 2026-04-04]
13.MATTHIAS, A. (2004) The Responsibility Gap: Ascribing Responsibility for the Actions of Learning Automata. Ethics and Information Technology, 6(3), 175–183. https://doi.org/10.1007/s10676-004-3422-1 . [viewed 2026-04-04]
14.BOULANIN, V., Peldán Carlsson, M. and Goussac, N. (2020) Limits on Autonomy in Weapon Systems: Identifying Practical Elements of Human Control. Stockholm: SIPRI/ICRC. https://www.sipri.org/publications/2020/policy-reports/limits-autonomy-weapon-systems-identifying-practical-elements-human-control . [viewed 2026-04-04]
15.BOULANIN, V., Goussac, N. and Bruun, L. (2021) Autonomous Weapon Systems and International Humanitarian Law: Identifying Limits and the Required Type and Degree of Human–Machine Interaction. Stockholm: SIPRI. https://www.sipri.org/publications/2021/policy-reports/autonomous-weapon-systems-and-international-humanitarian-law-identifying-limits-and-required-type . [viewed 2026-04-04]
16.BO, M., Bruun, L. and Boulanin, V. (2022) Retaining Human Responsibility in the Development and Use of Autonomous Weapon Systems: On Accountability for Violations of International Humanitarian Law Involving AWS. Stockholm: SIPRI. https://doi.org/10.55163/AHBC1664 . [viewed 2026-04-04]
17.BRUUN, L., Bo, M. and Goussac, N. (2023) Compliance with International Humanitarian Law in the Development and Use of Autonomous Weapon Systems: What Does IHL Permit, Prohibit and Require? Stockholm: SIPRI. https://doi.org/10.55163/DFXR3984 . [viewed 2026-04-04]
18.International Committee of the Red Cross (2026) Autonomous Weapon Systems and International Humanitarian Law. Geneva: ICRC. https://www.icrc.org/sites/default/files/2026-03/4896_002_Autonomous_Weapons_Systems_-IHL-ICRC.pdf . [viewed 2026-04-04]
19.Convention on Certain Conventional Weapons (2019) Report of the 2019 Session of the Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons Systems. Official UN document. https://docs-library.unoda.org/Convention_on_Certain_Conventional_Weapons-Group_of_Governmental_Experts_(2019)/CCW_GGE.1_2019_3-EN.pdf, https://documents.unoda.org/wp-content/uploads/2020/09/CCW_GGE.1_2019_3_E.pdf . [viewed 2026-04-04]
20.PUSCAS, I. et al. (2022) Human–Machine Interfaces in Autonomous Weapon Systems. Geneva: UNIDIR. https://unidir.org/wp-content/uploads/2023/05/UNIDIR_Human-Machine-Interfaces.pdf . [viewed 2026-04-04]
21.BODE, I. and Watts, T. F. A. (2023) Loitering munitions: flagging an urgent need for legally binding rules for autonomy in weapon systems. Humanitarian Law & Policy Blog (ICRC). https://blogs.icrc.org/law-and-policy/2023/06/29/loitering-munitions-legally-binding-rules-autonomy-weapon-systems/ . [viewed 2026-04-04]
22.United Nations Security Council (2021) Final report of the Panel of Experts on Libya established pursuant to resolution 1973 (2011), S/2021/229. https://docs.un.org/en/S/2021/229 . [viewed 2026-04-05]
23.NATO (2021) Summary of the NATO Artificial Intelligence Strategy. https://www.nato.int/en/about-us/official-texts-and-resources/official-texts/2021/10/22/summary-of-the-nato-artificial-intelligence-strategy.[viewed 2026-04-05]
24.NATO (2024) Summary of NATO’s revised Artificial Intelligence Strategy. https://www.nato.int/en/about-us/official-texts-and-resources/official-texts/2024/07/10/summary-of-natos-revised-artificial-intelligence-ai-strategy . [viewed 2026-04-05]
25.United Nations General Assembly (2024) A/RES/79/62: Lethal autonomous weapons systems. https://docs.un.org/en/A/RES/79/62 . [viewed 2026-04-05]
26.BOULANIN, V. and Verbruggen, M. (2017) Mapping the Development of Autonomy in Weapon Systems. Stockholm: SIPRI. https://www.sipri.org/publications/2017/policy-reports/mapping-development-autonomy-weapon-systems . [viewed 2026-04-05]
27.MCFARLAND, T. (2022) Reconciling trust and control in the military use of artificial intelligence. International Journal of Law and Information Technology, 30(4), 472–483. https://doi.org/10.1093/ijlit/eaad008 . [viewed 2026-04-05]
28.GREEN, B. (2022) The Flaws of Policies Requiring Human Oversight of Government Algorithms. Computer Law & Security Review, 45, 105681. https://doi.org/10.1016/j.clsr.2022.105681 . [viewed 2026-04-06]
29.FERL, A. K. (2024) Imagining Meaningful Human Control: Autonomous Weapons and the (De-)Legitimisation of Future Warfare. European Journal of International Relations. https://doi.org/10.1080/13600826.2023.2233004 [viewed 2026-04-07]
30.WINTER, E. (2022) The Compatibility of Autonomous Weapons with the Principles of Distinction, Proportionality and Precaution in Attack. Journal of Conflict and Security Law, 27(1). https://academic.oup.com/jcsl/article/27/1/1/6513626 [viewed 2026-04-08]
Курсант-младши сержант Дончо Боянов Иванов
Национален военен университет ,, Васил Левски‘‘
donchoivanov04@gmail.com
Анотация
Резюмето е в началото на доклада.
Ключови думи
Сигурност, отбрана, човешки фактор, автономни оръжия.