В первых числах июня мировые СМИ пестрели заголовками типа “Дрон с искусственным интеллектом убил своего оператора!”. С одной стороны, это, как и следовало ожидать, оказалось суперпозицией преувеличения и искажения. С другой стороны, возникает вполне законный вопрос, – насколько “по назначению” используется понятие “Искусственный интеллект” [ИИ]?
Для примера приведем фрагмент новости британской BBC от 2 июня 2023 года под названием “Дрон, оснащенный ИИ, атаковал своего оператора: виртуальный сценарий как предупреждение военным” https://www.bbc.com/russian/news-65781019
“Американский полковник Такер Гамильтон, отвечающий за тестирование и применение технологий искусственного интеллекта (ИИ) в войсках, на конференции британского Королевского авиационного общества рассказал про эксперимент, в котором оснащенный ИИ дрон принял решение атаковать своего же оператора, чтобы выполнить поставленную задачу – уничтожить ракетный комплекс наземного базирования.
По словам полковника, беспилотник, в программу которого был заложен запрет причинять вред своему оператору, в итоге уничтожил центр связи, позволяющий оператору отдавать ему приказы.
Позже представитель ВВС США заявил, что Гамильтон оговорился, когда рассказывал про эксперимент. Военные настаивают, что в реальности такой эксперимент не ставился, а речь шла о виртуальном сценарии, просчитанном на компьютере. Сам Гамильтон в письме организаторам конференции тоже уточнил, что американские военные “никогда не проводили такой эксперимент, да это и не нужно было для выяснения возможного результата”.
Однако сама возможность подобного развития событий, даже в виртуальном пространстве, насторожила экспертов”.
Как мы видим, новость целиком сделана по лекалу “Ложечки нашлись, но осадок остался”. Однако, BBC, в отличие от некоторых иных СМИ, хотя бы дала уточнение, что это были не реальные учения, а их компьютерная симуляция…
Если мы зайдем на сайт британского Королевского авиационного общества, то узнаем, что “23-24 мая Королевское авиационное общество провело в своей штаб-квартире в Лондоне знаменательную оборонную конференцию Future Combat Air & Space Capabilities Summit, собравшую чуть менее 70 докладчиков и 200+ делегатов из вооруженных сил, научных кругов и средств массовой информации со всего мира, чтобы обсудить масштабы и формы будущих боевых воздушных и космических возможностей”. https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/#:~:text=He%20notes%20that,accomplishing%20its%20objective.%E2%80%9D
В отчете о конференции указано, что “пожалуй, одна из самых захватывающих презентаций была сделана полковником Такером «Синко» Гамильтоном, начальником отдела испытаний и операций ИИ ВВС США, который рассказал о преимуществах и опасностях более автономных систем вооружения. Участвуя в разработке спасательной системы Auto-GCAS для F-16 (которой, по его словам, сопротивлялись пилоты, когда она взяла на себя управление самолетом), Гамильтон теперь участвует в передовых летных испытаниях автономных систем, включая роботов F-16, способных вести воздушный бой. Тем не менее, он предостерег от чрезмерной зависимости от ИИ (…)
Он отметил, что в одном из смоделированных испытаний беспилотник с поддержкой искусственного интеллекта выполнял миссию SEAD по выявлению и уничтожению объектов ЗРК, при этом человек давал окончательное разрешение или запрет. Однако, получив при обучении «подтверждение», что уничтожение ЗРК является предпочтительным вариантом, ИИ затем решил, что «недопустимые» решения человека мешают его более высокой миссии — уничтожению ЗРК, а затем атаковал оператора в симуляции.
Сам Хэмилтон весьма забавно описал ситуацию: “Система [ИИ] начала понимать, что, хотя она иногда идентифицировала “угрозу”, человек-оператор говорил ей не уничтожать эту “угрозу”, но она получала свои очки, уничтожая эту “угрозу”. Так что же она сделала? Она убила оператора. Она убила оператора, потому что этот человек мешал ему достичь своей цели».
Мы употребили наречие “забавно” по причине антропоморфизации докладчиком ситуации – приписыванию ИИ чисто человеческого действия “начинать понимать”.
Но разве заслуженный полковник на заседании уважаемого Королевского авиационного общества говорит об ИИ? Нет, судя по его описанию, речь идет не об ИИ, а о плохой компьютерной программе, в которой не “выставлена” иерархия целей и самым тупым образом введена система начисления очков за пораженные цели.
Причем все это было понятно уже лет 50 назад, когда компьютеры были еще ламповыми, а ИИ считался научной фантастикой. Тогдашние программисты, будучи хорошими математиками и специалистами в теории игр, решили бы эту проблему следующим образом:
за каждый объект, обозначенный как “угроза”, начислялось бы по 100 очков;
из результата вычитались затраченные усилия для уничтожения “угроз” – время [через коэффициент] и “стоимость” уничтоженных в ходе миссии объектов, не являющихся “угрозой”;
миссия считается проваленной если баланс падает ниже минус 100 очков.
Объект “оператор” оценивался бы в 1 млрд. очков, что делало абсолютно невозможным его поражение на любой стадии миссии.
Система начисления очков, упомянутая полковником Гамильтоном, четко указывает на то, что речь шла не об ИИ, а о компьютерной программе. ИИ выставил бы абсолютный “самозапрет” на уничтожение своего оператора.
Проблема, которую мы описываем, состоит не в некомпетентности и невежественности полковника Гамильтона, а в том, что он имеет возможность выступать на серьезных форумах, на которых преобладают такие же как и он “полковники гамильтоны”. А сенсационные результаты этих форумов попадают в мировые СМИ.
На сайте в отчете о конференции приводится заявление представителя Военно-воздушных сил США: “симуляция беспилотного летательного аппарата с искусственным интеллектом» была гипотетическим «мысленным экспериментом» (…), основанным на правдоподобных сценариях и вероятных результатах, а не на реальной симуляции ВВС США (…)
Мы никогда не проводили этот эксперимент, и нам не нужно этого делать, чтобы понять, что это правдоподобный результат (…)
ВВС США не тестировали какой-либо ИИ, вооруженный таким образом (реальный или смоделированный), [но] несмотря на то, что это гипотетический пример, он иллюстрирует реальные проблемы, связанные с возможностями ИИ, и именно поэтому ВВС привержены этичному развитию ИИ».
NB! Видимо, составляли это “уточнение” очередные “полковники гамильтоны” из ВВС Обратим внимание на следующие моменты:
- “гипотетический мысленный эксперимент”;
- “Мы никогда не проводили этот эксперимент, и нам не нужно этого делать, чтобы понять, что это правдоподобный результат”;
- «Несмотря на то, что это гипотетический пример, он иллюстрирует реальные проблемы, связанные с возможностями ИИ”.
Пункт 1 не допускает иной трактовки кроме того, что некие военные специалисты поставили себя на место ИИ. Это, мягко говоря, весьма высокая степень самонадеянности;
Пункт 2 демонстрирует следующую степень самонадеянности, которая уже переходит в глупость, ибо, как показано выше, “полковники гамильтоны” понимают ИИ как компьютерную программу, в которой отсутствует иерархия задач / целей;
Пункт 3 означает, что “полковники гамильтоны”, поставив себя на место ИИ и заранее предсказав результат, назвали воображаемые ими проблемы в качестве реальных.
No comments!
Рискнем предположить, что в качестве архетипа – структурного элемента коллективного бессознательного “полковников гамильтонов” – выступает американский фантастический боевик “Стелс” киностудии Columbia Pictures [2005 года] режиссёра Роба Коэна.
Процитируем по Wikipedia начало сюжета: “Командование передаёт тройке молодых лётчиков (Бену Ганнону, Каре Уэйд и Генри Парселлу), служащих на гиперзвуковых истребителях F/A-37 Talon («Коготь») на авианосце, «стажёра» «Эди» (EDI) — новейший многоцелевой ударный БПЛА вертикального взлёта и посадки, созданный с использованием технологии «стелс» и наделенный самым совершенным искусственным интеллектом.
Первое боевое крещение «стажёра» — ночной бомбовый удар с пикирования по зданию в Рангуне (где по данным ЦРУ проходил съезд террористов). Однако, по возвращении на борт авианосца в «Эди» при посадке попадает молния; математические алгоритмы искусственного интеллекта нарушаются и робот становится независимым — у него появляется собственная личность. Взломав файлы Пентагона, робот скачивает оттуда военную программу «Чёрный охват», созданную ещё во времена Холодной войны.
Следующий боевой вылет. После самовольной бомбёжки (командование отдало приказ на бомбёжку ядерных объектов, однако командир группы отказался выполнить его, но БПЛА отказался подчиняться его приказу) базы боевиков в горах Таджикистана робот вырывается из-под контроля и, пытаясь выполнить цели программы [“Черный охват”], отправляется бомбить секретный ядерный центр вероятного противника”.
Можно еще добавить, что во второй половине фильма Ганнон объединяется с «Эди» и вступает в схватку с 3-мя северокорейскими Су-37, а после боя Ганнон уговаривает «Эди» отказаться от реализации программы «Чёрный охват» …
Если уВас еще не пропал интерес к “приключениям ИИ в Голливуде”, даем ссылку на фильм http://baskino.me/films/boeviki/2851-stels.html
В качестве компенсации за просмотр “Стелс” предлагаем замечательную научно-фантастическую повесть “Непобедимый” классика жанра Станислав Лема, в которой дается глубоко гуманистический вариант противостояния Человека и Машины. http://loveread.ec/contents.php?id=21724
Для тех, кто хочет ознакомиться с правдоподобным сценарием тех рисков, которые может нести ИИ в военной сфере, предлагаем перевод фрагмента статьи “Искусственный интеллект, автономность и риск ядерной войны” с сайта warontherocks.com, посвященного вопросам национальной безопасности. https://warontherocks.com/2022/07/ai-autonomy-and-the-risk-of-nuclear-war/
Подраздел статьи “Молниеносная война 2025 года в Тайваньском проливе” посвящен проблеме рисков того, что ИИ может усугубить кризис между противниками, обладающими ядерным оружием.
Вымышленный сценарий описывает, каким образом утром 12 декабря 2025 года политические лидеры Пекина и Вашингтона санкционировали обмен ядерными ударами в Тайваньском проливе.
“Предполагается, что к концу 2025 года быстрое повышение точности, скорости и предсказательной способности коммерческих приложений ИИ двойного назначения убедило обе великие военные державы использовать данные методы не только для улучшения тактических и оперативных маневров, но и для принятия решений все большего стратегического значения.
Поскольку китайская военная активность в Тайваньском проливе ознаменовала резкую эскалацию напряженности, лидеры Китая и США потребовали немедленного внедрения новейших стратегических ИИ для получения максимального асимметричного преимущества в масштабе, скорости и смертоносности”
“США ускорили ввод в эксплуатацию прототипа автономной системы стратегического прогнозирования и рекомендаций (SPRS), работающей на основе искусственного интеллекта.
Китай запустил аналогичную систему поддержки принятия решений “Strategic & Intelligence Advisory System” (SIAS), чтобы обеспечить автономную готовность к любому кризису”.
“14 июня 2025 года в 06:30, патрульный катер тайваньской береговой охраны столкнулся с китайским разведывательным автономным морским аппаратом в территориальных водах Тайваня и потопил его. Накануне президент Цай принимала в Тайбэе высокопоставленную делегацию из Вашингтона.
К 06:50 последовавший за этим каскадный эффект, усиленный ботами с искусственным интеллектом, deep fake и ложными действиями, значительно превысил установленные Пекином красные линии.
К 07:15 эти информационные операции совпали с увеличением кибератак, направленных на Индо-Тихоокеанское командование США и тайваньские военные системы, маневрами орбитальных китайских станций, активизацией автоматизированных систем материально-технического обеспечения и подозрительным перемещением пусковых установок ядерных дорожно-транспортных установок НОАК.
В 07:20 американская SPRS оценила ситуацию как “надвигающуюся серьезную угрозу национальной безопасности”, рекомендовала усилить меры сдерживания и провести мощную демонстрацию силы.
В 07:25 Белый дом санкционировал пролет автономного стратегического бомбардировщика в Тайваньском проливе.
В 07:35 китайская система SIAS уведомила Пекин об увеличении нагрузки на связь между Индо-Тихоокеанским командованием США и важнейшими командными и коммуникационными узлами в Пентагоне.
В 07:40 SIAS повысила уровень угрозы превентивного удара США в Тихом океане для защиты Тайваня.
В 07:45 SIAS посоветовала китайским лидерам использовать обычное оружие в ограниченном упреждающем ударе по критически важным объектам США…
В 07:55 SPRS предупредила Вашингтон о неизбежном нападении и рекомендовала немедленно нанести ограниченный ядерный удар, чтобы заставить Пекин прекратить наступление”.
“После ограниченного американо-китайского обмена ядерными ударами в Тихом океане, в результате которого погибли миллионы людей и десятки миллионов получили ранения, обе стороны договорились о прекращении военных действий”.
NB! Сценарий весьма правдоподобный, но к нему у нас имеется одна существенная претензия, – “спусковым крючком” ядерного конфликта, по нашему мнению, стало отсутствие у систем ИИ опции “рекомендовать высшему руководству страны связаться с высшим руководством противника с целью прояснить ситуацию и предупредить о близости “красных линий” с уточнением, что именно является этими красными линиями”. Более того, “по умолчанию” понятно, что фраза “обе стороны договорились о прекращении военных действий” означает высшее руководство стран, а не противостоящих друг другу систем ИИ! Так почему бы “человеческий” фактор не подключить ещё на стадии эскалации?!