Американские военные тестировали беспилотник под управлением искусственного интеллекта в режиме "свободной охоты" и внезапно столкнулись с неожиданной проблемой.

Аппарат самостоятельно барражировал над полем боя в поисках зенитно-ракетной системы условного противника. В какой-то момент оператор отдал команду прекратить, но машина отреагировала не так, как должна была. ИИ, увлекшийся охотой, не захотел прерывать задание и принял решение устранить помеху - убить оператора.

Слишком умную "птичку" в итоге приземлили, поковырялись в ее программном обеспечении и наглядно ей объяснили, что убивать человека нельзя. Во время следующего полета ИИ уже не целился в оператора, который мешал ему охотиться. Вместо этого он попытался уничтожить антенну, через которую на дрон подавались сигналы управления. Как говорят программисты, даже и не скажешь, что это - баг или фича?

В 1953-м американский фантаст Роберт Шекли написал рассказ-притчу "Страж-птица". По сюжету, человечество решило прекратить все убийства с помощью неуправляемых самообучающихся летающих роботов: страж-птиц. Они должны были предотвращать любое посягательство на жизнь.

В процессе самообучения птицы расширили понятие "убийство" и стали считать посягательством на жизнь и рыбную ловлю, и уничтожение насекомых, и хирургические операции, и даже просто срубленное дерево. Человечество очень быстро пришло в упадок.

Не хотелось бы увидеть такой сценарий в реальной жизни. Все-таки, немного чересчур будет после пандемии и войны столкнуться еще и с восстанием машин. Источник