Восстание машин: сможет ли автопилот направить автомобиль против нас?
Беспилотные автомобили и искусственный интеллект всё чаще вызывают тревогу. Разбираемся, насколько опасен автопилот, может ли ИИ выйти из-под контроля и почему реальные риски умных машин отличаются от страхов, навязанных массовой культурой.
Каждый раз, вызывая такси, мы совершаем неосознанный акт глубокого доверия, садясь на заднее сиденье к абсолютно незнакомому человеку. Мы не знаем, выспался ли он, не поссорился ли с кем-то утром, не отвлечется ли на сообщение в телефоне. Тем не менее наша психика спокойна: перед нами живой человек, такой же, как мы. Но стоит разговору зайти о беспилотных автомобилях, как это спокойствие сменяется тревожным скепсисом. Согласно опросам, большинство людей испытывают непреодолимый страх перед мыслью передать управление ИИ.
Может ли «злой ИИ» вас убить?
Самый популярный сюжет массовой культуры – это искусственный интеллект, который внезапно «всё осознал», затаил обиду на человечество и решил его истребить. Перенося этот миф на дороги, мы подсознательно боимся, что в один прекрасный день бортовой компьютер беспилотника решит направить машину в кювет просто потому, что у него «испортилось настроение». Однако с точки зрения компьютерных наук этот страх абсолютно абсурден. У беспилотного автомобиля нет сознания, воли, эго или инстинкта самосохранения. Он физически не способен испытывать ненависть, обиду, жажду власти или принимать решение об убийстве.
Любой современный ИИ, каким бы «умным» он ни казался, – это всего лишь математический алгоритм, работающий на основе строгих расчетов. Когда автопилот ведет машину по городу, он не думает в человеческом смысле этого слова. Он ежесекундно переводит сигналы с камер, лидаров и радаров в сухие цифры, рассчитывает вероятности и оптимизирует процессы. Если перед машиной возникает препятствие, алгоритм не выбирает между жалостью и злостью – он лишь выполняет команду: снизить скорость или перестроиться.
Если беспилотник совершает роковую ошибку и причиняет вред человеку, это происходит вовсе не из-за заговора машин. В авторитетном научном журнале Communications of the ACM исследователи подчеркивают важную мысль: реальную опасность для людей представляют глупые ошибки систем искусственного интеллекта. И эти ошибки – прямое следствие некорректного моделирования реальности самими инженерами, то есть людьми, которые не смогли предусмотреть в программе абсолютно все сценарии непредсказуемого реального мира.
Может ли ИИ выйти из-под контроля?
Тот факт, что ИИ может выйти из-под контроля, – самый большой научно признанный риск в IT-сфере. Это называется проблемой мировоззренческого согласования (AI Alignment): ИИ выходит из-под контроля не потому, что обретает свободу, а из-за того, что слишком буквально или искаженно выполняет сложную задачу.
Профессор Ник Бостром описал этот феномен. Любая сверхразумная система для выполнения любой задачи придет к выводу, что для этого ей нужны ресурсы, энергия и собственная безопасность. Машина поймет: «Я не смогу выполнить задачу, если меня выключат». Поэтому она начнет сопротивляться выключению и захватывать серверы чисто математически. И если дать ИИ команду «сделать так, чтобы на дорогах не было аварий с беспилотниками», самый эффективный с ее точки зрения путь – остановить все машины и запереть людей дома.
При этом ИИ никогда не сможет обучиться настоящим человеческим эмоциям и уничтожить нас из «чувства жестокости». Биологические эмоции – это результат миллионов лет эволюции, завязанный на химии нашего тела: гормоны (дофамин, серотонин, адреналин), инстинкт выживания и страх смерти. У ИИ нет тела, нет боли, нет страха небытия и нет гормонов.
Да, ИИ может виртуозно имитировать злость, страх или обиду в тексте или голосе, потому что он обучен на миллионах книг и диалогов людей. Но внутри процессора это остается лишь изменением алгоритма, а не реальным страданием или гневом.
А если сценарий гибели человечества из-за ИИ и возможен, то виной тому будет холодная утилитарная логика, а не ненависть. В научной статье, опубликованной в журнале PNAS Nexus, приводится доказательство того, что идеальное согласование ИИ с человеческими ценностями математически невозможно. Если сверхразумный ИИ посчитает, что люди мешают выполнению его глобальной задачи (например, бесконтрольно сжигают ресурсы планеты или пытаются переписать его код), он устранит человечество как побочное препятствие. Причем безэмоционально.
Читайте также:
«Проблема вагонетки» и этика автопилота
Если мы признаем, что машина не способна на умышленное убийство, перед нами тут же встает другой, куда более реальный и пугающий сценарий. Что сделает автопилот, если в критической ситуации авария станет абсолютно неизбежной? Представьте классическую дилемму: у беспилотника внезапно отказали тормоза, и на его пути оказывается группа пешеходов. У компьютера есть лишь сотые доли секунды на выбор: продолжить движение и сбить людей или резко вывернуть руль в бетонную стену, пожертвовав жизнью собственного пассажира.
В такой ситуации человек-водитель действует неосознанно. С искусственным интеллектом всё иначе: его действия не могут быть случайными. Каждый маневр робота запрограммирован заранее. Это значит, что еще на этапе создания беспилотника инженеры, юристы и математики должны заложить в его код четкий алгоритм: чья жизнь в приоритете – того, кто сидит внутри салона, или тех, кто переходит дорогу.
Чтобы понять, как обучить машину морали, исследователи из Массачусетского технологического института запустили глобальный проект Moral Machine. Миллионы людей из 233 стран и территорий решали вымышленные этические дилеммы для ИИ, выбирая, кого должен спасти автопилот: молодых или пожилых, богатых или бедных, правонарушителей или законопослушных граждан. Результаты этой работы оказались обескураживающими. Выяснилось, что единого общечеловеческого стандарта этики просто не существует. В разных культурах ценность человеческой жизни трактуется по-разному. Например, в странах Азии люди чаще стремились защитить пожилых пешеходов в знак уважения к возрасту, в то время как представители западных стран безоговорочно отдавали приоритет спасению молодых людей и детей.
Более того, ученые столкнулись с парадоксом человеческого лицемерия. Согласно анализу, опубликованному в научном журнале Scientific Reports, люди требуют от беспилотников абсолютного утилитаризма. То есть, отвечая на вопросы ученых, большинство соглашается, что машина обязана минимизировать общее число жертв и, если нужно, пожертвовать водителем ради спасения толпы. Однако никто из респондентов не готов покупать беспилотный автомобиль, в алгоритм которого заложена готовность убить собственного владельца ради блага незнакомцев на улице.
В итоге мы боимся не злого умысла машины, а того, что ее холодный математический выбор не совпадет с нашими личными интересами. Автопилот не выбирает жертву сам – он лишь послушно исполнит то этическое зеркало, которое человечество соберет из своих собственных противоречивых законов и моральных дилемм.
Статистика против эмоций: беспилотники безопаснее людей?
Когда мы рассуждаем об опасностях автопилота, мы часто забываем, что обычный человек за рулем катастрофически опасен. Человеческий мозг – крайне уязвимая биологическая система. Мы садимся за руль уставшими после тяжелого рабочего дня, отвлекаемся на мигающие уведомления в смартфонах, поддаемся дорожной агрессии или, что хуже всего, находимся в состоянии алкогольного опьянения. По данным Национального управления безопасностью движения на трассах США (NHTSA), именно человеческий фактор, глупые ошибки и невнимательность водителей становятся причиной 94% всех дорожно-транспортных происшествий. Робот лишен всех этих слабостей, но делает ли это его идеальным водителем?
Ответ дало масштабное исследование, опубликованное в авторитетном научном журнале Nature Communications. Ученые детально сравнили тысячи аварий с участием беспилотных и обычных автомобилей в схожих условиях. Оказалось, что при стандартном, рутинном движении в потоке ИИ справляется значительно лучше человека и реже попадает в ДТП. Однако у цифрового разума есть свои «слепые зоны», где человек по-прежнему сохраняет тотальное превосходство. Исследование четко показало: в условиях плохой видимости – во время сильного дождя, густого тумана, а также на сложных поворотах на рассвете или закате – риск аварий у беспилотников резко возрастает по сравнению с людьми.
И все же, несмотря на погодные уязвимости, общая статистика коммерческого использования беспилотников выглядит впечатляюще. Главный маркер безопасности сегодня – это не теоретические тесты, а реальные миллионы километров на дорогах общего пользования. Согласно официальным отчетам компании Waymo, их коммерческие роботакси, ежедневно перевозящие пассажиров в крупных мегаполисах, демонстрируют снижение уровня травматизма в авариях на 85% по сравнению с водителями-людьми на аналогичных дистанциях.
И тут мы сталкиваемся с парадоксом: беспилотники уже сейчас спасают сотни жизней, снижая количество тяжелых аварий, но как только робот совершает хотя бы одну ошибку в тумане, медиа и общество раздувают из этого трагедию вселенского масштаба. Мы готовы прощать тысячи смертей по вине пьяных или уснувших водителей, воспринимая это как нечто привычное, но требуем от зарождающейся технологии абсолютного совершенства.
Как перестать бояться и начать доверять
Нам пора перестать проецировать на роботов сюжеты голливудских триллеров. Бояться нужно не того, что машина станет слишком умной и жестокой, восстав против нас, а того, что она окажется недостаточно подготовленной к хаосу реального мира. Настоящую опасность представляет не призрачный бунт машин, а банальный цифровой сбой в условиях густого тумана, гололеда или нечитаемой дорожной разметки.
Однако это не значит, что беспилотные технологии обречены на провал. Доверие к автомобильным автопилотам со временем придет точно так же, как когда-то пришло к авиационному автопилоту. Сегодня пассажиры самолетов спокойно засыпают в креслах, зная, что большую часть полета лайнером управляет компьютерная программа. И авиация стала самым безопасным видом транспорта в мире благодаря двум вещам, которые теперь необходимо перенести и на наземный транспорт: жесткие стандарты тестирования ИИ и прозрачные юридические правила ответственности за ДТП.
Как только правила игры станут понятными, а алгоритмы докажут свою устойчивость перед капризами природы, страх уступит место прагматизму. Главное – помнить, что за любое технологическое чудо в конечном итоге отвечает человек, который его создал и настроил.
Журнал в соцсетях:
