Государство, водитель или ИИ: кто виноват, если беспилотная машина собьет пешехода
Авария, произошедшая в США 18 марта 2018 года и приведшая к гибели человека, считается первым смертельным инцидентом с участием самоуправляемого автомобиля. В момент ДТП за рулем находился резервный водитель — Рафаэла Васкес, которая должна была отслеживать действия искусственного интеллекта. Однако что-то пошло не по плану, и машина сбила пешехода. Спустя пять лет Васкес признала вину в произошедшем. Но на чьей стороне суд? И кто должен брать ответственность за ошибки ИИ? Разбираемся.
Что произошло
Рафаэла Васкес работала оператором по безопасности в программе тестирования автономных автомобилей Uber в Аризоне. Иначе говоря, она контролировала правильность действий ИИ по ходу движения. Васкес находилась за рулем, когда ее машина наехала на Элейн Херцберг, которая толкала велосипед, переходя дорогу в неположенном месте.
Полиция утверждает, что в момент аварии Васкес смотрела в телефон, а не на дорогу. За 5,6 сек до столкновения машина обнаружила, что жертва пересекает улицу, но, несмотря на то, что система продолжала следить за ней вплоть до аварии, она так и не смогла правильно идентифицировать ее как человека и точно предсказать траекторию ее движения.
Сразу после аварии компания Uber временно приостановила испытания беспилотных машин и урегулировала судебный процесс с семьей Херцберг, сойдясь на денежной компенсации. Инцидент поднял важные вопросы о том, как безопасно тестировать новые технологии и кто должен нести ответственность, если что-то пойдет не так.
Кого судить?
В 2019 году прокуратура штата Аризона постановила, что Uber не будет предъявлять обвинения Васкес. В 2023-м ее приговорили к трем годам условно — она признала вину. Однако справедливо ли это? Не совсем.
Согласно документам, опубликованным Национальным советом по безопасности на транспорте (NTSB), на момент гибели женщины самоуправляемый автомобиль не имел официального плана обеспечения безопасности. Иными словами, машина не были запрограммирована реагировать на людей, переходящих дорогу в неположенном месте. Автомобиль решил, что ему необходимо затормозить за 1,3 секунды до столкновения с жертвой, однако ранее компания отключила установленную на заводе систему автоматического экстренного торможения. Все это, чтобы предотвратить неаккуратное вождение и избежать конфликта с программой.
В целом NTSB обнародовал более 400 страниц документов, в которых указывались упущения в области безопасности, плохие кадровые решения и технические просчеты. Среди них: «неадекватные процедуры оценки рисков», «неэффективный» контроль за работой резервных водителей, а также неспособность бороться с «самоуспокоенностью» водителей, которые должны в любой момент вмешаться и устранить проблемы.
Кроме того, на Uber оказывалось огромное давление: нужно было как можно скорее представить результаты новому генеральному директору. Дело в том, что он собирался закрыть некоторые подразделения из-за растущих расходов на исследования и разработки. Это заставило ускориться и закрыть глаза на проблемы в технике и плане безопасности. В документах NTSB также содержатся записи интервью с самой Рафаэлой Васкес, в которых она объясняет спешку: решение компании сократить число операторов безопасности в каждом автомобиле с двух до одного «совпало со сменой руководителей Uber», и это «было скорее политическим решением».
Получается, что, пусть Васкес и признала вину, цепочка событий, которая привела к инциденту, гораздо длиннее и запутаннее. Наравне с ней можно смело предъявлять обвинения Uber. Но и это еще не все.
Так кто же в этой ситуации прав?
Федеральное правительство также несет свою долю ответственности за неспособность регулировать работу автономных автомобилей. Члены совета NTSB обвинили его в том, что приоритет до сих пор отдается технологическому прогрессу, а не спасению человеческих жизней.
Рекомендации по безопасности в управлении ИИ-машинами были впервые разработаны при президенте Обаме. Но он опасался, что ограничения, регулирующие испытания беспилотных машин, затормозят инновации, поэтому постановления так и остались рекомендациями. При Трампе эти правила смягчились еще больше, и он пошел дальше, ликвидировав федеральный комитет по автоматизации транспортных средств. Обсуждения указаний, регулирующих самоуправляемые машины, застопорились.
На сегодняшний день не существует федеральных законов, требующих от операторов ИИ-систем доказывать безопасность своих автомобилей перед их испытаниями на дорогах. Нет и требований предоставлять данные об отключениях или сбоях в работе систем автоматизированного вождения. Роль государства остается реактивной: демонтировать деталь, если она неисправна, или инициировать расследование в случае аварии.
Подобная халатность как со стороны правительства, так и со стороны компаний не проходит мимо обычных граждан. Опросы показывают, что половина взрослого населения США считает автоматизированные автомобили более опасными, чем традиционные, управляемые людьми. Мнение укрепилось, и изменить его будет трудно, учитывая ущерб, который нанес Uber.
До смерти Херцберг многие компании, занимающиеся разработкой самоуправляемых машин, стремились как можно скорее вывести их на дороги. Однако теперь большинство операторов уверены: сроки сдвинулись и не в лучшую сторону.
Пусть общество осознает, что проблема гораздо глубже, чем кажется на первый взгляд, ответственность за возможные аварии беспилотников сейчас лежит по большей части на операторах, которые продолжают сопровождать их в пути. Но что будет, когда машины станут ездить самостоятельно, без надзирателей? Надеть наручники на ИИ нельзя. Кого же винить в случае аварии? Возможно, в будущем появятся законы, которые смогут ответить на этот вопрос.
