Этика автопилота, или Лицензия на убийство
Если вы в детстве увлекались научной фантастикой, то наверняка припомните повесть Александра Казанцева «Внуки Марса». Ту, в которой при посадке на Венеру планером управлял американский робот. Люди не справлялись с пилотированием в сверхсложных условиях, а напичканный электроникой робот в итоге справился. Тупо оценил варианты развития событий и выбрал оптимальный. Так ему велела программа.
«Робот докладывал железным голосом:
— В воздухе можно пробыть пятьдесят семь секунд. Возможна посадка: на воду, на деревья, на болото. Шансы на гибель: сто процентов, восемьдесят шесть процентов, шестьдесят два процента. Выбрано болото.
Гарри не успел ничего сообразить. Внизу мелькнули исполинские веера листьев, острые скалы, кочки, лужи… Одно крыло задело за камень и отлетело. Фюзеляж покоробился и встал почти вертикально. Аппарат зарылся носом в тень и стал медленно погружаться».
Кадр из фильма «Скорость». Это тот, где нехороший Деннис Хоппер выступает против хороших Киану Ривза и Сандры Буллок. А еще там был несущийся по улицам автобус с пассажирами, который нельзя остановить, потому что он взорвется. Скорость, дай Бог памяти, не меньше 80 км/ч!
Ближе к концу повести выяснится, что робот — порядочная свинья, а его программа — нехорошая. Но к этому мы вернемся позже. А сейчас интереснее другое. Автомобили с автопилотами благополучно съехали с книжных страниц на дороги. В том числе кое-где и на дороги общего пользования. Они обвешаны всевозможными датчиками, радарами-лидарами и камерами. Они мгновенно реагируют на изменения дорожной ситуации. Они не нуждаются в отдыхе. В общем, все как в старых добрых книжках.
Точнее, почти все. Потому что одно дело, когда прикидываешь шансы на гибель при посадке вымышленного экипажа на Венеру, и совсем другое, когда число таких реальных экипажей на твоей собственной планете начнет измеряться миллионами. Технически для этого все, в общем-то, готово — дело за административным решением.
Я не хочу сейчас спорить, нужны такие автомобили или нет. Это совершенно отдельная тема для дискуссий. К тому же вопрос уже решен, и эти машины вскоре начнут заполонять наши улицы и шоссе. Меня интересует совсем другой вопрос. Назовем его этикой автопилота.
Кого приговорит робот?
Вид у киношного автопилота несерьезный, но мозги, надо полагать, на высшем уровне. Он отвечает за все.
Предположим, машину ведет эдакий хороший терминатор — надежный, всевидящий, с сумасшедшей по человечьим меркам реакцией. Но тут возникает нештатная ситуация: со встречки вылетела фура, перед носом на дорогу выскочила дура с коляской, ветер повалил на шоссе дерево — мало ли… Тормозить поздно и бесполезно: вероятность ДТП — 100%. А вариантов поведения — несколько, причем один хуже другого: врезаться в отбойник, разнести на молекулы автобусную остановку, влететь на полном ходу в мамашу с коляской... Что выберет робот?
Общие фразы известны: робот, не колеблясь ни секунды, мгновенно выберет то, что ему скажет программа. А программу-то пишет человек! Так что же он должен написать?
Глобального закона по этому поводу нигде, насколько мне известно, нет. При министерстве транспорта Германии создали некую группу по разработке этой самой этики автопилотов. Именно в этой группе решают, кого сбивать, а кого нет. На данный момент, вроде бы, решили, что дискриминации в свободном обществе быть не может, а потому возраст, пол и прочее робот учитывать не будет. Надо прикидывать только число потенциальных жертв.
Мне, честно говоря, жалко программистов. Ну что должен оценить робот, выбирая наименьшее из зол? Куда ему лучше вмазаться — в автобус или в вереницу байкеров? Автобус, вообще говоря, большой, а потому лучше поглотит энергию столкновения. Но в нем может оказаться много народу… Да и о собственных пассажирах надо подумать — зачем размышлять о поглощении энергии? С другой стороны, робот должен спасать всех людей вообще, а не кого-то конкретно.
Многие искренне считают, что при аварии лучше стукаться во что-то тяжелое — мол, энергия столкновения вся рассеется. Только вот что станет с пассажирами?
Тяжко получается. Если на программном уровне заранее выбрать в качестве жертв байкеров, то что скажут на это сами байкеры? А также производители байков? Кстати, можно оценивать наличие или отсутствие на байкере шлема, чтобы в случае чего сбивать того, который в шлеме — у него же больше шансов выжить. Но не получится ли так, что все начнут ездить без шлемов вообще?
Ситуаций множество. Должен ли робот-водитель принести в жертву своих пассажиров, спасая, скажем, пятерых детей в машине, вылетевшей со встречки? А пятерых демонстрантов на разделительной полосе с лозунгами типа «Долой Пупкина!»? И скольким мотоциклистам, извините за цинизм, эквивалентна одна автобусная остановка?
Чья жизнь дороже?
Когда-то прочитал, что в шахматах каждая фигура условно оценивается баллами. Если не ошибаюсь, король — 200, ферзь — 8, ладья — 4, пешки — по единичке. Но, опять-таки, шахматы — это игра. И не дай Бог, чтобы кому-то пришло в голову научить робота анализировать номера автомобилей, прикидывая эти самые баллы перед принятием решения! Ежу понятно, что тут же появится база данных для «неприкасаемых». Такие автомобили робот трогать не будет. А если в его программное обеспечение влезут хакеры-террористы? Нет, лучше об этом не думать.
Кадр из фильма «Скорость»
Помните фильм «Скорость»? Так вот, за время действия заминированный автобус перекалечил сумасшедшее число автомобилей, а под конец врезался в ни в чем не виноватый аэробус. А вспомнил я это к тому, что один мой бывший коллега в свое время задал циничный вопрос: «А зачем их было спасать-то? Если суммарные убытки прикинуть, то получается, что явно не стоило». Подивился я тогда такому мнению. Железа в том кино переколотили много, а вот людей сценарист пожалел. Но если бы ситуация была реальная, а автобусом управлял робот, то вполне вероятно, что он плюнул бы на своих пассажиров и честно нажал на тормоз. Аэробус — штука дорогая, и в нем тоже могли быть люди.
Нулевой закон робототехники
Творец фантастической робототехники — Айзек Азимов — в свое время сформулировал три закона, которым должен подчиняться любой робот. Они простые и понятные:
Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат первому закону.
Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит первому или второму законам.
Однако сегодня совершенно ясно, что программисту такие законы не помогут. Они не отвечают на исходный вопрос: что все-таки делать роботу, если жертвы неизбежны. Айзек Азимов понял это давно, а потому вдогонку сформулировал Нулевой закон робототехники. Он звучит примерно так: «Робот не может причинить вреда человеку, если только он не докажет, что в конечном итоге это будет полезно для всего человечества».
Чувствуете разницу? Суть в том, что робот все-таки имеет право уничтожить хомо сапиенса, если решит, что принесет этим пользу другим хомо сапиенсам. Это, кстати, обыграно в фильме «Я, робот» (2004). Фильм получился серенький, но мысль там сидит крепкая. Дескать, в ряде случаев люди наносят вред и себе, и другим, и культуре в целом, а потому ими лучше постоянно манипулировать, не спеша выполнять их указания.
В фильме «Я, робот» система имела возможность нарушить права и свободу любого человека. Ибо люди по своей сути слишком тупые, чтобы давать им волю.
Кстати, упомянутый выше американский робот из повести Казанцева, которому на Венере приказали спасти двух людей, в критической ситуации «освободился от груза». Его создатели явно не слышали про три закона робототехники…
Все решает человек
Роботы-автомобили уже наездили по городским улицам более миллиона километров. В ДТП они попадают довольно редко, но все же попадают. Однако на сегодня речь идет только о несовершенстве техники: мол, камера чего-то там не разглядела. Решать этические проблемы роботам пока что не приходилось.
Камеры недопоняли, что это там такое длинное…
Характерно, что Tesla Motors уже заявила, что ее автопилоты не освобождают от ответственности водителя, который всегда должен быть начеку. При таком подходе решение проблемы с этикой можно отложить на несколько лет, а любые ДТП будут разбираться задним числом в привычном порядке. То есть отвечать за последствия будет все-таки человек.
Это, конечно же, оттяжка, вызванная отчасти тем, что ни одна фирма пока не нашла решения этической проблемы. А потому, скорее всего, на первых порах все автопилоты в нештатной ситуации будут просто резко тормозить, не выбирая между пенсионерками, колясками и Лексусами.
А разработчикам, которым приходится решать проблемы «оптимизации столкновений», можно только пожелать удачи.
Фото: компании-производители и из архивов автора
источник
«Робот докладывал железным голосом:
— В воздухе можно пробыть пятьдесят семь секунд. Возможна посадка: на воду, на деревья, на болото. Шансы на гибель: сто процентов, восемьдесят шесть процентов, шестьдесят два процента. Выбрано болото.
Гарри не успел ничего сообразить. Внизу мелькнули исполинские веера листьев, острые скалы, кочки, лужи… Одно крыло задело за камень и отлетело. Фюзеляж покоробился и встал почти вертикально. Аппарат зарылся носом в тень и стал медленно погружаться».
Кадр из фильма «Скорость». Это тот, где нехороший Деннис Хоппер выступает против хороших Киану Ривза и Сандры Буллок. А еще там был несущийся по улицам автобус с пассажирами, который нельзя остановить, потому что он взорвется. Скорость, дай Бог памяти, не меньше 80 км/ч!
Ближе к концу повести выяснится, что робот — порядочная свинья, а его программа — нехорошая. Но к этому мы вернемся позже. А сейчас интереснее другое. Автомобили с автопилотами благополучно съехали с книжных страниц на дороги. В том числе кое-где и на дороги общего пользования. Они обвешаны всевозможными датчиками, радарами-лидарами и камерами. Они мгновенно реагируют на изменения дорожной ситуации. Они не нуждаются в отдыхе. В общем, все как в старых добрых книжках.
Точнее, почти все. Потому что одно дело, когда прикидываешь шансы на гибель при посадке вымышленного экипажа на Венеру, и совсем другое, когда число таких реальных экипажей на твоей собственной планете начнет измеряться миллионами. Технически для этого все, в общем-то, готово — дело за административным решением.
Я не хочу сейчас спорить, нужны такие автомобили или нет. Это совершенно отдельная тема для дискуссий. К тому же вопрос уже решен, и эти машины вскоре начнут заполонять наши улицы и шоссе. Меня интересует совсем другой вопрос. Назовем его этикой автопилота.
Кого приговорит робот?
Вид у киношного автопилота несерьезный, но мозги, надо полагать, на высшем уровне. Он отвечает за все.
Предположим, машину ведет эдакий хороший терминатор — надежный, всевидящий, с сумасшедшей по человечьим меркам реакцией. Но тут возникает нештатная ситуация: со встречки вылетела фура, перед носом на дорогу выскочила дура с коляской, ветер повалил на шоссе дерево — мало ли… Тормозить поздно и бесполезно: вероятность ДТП — 100%. А вариантов поведения — несколько, причем один хуже другого: врезаться в отбойник, разнести на молекулы автобусную остановку, влететь на полном ходу в мамашу с коляской... Что выберет робот?
Общие фразы известны: робот, не колеблясь ни секунды, мгновенно выберет то, что ему скажет программа. А программу-то пишет человек! Так что же он должен написать?
Глобального закона по этому поводу нигде, насколько мне известно, нет. При министерстве транспорта Германии создали некую группу по разработке этой самой этики автопилотов. Именно в этой группе решают, кого сбивать, а кого нет. На данный момент, вроде бы, решили, что дискриминации в свободном обществе быть не может, а потому возраст, пол и прочее робот учитывать не будет. Надо прикидывать только число потенциальных жертв.
Мне, честно говоря, жалко программистов. Ну что должен оценить робот, выбирая наименьшее из зол? Куда ему лучше вмазаться — в автобус или в вереницу байкеров? Автобус, вообще говоря, большой, а потому лучше поглотит энергию столкновения. Но в нем может оказаться много народу… Да и о собственных пассажирах надо подумать — зачем размышлять о поглощении энергии? С другой стороны, робот должен спасать всех людей вообще, а не кого-то конкретно.
Многие искренне считают, что при аварии лучше стукаться во что-то тяжелое — мол, энергия столкновения вся рассеется. Только вот что станет с пассажирами?
Тяжко получается. Если на программном уровне заранее выбрать в качестве жертв байкеров, то что скажут на это сами байкеры? А также производители байков? Кстати, можно оценивать наличие или отсутствие на байкере шлема, чтобы в случае чего сбивать того, который в шлеме — у него же больше шансов выжить. Но не получится ли так, что все начнут ездить без шлемов вообще?
Ситуаций множество. Должен ли робот-водитель принести в жертву своих пассажиров, спасая, скажем, пятерых детей в машине, вылетевшей со встречки? А пятерых демонстрантов на разделительной полосе с лозунгами типа «Долой Пупкина!»? И скольким мотоциклистам, извините за цинизм, эквивалентна одна автобусная остановка?
Чья жизнь дороже?
Когда-то прочитал, что в шахматах каждая фигура условно оценивается баллами. Если не ошибаюсь, король — 200, ферзь — 8, ладья — 4, пешки — по единичке. Но, опять-таки, шахматы — это игра. И не дай Бог, чтобы кому-то пришло в голову научить робота анализировать номера автомобилей, прикидывая эти самые баллы перед принятием решения! Ежу понятно, что тут же появится база данных для «неприкасаемых». Такие автомобили робот трогать не будет. А если в его программное обеспечение влезут хакеры-террористы? Нет, лучше об этом не думать.
Кадр из фильма «Скорость»
Помните фильм «Скорость»? Так вот, за время действия заминированный автобус перекалечил сумасшедшее число автомобилей, а под конец врезался в ни в чем не виноватый аэробус. А вспомнил я это к тому, что один мой бывший коллега в свое время задал циничный вопрос: «А зачем их было спасать-то? Если суммарные убытки прикинуть, то получается, что явно не стоило». Подивился я тогда такому мнению. Железа в том кино переколотили много, а вот людей сценарист пожалел. Но если бы ситуация была реальная, а автобусом управлял робот, то вполне вероятно, что он плюнул бы на своих пассажиров и честно нажал на тормоз. Аэробус — штука дорогая, и в нем тоже могли быть люди.
Нулевой закон робототехники
Творец фантастической робототехники — Айзек Азимов — в свое время сформулировал три закона, которым должен подчиняться любой робот. Они простые и понятные:
Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат первому закону.
Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит первому или второму законам.
Однако сегодня совершенно ясно, что программисту такие законы не помогут. Они не отвечают на исходный вопрос: что все-таки делать роботу, если жертвы неизбежны. Айзек Азимов понял это давно, а потому вдогонку сформулировал Нулевой закон робототехники. Он звучит примерно так: «Робот не может причинить вреда человеку, если только он не докажет, что в конечном итоге это будет полезно для всего человечества».
Чувствуете разницу? Суть в том, что робот все-таки имеет право уничтожить хомо сапиенса, если решит, что принесет этим пользу другим хомо сапиенсам. Это, кстати, обыграно в фильме «Я, робот» (2004). Фильм получился серенький, но мысль там сидит крепкая. Дескать, в ряде случаев люди наносят вред и себе, и другим, и культуре в целом, а потому ими лучше постоянно манипулировать, не спеша выполнять их указания.
В фильме «Я, робот» система имела возможность нарушить права и свободу любого человека. Ибо люди по своей сути слишком тупые, чтобы давать им волю.
Кстати, упомянутый выше американский робот из повести Казанцева, которому на Венере приказали спасти двух людей, в критической ситуации «освободился от груза». Его создатели явно не слышали про три закона робототехники…
Все решает человек
Роботы-автомобили уже наездили по городским улицам более миллиона километров. В ДТП они попадают довольно редко, но все же попадают. Однако на сегодня речь идет только о несовершенстве техники: мол, камера чего-то там не разглядела. Решать этические проблемы роботам пока что не приходилось.
Камеры недопоняли, что это там такое длинное…
Характерно, что Tesla Motors уже заявила, что ее автопилоты не освобождают от ответственности водителя, который всегда должен быть начеку. При таком подходе решение проблемы с этикой можно отложить на несколько лет, а любые ДТП будут разбираться задним числом в привычном порядке. То есть отвечать за последствия будет все-таки человек.
Это, конечно же, оттяжка, вызванная отчасти тем, что ни одна фирма пока не нашла решения этической проблемы. А потому, скорее всего, на первых порах все автопилоты в нештатной ситуации будут просто резко тормозить, не выбирая между пенсионерками, колясками и Лексусами.
А разработчикам, которым приходится решать проблемы «оптимизации столкновений», можно только пожелать удачи.
Фото: компании-производители и из архивов автора
источник