Текст уведомления здесь

«Люди очень не любят принимать решения в экстренной ситуации»

Профессор Михаил Губко — о том, что этика робота, принимающего решения, не может быть универсальной

Почему проблема вагонетки не самое страшное для автоматической системы, универсальна ли этика по всему миру и как отличить ошибку машины от человеческого фактора, рассказывает корреспонденту «Чердака» заместитель директора Института проблем управления РАН профессор РАН Михаил Губко.
Добавить в закладки
Комментарии

[Ch.]: Что такое автоматическая система управления? Меняет ли слово «автоматическая» наши представления об ответственности за принятие решений, и если меняет, то в какой степени?

[МГ]: Системы управления, созданием и внедрением которых занимается наш институт, — это алгоритмы принятия решений. Автоматизированная система управления (АСУ) — это система, которая, да, в той или иной степени снимает с человека груз принятия решений. Но при этом возникает ключевой вопрос, сильно мешающий внедрению таких систем в практику — кто же несет ответственность за решения, которые на себя берет АСУ? Если мы имеем дело с оператором на АЭС, который переключает те или иные тумблеры, глядя на те или иные загоревшиеся лампочки, ответ на этот вопрос понятен. Но если параметры системы анализирует алгоритм, то кто отвечает, если он принял неправильное решение? Разработчик? Программист? Оператор? Или директор станции, на которой это установлено? Аналогичные этико-юридические проблемы обсуждаются сейчас в связи с широким внедрением в жизнь роботов. Мы признаем робота объектом, субъектом, механизмом? Если этот робот нанесет кому-то вред, то кто отвечает — хозяин его, разработчик или как-то делится ответственность?

Ровно такая же проблема возникает в знаменитой задаче о вагонетке либо у Google, скажем, который внедряет беспилотные автомобили. Речь идет уже не об ошибке, но все еще — об ответственности. Когда автомобиль несется с большой скоростью и на пешеходный переход выбегает старушка с коляской, надо сбивать их либо направлять свой автомобиль в столб так, что все пассажиры разобьются?

И проблема здесь состоит даже не в том, как просчитать вероятности. Проблема в том, что мы сами не до конца понимаем, в чем заключаются наша мораль и наша этика. Что лучше — чтоб один человек погиб или чтоб сто человек всю жизнь болели? А если тысяча? В повседневной жизни такой проблемы может и не возникнуть, но, чтобы автоматизировать это, объяснить компьютеру, пытаешься четко понять, как это работает, и натыкаешься на то, что эти ответы не очень-то и сформулированы. А если человек в результате действий автоматики не погибает, а получает ущерб здоровью? И тут тоже надо проводить градации: одно дело, если у них насморк, а другое — если всю жизнь придется ходить на одной ноге. Вопросы такого рода возникают сплошь и рядом, когда приходится распределять ресурсы на медицину. Ресурсы всегда ограничены, и, если мы направляем средства на поиск лечения редких сложных заболеваний, мы, допустим, снижаем уровень обеспеченности людей совершенно массовыми лекарствами. Это та же проблема, что возникает перед роботом-драйвером компании Google, когда он решает, кого сбивать.

[Ch.]: То есть дело за выработкой единых правил, чтобы компьютеры могли им следовать?

[МГ]: Дело в том, что это вряд ли возможно. Допустим, мы начинаем рассматривать понятия этики — например, понятие справедливости, которое тесно связано с вопросами финансирования медицины. Идея справедливости предполагает, что все равны. То есть если есть человек, который изначально очень несчастен, допустим, из-за врожденной болезни, то мы все должны очень сильно вложиться, чтоб подтянуть его уровень счастья до среднего по остальным членам общества, и на это не жалко никаких средств.

Идея это, однако, находится в противоречии с идеей эффективности. Экономическая эффективность оказывается сплошь и рядом противоречащей понятию справедливости: справедливое распределение благ и эффективное — это совершенно разные вещи. И здесь наша мораль пасует перед нашей рациональностью. Соотношение справедливости и рациональности — еще одна проблема, которая возникает в нашей практике в теории управления.

Кроме того, мораль не является абсолютной или единой. Она не является, конечно, совсем субъективной характеристикой человека: чтобы она существовала, нужно, чтоб ее разделяла некая группа людей, однако эта группа — не все человечество. В мире сейчас существует несколько хорошо разработанных этических систем, которые можно разбить на две большие группы: светская этика и религиозная этика. Движущей силой в светской этике являются взаимоотношения людей между собой. А религиозная мораль — хоть христианская, хоть мусульманская — касается не взаимодействия людей, а их взаимоотношений с богом. И именно эти отношения накладывают те или иные ограничения на взаимодействия людей между собой. В религиозной морали нужно думать прежде всего о своей душе, а не о том, как выстроить взаимоотношения между членами общества или кого там спасать — старушку или пассажиров. Люди, которые следуют религиозной морали, думают совсем по-другому, на их поведение накладывает сильный отпечаток фатализм и представление о вечной жизни.

[Ch.]: В чем это выражается?

[МГ]: Например, если среди таких людей провести опрос все о той же дилемме робота Google, то большую роль будет играть то, насколько правильно ведет себя человек на пешеходном переходе. Старушка перебегает на красный свет? Правильно ли делают дети, которые шалят на дороге? А в рамках светской морали, рожденной эпохой Просвещения, играют главенствующую роль идеи равенства, и братства, и гуманизма, поэтому будет работать арифметический подход. Сколько человек перебегает дорогу? Сколько человек в машине находится? Решение будет приниматься в пользу сохранения большего количества человеческих жизней, которые являются абсолютной ценностью.

[Ch.]: А какое место в этой системе занимает научная этика, не разрешает ли она противоречие?

[МГ]: Понятие «научная этика» очень похоже на понятие «религиозная этика». Как ни странно, ученые больше похожи в этом смысле на религиозных фанатиков, чем среднестатистический человек. Когда ученый выступает в специфичной роли исследователя, он говорит не о взаимоотношениях с собой и другими членами общества, а о взаимоотношениях между собой и истиной, вечностью, абсолютом. Люди это по-разному называют, но по сути это такая же выдуманная надсущность, как в конструкции «человек — бог». Ученому важнее верность истине, чем взаимоотношения между ним и другими членами общества. И здесь на арену выходят обвинения, например, в создании атомной бомбы. Чем более у ученого превалирует научная этика и верность истине, тем более аморальным он становится в общем случае с точки зрения что светской, что религиозной этики.

[Ch.]: В общем, роботам можно присвоить разные системы этики.

[МГ]: Да, «поведение» автоматической системы будет зависеть от того, от какой системы ценностей отталкивался ее создатель. Приведу забавный пример: в Израиле есть шабат — ничего нельзя делать в субботу. И робот не должен вас принуждать к тому, чтобы что-то сделать в субботу. Даже его вопрос: «Хозяин, я готов начать уборку. Нажми кнопку согласия!» — будет неправильным. То есть в Израиле при проектировании в данном случае будут учитываться моменты, которые нам и в голову не придут.

[Ch.]: Хорошо, предположим, что мы запрограммировали роботов в соответствии с нашими взглядами. Стоит им доверять больше, чем себе?

[МГ]: А это уже вопрос вкуса. Когда мы, допустим, проектируем АСУ для АЭС, нас останавливает для полной передачи им контроля опасение, что они могут ошибиться. Но при этом не учитывается, что оператор тоже ошибается! Получается, мы прячем голову в песок, перекладывая ответственность за ошибки на оператора. При том, что мы-то знаем, что существует в среднем гораздо более эффективная, чем человек, автоматическая система. Так что здесь решение — за человеком, который ставит подпись на документе о внедрении автоматической системы: это он говорит, что в данной области машина лучше человека, мы ей больше верим. Оператор будет не успевать нажать на кнопку, система сделает это за него, и это будет необратимое решение.

Во времена холодной войны была система, которая должна была сама принимать решение об ответном ударе. И все договоры о нераспространении ядерного оружия, о запрете ракет малой и средней дальности принимались советским руководством под воздействием опасности необоснованного срабатывания автоматических систем. Потому что был ряд неприятных инцидентов, когда срабатывали автоматические системы раннего обнаружения. Главе государства докладывали, что система сработала, ракеты летят к нам, нажимайте на кнопку. Информацию дала машина, а человек был нужен (и все еще нужен) для того, чтобы принимать важное решение — отдавать ли дальнейшее принятие решений машине или нет. Но от ответственности никуда не уйдешь, как бы ты ее ни перекладывал на АСУ. Люди принимают решения, а машины могут только имитировать этот процесс.

[Ch.]: А как эти представления реализуются в современных невоенных системах, допустим в энергетике?

[МГ]: Если говорить о нас, то наш институт подключили к проблематике управления атомной энергетикой как раз после аварии в Чернобыле. Было необходимо, во-первых, провести анализ причин этой аварии, а во-вторых, создавать системы нового поколения для АЭС с учетом этого отрицательного опыта и на основе системного подхода. Системный подход в данном случае — не забыть ни о какой опасности вообще. И в этом ИПУ проявил свои сильные стороны и стороны той науки, которую мы развиваем. Именно системный подход позволил разработать новые системы управления, которые работают на современных атомных станциях и позволяют предусмотреть все возможные варианты развития событий. И с тех пор, как эти системы внедрены, серьезных аварий у нас нет — ни у нас в стране, ни за рубежом, куда мы поставляем системы управления АЭС — в Индии и Иране.

Системы управления ГЭС, допустим, показали свою надежность. Все было предусмотрено, в том числе на Саяно-Шушенской ГЭС, автоматика и техника работали хорошо. Но там нарушались правила. Формально это была техническая авария, но проблемы были в организационном контуре. Система предупреждения все показывала, а проблема была в бюрократии и желании заработать побольше денег. Непосредственной причиной аварии стало разрушение турбины, но к нему привело систематическое нарушение правил эксплуатации — содержание турбины в неоптимальном режиме работы. А это было следствием ее конструктивных особенностей, и можно было бы избежать аварии, если учитывать эти ее особенности. Не надо было через запрещенный режим каждый день гонять эту турбину, а использовать ее в более щадящем режиме. На деле она очень часто проходила через запрещенную зону в попытках максимизировать прибыль. Режим этот не рекомендован к постоянному использованию, но, чтобы перевести турбину из одного устойчивого режима эксплуатации в другой, нужно было проходить через эту запрещенную зону. Один-два-три раза это можно делать, но когда турбина гоняется через запрещенную зону несколько раз в день, конечно, возникают усталостные явления. То есть эта авария — результат влияния человеческого фактора.

[Ch.]: А автоматические системы пытаются помешать людям совершать ошибки?

[МГ]: В общем, вся теория автоматизации — про это. Когда люди начали с научной точки зрения смотреть на эту область, они очень рано поняли, что в любом случае приходится собирать систему из ненадежных элементов. В первый раз это осознали при построении систем связи, и появились книги о том, как строить надежные системы из ненадежных элементов. Ввели понятие дублирования, дублирования дублирования, математические методы расчета надежности, вероятностные схемы. Вся эта математика была придумана в первой половине XX века — теория надежности. Сейчас она по-прежнему развивается, но отчасти уже стала инженерной практикой. Но тут речь идет о том, чтобы посчитать вероятность неблагоприятного события, а этические проблемы возникают не здесь. Они возникают на этапе, когда мы принимаем решение о том, достаточная ли достигнутая вероятность или нет, или нужно еще несколько уровней вложенности, чтоб вероятность ошибки понизить еще на порядок. Вот это уже чисто этическое решение.

[Ch.]: А теперь давайте вернемся к ситуации выбора из двух зол. Вот, скажем, перед нами серьезный выбор, кого затопить или отключить от электроэнергии при аварии на ГЭС. Как автоматизация может помочь в этом?

[МГ]: Как я уже сказал, это этический выбор, который в том или ином виде должны будут делать люди. А люди очень не любят принимать решения в такой ситуации, поэтому тратят уйму усилий, чтобы этого избежать. И сейчас речь идет не о перекладывании ответственности, а о реальных усилиях, направленных на то, чтоб этих ситуаций не произошло. Меры предпринимаются на этапе проектирования комплексных систем. Например, в больницах и других объектах, которые относят к первому классу опасности, предусмотрено наличие в них автономного источника электроснабжения. Это значит, что, если свет отключится, врачи все-таки смогут закончить операцию, переключившись на автономный источник. Кроме того, вводится регламентированная схема аварийного отключения, и там есть несколько стадий — несколько групп потребителей, которые последовательно отключаются, чтобы уменьшить нагрузку на электрическую сеть. В первую очередь отключают освещение улиц, потом транспорт, потом промышленные предприятия (за исключением критических производств), затем коммунальный сектор и наконец больницы, детские сады и пр. Но мы помним, что все важные объекты оборудованы автономными системами электроснабжения. Люди максимально стараются обложиться «подушками» так, чтобы не возникала необходимость принимать решение в экстренной ситуации.

[Ch.]: А если такая ситуация все же возникает?

[МГ]: То ничего не поделаешь. Значит, все предварительные меры оказались в этом случае неэффективными. Тогда решение принимает оператор в условиях огромного временного прессинга и обычно принимает его неоптимальным образом. А потом мучается всю жизнь угрызениями совести.

Но все-таки это редкость. Проблема — это нечто экстраординарное, необычное. Большую часть времени мы находимся далеко от границ этой области, в которой нам нужно принимать нетривиальные решения. В обыденной жизни все решения не требуют от нас таких волевых усилий как раз потому, что мы много предусмотрели и спроектировали заранее так, чтобы мы отдалялись от проблемных ситуаций.

Добавить в закладки
Комментарии
Вам понравилась публикация?
Расскажите, что вы думаете, и мы подберем подходящие материалы
Фрагмент Королевских ворот в Хаттусу, столицу Хеттской империиStylone / Фотодом / Shutterstock

Бронзовый коллапс, или Куда делись все эти люди

Чем был вызван кризис средиземноморских цивилизаций три тысячи лет назад

В конце второго тысячелетия до нашей эры в Греции и на Ближнем Востоке — в Месопотамии, в Древнем Египте, в Сирии, в Малой Азии — творились очень странные дела. Великие царства бронзового века одно за другим уходили в небытие, из ниоткуда появлялись новые народы, хроники повествовали о нашествиях, голоде и прочих бедствиях. Историки долго предпочитали винить во всем «народы моря», но теперь, благодаря археологическим данным, полученным в последние годы, у нас, кажется, есть основания иначе отвечать на вопрос, кто виноват в коллапсе «бронзовых» цивилизаций.
Добавить в закладки
Комментарии

Как рассказывает профессор Эрик Клайн из Университета Джорджа Вашингтона, директор Капитолийского археологического института, автор книги «1177 BC: The Year Civilization Collapsed», Средиземноморье позднего бронзового века представляло собой мир, очень похожий на современный, — глобализованное пространство с торговыми нитями, опутавшими всю ойкумену, то есть все страны, составлявшие на тот момент европейскую цивилизацию.

Торговые и культурные связи второго тысячелетия до нашей эры обеспечивали единый высокий технологический уровень городов Греции и Ближнего Востока во всем: в кораблестроении, в архитектуре, в обработке металлов. Чтобы показать протяженность и устойчивость торговых путей бронзового века, достаточно сказать, что олово для выплавки бронзовых изделий поступало, скорее всего, из Афганистана, а медь брали на Кипре.  Города были оснащены системами водоснабжения, инженерный уровень которых античным грекам тысячу лет спустя и не снился.

Все это откатилось назад со страшной скоростью в кратчайшие по меркам истории сроки, чтобы сбросить с древнего мира бронзовый век и позволить ему войти в новый век — железный, в ту историю, которую мы изучаем в школе.

За относительно короткое время — в древнеегипетских надписях зафиксирован промежуток от 1207 до 1177 года до нашей эры — весь прекрасный бронзовый мир растворяется. Торговые связи рушатся. Из известных нам царств бронзового века в более-менее нетронутом виде остается Египет, который теряет контроль над Сирией и Палестиной. Вавилон и Ассирия сохраняют разве что локальное значение. Исчезает микенская цивилизация. Разрушена Троя. [ ... ]

Читать полностью

Взяли в голову

Как паразиты управляют поведением своих хозяев

Паразитов часто обвиняют в пассивности. Дескать, они ничего не делают сами, а только все забирают у своих несчастных хозяев. Но это большое и неверное упрощение. На деле избравшему скользкую дорожку тотальной зависимости от другого приходится постоянно напрягаться, чтобы держать партнера под контролем. Управление жизнедеятельностью организма, как известно, осуществляет нервная система. Поэтому любой паразит стремится в первую очередь захватить власть над ней. Даже если у него самого нет ни малейшего намека на мозг.
Добавить в закладки
Комментарии

Паразитам, как и всем остальным живым организмам, в первую очередь требуется энергия. Она приходит в виде пищи. А ее источником для паразита, даже если он растение, по определению служат другие организмы. Истинный (на языке науки — облигатный) паразит не может отделиться от своего хозяина без потери жизнеспособности, а если уж делает это, то обычно в особо устойчивой форме для расселения, имеющей крайне заторможенный метаболизм и не нуждающейся в пище.

Короче говоря, единственный источник еды для паразита — его хозяин. По этой причине убивать его быстро крайне нежелательно: во-первых, это автоматически делает запас ресурсов конечным, а во-вторых, умерший и гниющий хозяин отравляет самого паразита. Зато имеет смысл делать так, чтобы хозяин наращивал массу, звал знакомых, дабы они тоже (ничего такого не подозревая) инфицировались, и размножался с условием, что потомки паразита заселятся в его детей.

Конечно, никому не понравится добровольно отдавать часть сил какому-то там нахлебнику. Поэтому тот, кто хочет  полностью жить за чужой счет (а у облигатных паразитов и нет другого выбора), должен «ступать осторожно и говорить шепотом». Откусывать от хозяина необходимо по чуть-чуть, да еще делать вид, будто он сам на это согласился. Можно даже давать ему что-нибудь полезное взамен — в таком случае источник пищи прослужит дольше и не надумает жаловаться. [ ... ]

Читать полностью
Дейтонимфы Dendrolaelaps quadrisetus на тачке короеда-типографаФото предоставлено пресс-службой ТюмГУ

Полезные паразиты в норе под корой

«Чердак» поговорил с ученым, который ищет клещей, что помогли бы сибирской тайге

Ученые из Тюмени завершили проект по исследованию клещей, которые могли бы помочь спасти пихтовые леса от вторжения жука-короеда с Дальнего Востока. Корреспондент «Чердака» поговорил с биологом Александром Хаустовым из международной комплексной научно-исследовательской лаборатории по изучению изменения климата института X-BIO (Институт экологической и сельскохозяйственной биологии) ТюмГУ об этом проекте, короедах-таксистах и бурной жизни в древесных ходах.
Добавить в закладки
Комментарии

Жуки-короеды — одни из главных вредителей лесов. Поэтому в Западной Сибири есть сейчас серьезная проблема с пихтами, связанная с глобальным потеплением и жуками-короедами. Изменение климата делает воздух слишком сухим для пихт, те слабеют и становятся уязвимыми для короеда, полиграфа уссурийского. Заметим в сторону, что проблем хватает не только у пихт, конечно, ведь существуют и другие вредные короеды, например короед-типограф, который питается в основном елками.

Для борьбы с вредителями используют не только химию, но и естественных врагов. Ученые из Тюменского государственного университета три года искали кого-то, кто мог бы сдерживать численность полиграфа. В результате им удалось найти клеща, который ест яйца и личинок короеда и способен серьезно навредить полиграфу.

Чем занят клещ

— А какие вообще бывают клещи? [ ... ]

Читать полностью