Хакер создал самообучающийся автопилот

[Alone Coder]

Один хакер на днях собрал самодельный автопилот для автомобиля:

Geohot объясняет, что его автопилот фундаментально отличается от присутствующих на рынке. Он не полагается на набор запрограммированных правил. Система представляет собой самообучаемую нейросеть, которая «наблюдает» за действиями водителя. В реальности, программное обеспечение занимает всего лишь около 2000 строк кода. Нейросеть уже отлично ездит по шоссе, перестраивается из полосы в полосу, тормозит и разгоняется по мере наобходимости, отлично вписывается в повороты и не требует участия водителя на протяжении многих и многих километров. Например, если автопилот видит велосипедиста, то освобождает ему немножечко полосы, потому что Geohot так делал в прошлом.

    То ли в шутку, то ли всерьёз Джордж говорит, что собирается несколько месяцев таксовать через Uber, чтобы дать системе достаточно информации.

    Проблема в том, что при таком обучении система переймёт и человеческие ошибки, но если работать с несколькими водителями, то ошибки специфических стилей вождения сведутся на нет.

Но как можно доверять человеческие жизни недетерминированному устройству (то есть работающему не по жёстким правилам, а по результатам самообучения)? Кто будет отвечать за последствия?

Исторически проблема искусственного интеллекта рассматривалась детерминированно - например, для автоматического переводчика составлялись схемы и таблицы, правила вывода и т.п. (первый такой проект был представлен ещё до появления компьютеров - механизированное переводное устройство П.П. Смирнова-Троянского, 1933 год). А самообучающиеся системы использовались для распознавания образов (теория перцептрона - 1957 год).

У первого метода недостаток в большом времени на создание полного комплекта правил и отсутствии гибкости. У второго - в долгом обучении и ненадёжности. Но у каждого варианта есть применение - в шахматы лучше играет детерминированная программа, а на бирже - самообучающаяся (а самообучающийся гуглопереводчик иногда переводит лучше, чем его детерминированные коллеги).

Интуитивно понятно, что самообучающаяся программа имеет большой потенциал в качестве генератора идей управления, но только идей - решение должен принимать человек. Никому в голову не придёт ставить самообучающуюся систему для управления ядерным оружием. Однако на автомобиль поставить рискнули. Где грань?

[Тайльнемер]

Но как можно доверять человеческие жизни недетерминированному устройству

Действительно. Например, мозгу живого водителя.

[Alone Coder]

Живой водитель имеет социальную роль и несёт ответственность. А автомат?

[Demetrius]

Автомату вождение поручает тоже ручается какой-то живой человек.

[Wolliger Mensch]

Кто будет отвечать за последствия?

Вот и хватит. Больше не нужно было ничего писать. Ответьте только на один вопрос: если вы накажете провинившегося, почувствуете животную радость от возмездия, как это исправит ошибку? Воскресит ли это погибших и исцелит покалеченных?

[Alone Coder]

В условиях отсутствия морали (до чего западный мир уже практически дошёл) от совершения антиобщественных деяний сдерживает только наказание. Без наказания человек будет раз за разом повторять плохой поступок, особенно если он получает от него удовольствие.

[piton]

Да повесят ответственность на владельца средства повышенной опасности. Нашли чем пугать останавливать прогресс.

[Awwal12]

Все равно ж будущее за автопилотными системами.
Хотя вообще ПЕРВОЕ, на что такие системы стоило бы ориентировать - это именно предотвращение аварийных ситуаций (из-за априори лучшего времени реакции компьютера).
Соответственно, самообучаемые системы - это хорошо, но они не должны быть целиком обучаемыми - в них должен изначально закладываться жесткий код, получающий приоритет в определенных обстоятельствах.

[Alone Coder]

Я бы предположил некие жёсткие правила "игры", в которую "играет" самообучающийся компьютер. Но для этого и распознавание образов, и система управления, и вся логика вплоть до "движение для столкновения с препятствием запрещено" должны быть детерминированными. "Играть" можно только в рамках навигации, смены полос, скоростного режима и решения мелких задач оптимизации.

[Y.R.P.]

Все равно ж будущее за автопилотными системами.
Хотя вообще ПЕРВОЕ, на что такие системы стоило бы ориентировать - это именно предотвращение аварийных ситуаций (из-за априори лучшего времени реакции компьютера).

Конечно. Вот как это работает IRL:

[_Swetlana]

Системы компьютерного зрения используют нейросистемы, для распознавания образов. А вот для принятия решений нейросистема слишком медленная весчь, у автопилотов время вычислений ограничено секундами. В пункте 2 опишу существующего робота-таксиста (2003 г.).

1. Автопилот - экспертная система.
Возможности обучения нет, в базе знаний зашито большое количество правил. Правила сами по себе простые, но их много, и они организованы в сложную иерархическую систему. Французские аэробусы летают с такими автопилотами, причём живой пилот не может отключить автопилот. В этом отличие наших(и американских) самолётов от французских, у них автопилот отключить нельзя. Смотрела видео, интервью с опытном пилотом, он рассказывал, в частности, о поединках в критических ситуациях между живым пилотом и бортовым компьютером-ЭС. Заканчиваются эти поединки всегда трагически. А буквально неделю назад прочитала, что у аэробусов обнаружен некий дефект конструкции, в определённых обстоятельствах отваливается хвост. И теперь все бортовые компьютеры будут "перепрограммированы", то есть в правила базы знаний внесут изменения, создав запрет на переход к соответствующие режимам управления.

2. Автопилот - адаптивный (обучающийся) интеллектуальный агент.
Обучение происходит на основе обратной связи. Рассел, Норвиг "Искусственный интеллект: современный подход", глава 2. Более подобно опишу принцип управления, в следующих постах.
Итак, робот-таксист

[_Swetlana]

Общие краткие сведения о самообучающихся агентах, п.2.1-2.2
ссылка

Конкретно о проекте робота-таксиста, см. вложение. Схема обучающегося агента, упомянутая в тексте, есть по ссылке.

[_Swetlana]

...

[piton]

Помню, в одном американском фильме пришелец с другой планеты "самообучался" вождению.
- Раз загорелся желтый, нужно добавить скорости.

[_Swetlana]

Но как можно доверять человеческие жизни недетерминированному устройству

Действительно. Например, мозгу живого водителя.

Французы так и сделали, исключили человеческий фактор. То есть они думали, что исключили.
А один наш пилот взял своего 12-летнего сына на работу и посадил в своё кресло. В какой-то момент автопилот начал менять курс и ребёнок в режиме ручного управления стал делать абсолютно то же самое, что было нехорошо, т.к. * 2. Отец сел на своё место, вступил в поединок с экспертной системой, но самолёт вошёл в штопор. Как потом установили - если бы пилот убрал ребёнка и ничего не делал, то автопилот, возможно, выровнял курс. Если бы пилот отключил автопилот, то он, возможно, в режиме ручного управления выровнял курс.
Наши пилоты, которые пришли в гражданскую авиацию из военной, сами действуют в критических ситуациях на "автопилоте" ручного управления, им такой тип управления не подходит.

[Тайльнемер]

Отец сел на своё место, вступил в поединок с экспертной системой, но самолёт вошёл в штопор. Как потом установили - если бы пилот убрал ребёнка и ничего не делал, то автопилот, возможно, выровнял курс. Если бы пилот отключил автопилот, то он, возможно, в режиме ручного управления выровнял курс.

То есть, у самолёта 3 режима — автопилот, ручной и «поединок»?
Зачем последний?

[Awwal12]

То есть, у самолёта 3 режима — автопилот, ручной и «поединок»?
Зачем последний?

Как я понимаю, полноценного ручного там вообще нет, в том и беда.

[Türk]

У автопилотов для автомобилей есть центральная система управления всех подключенных? Или каждая система ограничена внутри одной машины? Если нет, не лучше ли просто создать центральную систему?

[_Swetlana]

Отец сел на своё место, вступил в поединок с экспертной системой, но самолёт вошёл в штопор. Как потом установили - если бы пилот убрал ребёнка и ничего не делал, то автопилот, возможно, выровнял курс. Если бы пилот отключил автопилот, то он, возможно, в режиме ручного управления выровнял курс.

То есть, у самолёта 3 режима — автопилот, ручной и «поединок»?
Зачем последний?

"Поединок" - действия русского пилота, которые не предусмотрены создателями французских аэробусов. Режим у аэробусов один - неотключаемый автопилот. А в русских и американских самолётах пилот одним нажатием кнопки автопилот отключает и переходит в режим ручного управления. Правда, это речь о гражданской (пассажирской и грузовой) аэробусной авиации. А как они делают военные самолёты, не знаю.

[Bhudh]

Если нет, не лучше ли просто создать центральную систему?

Система давно создана, просто в продакшн её выпускать не решаются.

[Türk]

Если нет, не лучше ли просто создать центральную систему?

Система давно создана, просто в продакшн её выпускать не решаются.

Во, круто! Начнут с общественного транспорта.

[Toman]

Если нет, не лучше ли просто создать центральную систему?

Ещё один любитель централизованных систем? Если хотите получить самый безобразный уровень надёжности - используйте централизованную систему.

Система давно создана, просто в продакшн её выпускать не решаются.

Я, конечно, дико извиняюсь за грубые выражения, но то, что на этом видео - это фуфло какое-то. По сути, тут все полосы всех направлений "взаимозацепляются" на таком уровне, на котором в обычном движении взаимозацеплены автомобили в одной полосе, идущие друг за другом в плотном потоке.
И - я вот совершенно не представляю себе сколько-нибудь безопасный алгоритм действий автомобиля при потере связи с центром или с напрямую с другими соседствующими автомобилями (или хотя бы одним из них). Соседа в своей полосе-то можно самостоятельно контролировать зрительно или там радаром/лидаром и т.п., а всю эту двумерную кашу на подходе со всех сторон своими силами не проконтролируешь.

Всякая команда исполняется с какой-то погрешностью, и эти погрешности исполнения нужно контролировать и корректировать движение всех остальных в ответ на эту погрешность. Но, увы, и исполнение, и само измерение погрешности исполнения занимают довольно значительное время, чтобы быть достаточно точными - и, если движение машины зависит от сразу такого количества других, эти циклы измерения погрешности и корректировки просто не будут успевать за сближением автомобилей к местам теснейшего сближения.

[Bhudh]

эти циклы измерения погрешности и корректировки просто не будут успевать за сближением автомобилей к местам теснейшего сближения.

Вы точно в курсе быстродействия современных компьютеров?

[Toman]

"Поединок" - действия русского пилота, которые не предусмотрены создателями французских аэробусов.

Предусмотрены. В том конкретном случае с ребёнком, НЯП, дело обстояло несколько иначе, чем по вашему описанию. Ребёнок просто применил к штурвалу силу, и тем самым вызвал выключение автопилота (что само по себе как раз и есть один из предусмотренных конструкцией способов отключения автопилота - пересиливанием, что как раз бывает нужно, когда пилот, видя очевидно неправильное и опасное положение самолёта, машинально хватается за штурвал/ручку - чтобы автопилот ему не мешал выводить вручную). Проблема была в том, что, в отличие от выключения автопилота кнопками/выключателями или автоматического отключения при выходе параметров за рамки допустимых, когда звучит сирена, при отключении автопилота пересиливанием сирена не звучала, т.к. конструкторы то ли не посчитали это нужным (типа, если пилот схватился за штурвал и рванул, так он уж наверняка знает, что теперь он рулит самолётом, и нечего его в такой ситуации ещё сиреной отвлекать), то ли просто забыли. В результате ребёнок несколько секунд пожал штурвал в крен, автопилот молча выключился, и самолёт просто оказался не управляем никем (т.к. пилоты были уверены, что самолёт на автопилоте, и не особо следили за приборами, а за окном ночь и ничего особо не видно) - и начал постепенно входить во всё более глубокий крен. А когда пилоты поняли, что происходит, никакой автопилот им уже не мешал, он там давно выключился, но было уже просто поздно что-то делать - крен был уже слишком велик.

Режим у аэробусов один - неотключаемый автопилот.

Как я понимаю, полноценного ручного там вообще нет, в том и беда.

Это тоже, мягко говоря, несколько не так. Эрбасы (новые - вот как раз тот, который из-за ребёнка упал, к ним не относится, то был старый, там ещё всё было по классике, только сигнализация отключения автопилота подвела) действительно управляются всегда через хитрую систему. Но назвать это неотключаемым автопилотом никак нельзя. Автопилот - это всё-таки хреновина, которая ведёт самолёт самостоятельно. Но в Эрбасах есть ручки управления, которые предназначены как раз для ручного режима управления (и пилоты этот режим часто применяют - ничуть не реже, чем на других самолётах, и ровно в тех же ситуациях). Разница только в том, что в "классике" положение штурвала или ручки управления напрямую переводится в положение рулевых поверхностей, а тут происходит какой-то пересчёт и м.б. обратная связь по достигаемым перегрузкам, угловым скоростям и т.п. - т.е. хитрая система с одной стороны не даёт повернуть рули в такие положения, которые заведомо опасны (типа "на максимальной приборной скорости задрать самолёт близко к критическому углу атаки, тем самым создать разрушающую перегрузку и просто переломить его пополам") или заведомо бессмысленны (скажем, вертеть рули на такие углы, о которых известно, что на этих скоростях они не прибавляют эффективности, а только, наоборот, уже убавляют), с другой, она своим вычислительным способом неким образом модифицирует "натуральные" характеристики устойчивости самолёта. Но это всё равно остаётся ручное управление, и в нём пилот - если он, конечно, знаком с самолётом - может выполнить практически любые манёвры, на которые в принципе способен самолёт. Т.е. в этом "неполноценном ручном режиме" система делает самолёт более удобно управляемым и более прощающим ошибки, чем было бы при прямой связи положения ручки с углами отклонения рулевых поверхностей. Честно говоря, мне трудно представить себе, какие могут быть полезные мирные применения у возможностей вроде свалить самолёт в штопор или переломить его нерасчётной перегрузкой.

[Toman]

Вы точно в курсе быстродействия современных компьютеров?

А вы не поняли, что я вам говорю не о быстродействии компьютеров (посчитать-то оно да, не проблема - было бы что считать), а о 1) времени реакции исполнительных механизмов автомобиля (тормоза, двигатель), 2) времени, необходимом для надёжного измерения фактического положения автомобиля и соотв. оценки необходимой корректировки управляющего сигнала к исполнительным механизмам? А ещё изрядное (и, что самое характерное, совершенно непредсказуемое) время уйдёт на передачу информации о положении одной машины на другую, в условиях неизвестно как зашумлённого эфира и вообще неизвестно какого качества связи.