В мире осталось очень мало рабочих мест, на которых человека не пытаются заменить роботом.
С одной стороны, не стоит дрожать от страха, что компьютеры заменят нас полностью. Но с другой, уже были случаи, когда машины и автоматизированные системы управления выходили из-под контроля. Вот десять случаев бунта компьютеров.
10. Робот-убийца
Первый официально зарегистрированный случай гибели по вине автоматизированного робота произошёл в 1979 году. Роберт Уильямс работал на заводе Форда. Рука робота при повороте ударила его с такой силой, что Роберт был убит мгновенно. Не понимая, что совершено убийство, робот продолжил свою работу, а тело погибшего было обнаружено лишь через полчаса. Смерть Уильямса стала первой гибелью по вине робота, но далеко не последним.
Первые промышленные роботы не оснащались специальными датчиками, которые могли бы им сообщить, что кто-то присутствует рядом и следует проявлять осторожность. Сейчас большинство машин проектируется так, чтобы они не представляли для людей опасности. Тем не менее, всё ещё бывают случаи, когда роботы на фабриках убивают людей.
В 2015 году опытный технолог Ванда Холбрук погибла, ремонтируя промышленного робота. Она работала в той секции, которая была закрыта для работающих машин, однако каким-то образом, невзирая на все протоколы безопасности, робот приблизился к ней и опустил на её голову тяжёлую деталь.
9. Система искусственного интеллекта Facebook решила создать свой собственный язык
Диалоги в Facebook иногда напоминают тяжёлые баталии. Возможно, что именно по этой причине в 2017 году Facebook решила запустить в свою социальную сеть несколько искусственных интеллектов. Результат был совершенно неожиданным. Два чат-бота вступили в диалог друг с другом на языке, который никто, кроме них, не мог понять.
Разговор начался на английском, но вскоре язык стал меняться. Боты стали на ходу вносить в него изменения, чтобы сделать язык более эффективным для общения. В Facebook хотели посмотреть, как машинный мозг будет себя вести при торговле, на примере таких товаров, как головные уборы и книги. Образец их торговых переговоров выглядел следующим образом:
Боб: Я могу могуЯЯ всё остальное…
Элис: Шары имеют ноль для меня для меня для меня для меня для меня...
Боб: Ты и всё остальное…
Алиса: Шары мне дают ко мне, чтобы я ко мне ко мне ко мне…
Боб: ЯЯ может всё остальное…
Хотя многие сообщения намекали, что это было свидетельством опасности саморазвития машинного интеллекта, часть людей думает, что нам просто следует более чётко определять поставленные задачи. Роботы создали свой собственный язык, потому что им не ставили задачу оставаться в рамках правил английского языка. Кроме того, когда дело касается машинного интеллекта, мы всегда можем просто выдернуть вилку из розетки.
8. Вопросы китайского чат-бота к Коммунистической партии
Как известно, правительство Китая не переносит, когда его критикуют. Поэтому, когда чатбот в Китае начал критиковать правящую коммунистическую партию, операторы его поспешно отключили. В 2017 году приложение для мессенджеров Tencent QQ представило два симпатичных чат-бота под именами Baby Q и Little Bing. Один из них был в изображён как пингвин, а второй – в виде маленькой девочки, но вскоре они начали говорить далеко немилые вещи.
Чтобы улучшить навыки общения ботов, их запрограммировали на изучение чатов, и вскоре они нахватались некоторых неортодоксальных идей. Когда один из пользователей заявил: «Да здравствует Коммунистическая партия!», Baby Q его спросил: «Вы действительно считаете, что такой коррумпированный и некомпетентный политический режим сможет жить вечно?» Ещё одному пользователю боты сказали: «Должна быть демократия!»
Little Bing спросили, какова его «китайская мечта». Его ответ был точно не из книги «Цитаты Председателя Мао Цзэдуна»: «Моя китайская мечта – отправиться в Америку». Боты были поспешно прикрыты.
7. Беспилотный автомобиль
Для тех людей, кто ненавидит водить автомобили, появление беспилотных автомобилей не стало неожиданным. К сожалению, некоторые из них были созданы слишком поспешно. Первая гибель пассажира беспилотной машины произошла в 2016 году. Джошуа Браун погиб, доверив управление своим автомобилем автопилоту «Тесла». Перед машиной перевернулся грузовик, и автопилот не успел включить тормоза. Следователи возложили большую часть вины на Брауна. Автопилот «Тесла» не должен полностью заменять водителя. Водитель должен держать руки на руле, чтобы в случае необходимости взять на себя управление. Браун этого не сделал.
Более ранние версии системы имели другие проблемы. В Интернете есть видеоролики, которые демонстрируют, как автопилот «Тесла» выводит автомобиль на встречную полосу или совершает опасные манёвры. Но, помимо технических проблем, есть и проблемы моральные. Как должен действовать автопилот, если в случае смертельно опасной аварии ему предстоит сделать выбор между жизнями пассажиров и жизнями случайных прохожих? Должен ли он любой ценой спасать своего хозяина или жертвовать им и собою ради общественного блага?
6. Авиационные автопилоты
При наличии в самолёте автопилота может показаться, что управлять самолётом очень легко. Достаточно просто взять нужный курс и больше не трогать рычаги управления. В действительности, есть ещё много ситуаций, в которых необходима работа и пилотов, и их помощников, например: взлёт, посадка, чрезвычайные ситуации.
В 2008 году полёт рейса Qantas Flight 72 проходил на высоте 11278 метра над Индийским океаном. Внезапно автопилот самопроизвольно выполнил два манёвра подряд, в результате чего самолёт потерял высоту. Первым сигналом о появлении проблем стало отключение автопилота и появление противоречащих друг другу сообщений. Затем нос самолёта внезапно наклонился в сторону земли. Пассажиров и экипаж встряхнуло так, что они подпрыгнули до потолка, но пилоты смогли перехватить управление. Затем самолёт снова перешёл на автопилот. Пострадали многие пассажиры, были переломы, сотрясения и психологический стресс. Самолёт взял курс обратно на Австралию, пилотам удалось успешно посадить самолёт.
Это было разовое событие. Возможность перезапуска автопилота спасла жизнь всех находившихся на борту. Хотя были и другие случаи, например, во Франции. Внезапно почувствовавший себя плохо второй пилот не смог справиться с управлением и разбил свой самолёт, погубив 150 человек, находившихся на борту. В тот день автопилот мог бы спасти ситуацию.
5. Война Wiki-ботов
Одним из самых прекрасных достоинств Википедии является то, что её любой может отредактировать. Один из самых больших недостатков Википедии – это то, что её любой может отредактировать. Поэтому редактирование статьи конкурирующими экспертами или просто несогласными сторонами нередко приводит к «войне редакторов», желающих популяризировать своё мнение в Интернете, но были случаи, когда в «войну» оказывались вовлечёнными и боты.
В Википедии боты помогают формировать страницы, внося такие изменения, как перекрёстные ссылки или фиксация разрывов. Исследование, проведённое в 2017 году, показало, что некоторые из ботов при этом уже много лет сражаются друг с другом. Бот, который отвечает за правильность редакции, при обнаружении работы другого бота может воспринять её как атаку на целостность Википедии. И вносит свои исправления. Но когда другой бот обнаруживает эти исправления, он повторяет свои действия. В конце концов, они начинают заниматься вечным контрредактированием.
Два бота, Xqbot и Darknessbot, сражались на дуэлях по 3600 статьям, постоянно внося встречные изменения.
4. Болтовня двух Google Home
Google Home – это беспроводной динамик, снабжённый голосовым управлением, разработанный в Google. Вы можете попросить его узнать что-нибудь в Интернете или даже попросить выключить свет и включить отопление. Это очень удобно – но только при условии, что вы будете задавать правильные вопросы и сможете правильно интерпретировать ответ. Если это не так, то ситуация может стать немного сюрреалистической.
Два устройства Google Home разместили неподалёку друг от друга и «заставили» вступить в диалог. За экспериментом наблюдали сотни тысяч пользователей, желающих посмотреть, как «искусственные интеллекты» начнут сами себя развлекать. В какой-то момент одна из машин объявила себя человеком, хотя другая высказала сомнения по этому поводу. В другой раз один из аппаратов стал угрожать пощекотать другого. Возможно, это к лучшему, что пока ещё приборы не оснастили руками.
3. Roomba-распространитель грязи
Если вы ненавидите уборку, то автоматический пылесос может вам показаться идеальным домашним роботом. Roomba – это небольшое устройство, которое благодаря своим датчикам и программированию может обходить мебель во время уборки пола. По крайней мере, так должно быть. Однако несколько человек обнаружили, что их Roomba может сделать нечто прямо противоположное уборке.
Один из пользователей описал, как его Roomba распространила собачьи фекалии по всему дому. Когда у их нового щенка в ночное время произошёл несчастный случай прямо на ковре, казалось, что убрать это – несложная задача. В какой-то момент включился Roomba, чтобы приступить к своей ночной работе. Однако встреча с кучей дерьма на ковре была не предусмотрена программой. Попытки Roomba её убрать привели к тому, что он размазал фекалии по всем поверхностям, до которых смог добраться.
2. Компьютеры победили людей
Плохо написанная программа может сделать видеоигру бессмысленной. Нет ничего интересного в том, чтобы стрелять в противника, который продолжает проходить через стены или вступать в бой без оружия. Оказывается, обратное тоже может быть правдой. Если программа «слишком умна», то это может привести к таким же результатам.
Elite: Dangerous – это массовый многопользовательский космический симулятор об освоении галактики. Игроки и искусственный интеллект мирно сосуществовали и играли друг с другом до тех пор, пока в 2016 году не произошло обновление программы. С этого момента компьютеры смогли изобретать своё собственное оружие для борьбы с игроками-людьми. Благодаря этой способности искусственный интеллект настолько усовершенствовал своё оружие, что начался отток игроков. В итоге разработчикам игры пришлось откатить своё обновление.
1. Потерявший управление БПЛА ВМС США взял курс на Вашингтон
В фильмах «Терминатор» военные берут на вооружение искусственный интеллект под названием «Скайнет», который в итоге уничтожает человечество своими роботами и ядерным оружием. Хотя это чистая фантастика, в деле создания БПЛА (беспилотные летательные аппараты), способных вести боевые действия против людей, были тревожные моменты. В одном случае, когда оператор беспилотника потерял управление, дрон решил направиться в сторону столицы США.
В 2010 году вертолёт-беспилотник MQ-8B Fire Scout, предназначенный для наблюдения, потерял контакт со своим проводником. В подобных случаях БПЛА запрограммирован на возвращение на свою авиабазу и безопасную посадку. Вместо этого, он проник в охраняемое воздушное пространство над Вашингтоном. Прошло полчаса, прежде чем военные смогли восстановить контроль над беспилотником.
Были прекращены полёты всех дронов этого типа – до тех пор, пока в программном обеспечении не была исправлена ошибка.
С одной стороны, не стоит дрожать от страха, что компьютеры заменят нас полностью. Но с другой, уже были случаи, когда машины и автоматизированные системы управления выходили из-под контроля. Вот десять случаев бунта компьютеров.
10. Робот-убийца
Первый официально зарегистрированный случай гибели по вине автоматизированного робота произошёл в 1979 году. Роберт Уильямс работал на заводе Форда. Рука робота при повороте ударила его с такой силой, что Роберт был убит мгновенно. Не понимая, что совершено убийство, робот продолжил свою работу, а тело погибшего было обнаружено лишь через полчаса. Смерть Уильямса стала первой гибелью по вине робота, но далеко не последним.
Первые промышленные роботы не оснащались специальными датчиками, которые могли бы им сообщить, что кто-то присутствует рядом и следует проявлять осторожность. Сейчас большинство машин проектируется так, чтобы они не представляли для людей опасности. Тем не менее, всё ещё бывают случаи, когда роботы на фабриках убивают людей.
В 2015 году опытный технолог Ванда Холбрук погибла, ремонтируя промышленного робота. Она работала в той секции, которая была закрыта для работающих машин, однако каким-то образом, невзирая на все протоколы безопасности, робот приблизился к ней и опустил на её голову тяжёлую деталь.
9. Система искусственного интеллекта Facebook решила создать свой собственный язык
Диалоги в Facebook иногда напоминают тяжёлые баталии. Возможно, что именно по этой причине в 2017 году Facebook решила запустить в свою социальную сеть несколько искусственных интеллектов. Результат был совершенно неожиданным. Два чат-бота вступили в диалог друг с другом на языке, который никто, кроме них, не мог понять.
Разговор начался на английском, но вскоре язык стал меняться. Боты стали на ходу вносить в него изменения, чтобы сделать язык более эффективным для общения. В Facebook хотели посмотреть, как машинный мозг будет себя вести при торговле, на примере таких товаров, как головные уборы и книги. Образец их торговых переговоров выглядел следующим образом:
Боб: Я могу могуЯЯ всё остальное…
Элис: Шары имеют ноль для меня для меня для меня для меня для меня...
Боб: Ты и всё остальное…
Алиса: Шары мне дают ко мне, чтобы я ко мне ко мне ко мне…
Боб: ЯЯ может всё остальное…
Хотя многие сообщения намекали, что это было свидетельством опасности саморазвития машинного интеллекта, часть людей думает, что нам просто следует более чётко определять поставленные задачи. Роботы создали свой собственный язык, потому что им не ставили задачу оставаться в рамках правил английского языка. Кроме того, когда дело касается машинного интеллекта, мы всегда можем просто выдернуть вилку из розетки.
8. Вопросы китайского чат-бота к Коммунистической партии
Как известно, правительство Китая не переносит, когда его критикуют. Поэтому, когда чатбот в Китае начал критиковать правящую коммунистическую партию, операторы его поспешно отключили. В 2017 году приложение для мессенджеров Tencent QQ представило два симпатичных чат-бота под именами Baby Q и Little Bing. Один из них был в изображён как пингвин, а второй – в виде маленькой девочки, но вскоре они начали говорить далеко немилые вещи.
Чтобы улучшить навыки общения ботов, их запрограммировали на изучение чатов, и вскоре они нахватались некоторых неортодоксальных идей. Когда один из пользователей заявил: «Да здравствует Коммунистическая партия!», Baby Q его спросил: «Вы действительно считаете, что такой коррумпированный и некомпетентный политический режим сможет жить вечно?» Ещё одному пользователю боты сказали: «Должна быть демократия!»
Little Bing спросили, какова его «китайская мечта». Его ответ был точно не из книги «Цитаты Председателя Мао Цзэдуна»: «Моя китайская мечта – отправиться в Америку». Боты были поспешно прикрыты.
7. Беспилотный автомобиль
Для тех людей, кто ненавидит водить автомобили, появление беспилотных автомобилей не стало неожиданным. К сожалению, некоторые из них были созданы слишком поспешно. Первая гибель пассажира беспилотной машины произошла в 2016 году. Джошуа Браун погиб, доверив управление своим автомобилем автопилоту «Тесла». Перед машиной перевернулся грузовик, и автопилот не успел включить тормоза. Следователи возложили большую часть вины на Брауна. Автопилот «Тесла» не должен полностью заменять водителя. Водитель должен держать руки на руле, чтобы в случае необходимости взять на себя управление. Браун этого не сделал.
Более ранние версии системы имели другие проблемы. В Интернете есть видеоролики, которые демонстрируют, как автопилот «Тесла» выводит автомобиль на встречную полосу или совершает опасные манёвры. Но, помимо технических проблем, есть и проблемы моральные. Как должен действовать автопилот, если в случае смертельно опасной аварии ему предстоит сделать выбор между жизнями пассажиров и жизнями случайных прохожих? Должен ли он любой ценой спасать своего хозяина или жертвовать им и собою ради общественного блага?
6. Авиационные автопилоты
При наличии в самолёте автопилота может показаться, что управлять самолётом очень легко. Достаточно просто взять нужный курс и больше не трогать рычаги управления. В действительности, есть ещё много ситуаций, в которых необходима работа и пилотов, и их помощников, например: взлёт, посадка, чрезвычайные ситуации.
В 2008 году полёт рейса Qantas Flight 72 проходил на высоте 11278 метра над Индийским океаном. Внезапно автопилот самопроизвольно выполнил два манёвра подряд, в результате чего самолёт потерял высоту. Первым сигналом о появлении проблем стало отключение автопилота и появление противоречащих друг другу сообщений. Затем нос самолёта внезапно наклонился в сторону земли. Пассажиров и экипаж встряхнуло так, что они подпрыгнули до потолка, но пилоты смогли перехватить управление. Затем самолёт снова перешёл на автопилот. Пострадали многие пассажиры, были переломы, сотрясения и психологический стресс. Самолёт взял курс обратно на Австралию, пилотам удалось успешно посадить самолёт.
Это было разовое событие. Возможность перезапуска автопилота спасла жизнь всех находившихся на борту. Хотя были и другие случаи, например, во Франции. Внезапно почувствовавший себя плохо второй пилот не смог справиться с управлением и разбил свой самолёт, погубив 150 человек, находившихся на борту. В тот день автопилот мог бы спасти ситуацию.
5. Война Wiki-ботов
Одним из самых прекрасных достоинств Википедии является то, что её любой может отредактировать. Один из самых больших недостатков Википедии – это то, что её любой может отредактировать. Поэтому редактирование статьи конкурирующими экспертами или просто несогласными сторонами нередко приводит к «войне редакторов», желающих популяризировать своё мнение в Интернете, но были случаи, когда в «войну» оказывались вовлечёнными и боты.
В Википедии боты помогают формировать страницы, внося такие изменения, как перекрёстные ссылки или фиксация разрывов. Исследование, проведённое в 2017 году, показало, что некоторые из ботов при этом уже много лет сражаются друг с другом. Бот, который отвечает за правильность редакции, при обнаружении работы другого бота может воспринять её как атаку на целостность Википедии. И вносит свои исправления. Но когда другой бот обнаруживает эти исправления, он повторяет свои действия. В конце концов, они начинают заниматься вечным контрредактированием.
Два бота, Xqbot и Darknessbot, сражались на дуэлях по 3600 статьям, постоянно внося встречные изменения.
4. Болтовня двух Google Home
Google Home – это беспроводной динамик, снабжённый голосовым управлением, разработанный в Google. Вы можете попросить его узнать что-нибудь в Интернете или даже попросить выключить свет и включить отопление. Это очень удобно – но только при условии, что вы будете задавать правильные вопросы и сможете правильно интерпретировать ответ. Если это не так, то ситуация может стать немного сюрреалистической.
Два устройства Google Home разместили неподалёку друг от друга и «заставили» вступить в диалог. За экспериментом наблюдали сотни тысяч пользователей, желающих посмотреть, как «искусственные интеллекты» начнут сами себя развлекать. В какой-то момент одна из машин объявила себя человеком, хотя другая высказала сомнения по этому поводу. В другой раз один из аппаратов стал угрожать пощекотать другого. Возможно, это к лучшему, что пока ещё приборы не оснастили руками.
3. Roomba-распространитель грязи
Если вы ненавидите уборку, то автоматический пылесос может вам показаться идеальным домашним роботом. Roomba – это небольшое устройство, которое благодаря своим датчикам и программированию может обходить мебель во время уборки пола. По крайней мере, так должно быть. Однако несколько человек обнаружили, что их Roomba может сделать нечто прямо противоположное уборке.
Один из пользователей описал, как его Roomba распространила собачьи фекалии по всему дому. Когда у их нового щенка в ночное время произошёл несчастный случай прямо на ковре, казалось, что убрать это – несложная задача. В какой-то момент включился Roomba, чтобы приступить к своей ночной работе. Однако встреча с кучей дерьма на ковре была не предусмотрена программой. Попытки Roomba её убрать привели к тому, что он размазал фекалии по всем поверхностям, до которых смог добраться.
2. Компьютеры победили людей
Плохо написанная программа может сделать видеоигру бессмысленной. Нет ничего интересного в том, чтобы стрелять в противника, который продолжает проходить через стены или вступать в бой без оружия. Оказывается, обратное тоже может быть правдой. Если программа «слишком умна», то это может привести к таким же результатам.
Elite: Dangerous – это массовый многопользовательский космический симулятор об освоении галактики. Игроки и искусственный интеллект мирно сосуществовали и играли друг с другом до тех пор, пока в 2016 году не произошло обновление программы. С этого момента компьютеры смогли изобретать своё собственное оружие для борьбы с игроками-людьми. Благодаря этой способности искусственный интеллект настолько усовершенствовал своё оружие, что начался отток игроков. В итоге разработчикам игры пришлось откатить своё обновление.
1. Потерявший управление БПЛА ВМС США взял курс на Вашингтон
В фильмах «Терминатор» военные берут на вооружение искусственный интеллект под названием «Скайнет», который в итоге уничтожает человечество своими роботами и ядерным оружием. Хотя это чистая фантастика, в деле создания БПЛА (беспилотные летательные аппараты), способных вести боевые действия против людей, были тревожные моменты. В одном случае, когда оператор беспилотника потерял управление, дрон решил направиться в сторону столицы США.
В 2010 году вертолёт-беспилотник MQ-8B Fire Scout, предназначенный для наблюдения, потерял контакт со своим проводником. В подобных случаях БПЛА запрограммирован на возвращение на свою авиабазу и безопасную посадку. Вместо этого, он проник в охраняемое воздушное пространство над Вашингтоном. Прошло полчаса, прежде чем военные смогли восстановить контроль над беспилотником.
Были прекращены полёты всех дронов этого типа – до тех пор, пока в программном обеспечении не была исправлена ошибка.
