Кодекс Терминатора

http://lenta.ru/articles/2009/02/19/robots/

Кодекс Терминатора
США предупредили об опасности разработки самоуправляемых роботов

16 февраля в газете The Times была опубликована информация о докладе, посвященном перспективам военной робототехники, который был подготовлен Калифорнийским государственным политехническим университетом для ВМС США. Ученые пришли к выводу, что боевые роботы, которым предстоит участвовать в вооруженных конфликтах, должны "жить" в соответствии со строгими правилами, чтобы не представлять угрозу для человека, а также учиться этике ведения войны. Данное исследование стало первой серьезной работой, рассматривающей боевых роботов в качестве солдат, способных принимать самостоятельные решения на поле боя.

Прикладной Азимов
Идею создания свода законов для роботов нельзя назвать совсем новой. У писателей-фантастов она обрела популярность еще в начале прошлого столетия. В частности, в 1942 году в своем рассказе "Хоровод" Айзек Азимов сформулировал "Три закона роботехники", которые фактически стали прописной истиной для прикладных исследований в этой области:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.

Для создания современных роботов военного назначения эти правила уже не совсем применимы. Машинам, созданным для борьбы с солдатами противника или террористами, причинять вред людям придется по определению. Но если дело дойдет до полностью самостоятельного интеллекта, с помощью которого робот сможет принимать решения без участия человека, то последствия его действий могут быть непредсказуемыми.

Айзек Азимов.
Составители доклада пришли к выводу: мнение о том, что робот способен делать лишь то, на что он запрограммирован, является устаревшим. Современное программное обеспечение разрабатывается множеством специалистов. При этом отдельные участники таких проектов могут не знать особенностей программы в целом. Соответственно, отдельные элементы кода в сочетании могут дать самый неожиданный результат при практическом применении.

На примере обычных компьютерных программ понятно - среди них нет идеальных образцов, которые не содержали бы в себе хоть какие-нибудь ошибки. Даже такие софтверные гиганты, как Microsoft, вынуждены годами дорабатывать свое ПО, выпуская тысячи обновлений и исправлений, а заодно и выслушивая критику недовольных пользователей. Но обычные программы, даже неисправные, никого не могут убить. А вот если боевой робот перепутает своих и чужих или просто начнет уничтожать все живое вокруг, жаловаться в службу клиентской поддержки будет поздно.

В своем исследовании ученые также задают множество вопросов, на которые, судя по всему, разработчики роботов пока не могут найти ответы. Например, каким образом боевую технику удастся надежно защитить от вирусов и хакеров? Кто будет нести ответственность за сбой в программе боевого робота, который вдруг начнет массово уничтожать мирных жителей - сам неисправный механизм, допустивший ошибку программист или же президент США, отдавший приказ о начале боевых действий?

Еще один серьезный вопрос - нужна ли такому роботу функция самоуничтожения, которую ученые называют "суицидальным выключателем", или же, напротив, она может быть использована в ущерб машине?

Окончательный вывод, который делают ученые, неутешителен - без правил и даже "программы обучения" вновь созданных самоуправляющихся роботов эксплуатировать опасно. Авторы также предостерегают как Пентагон, так и американских производителей, которые, по их выражению, "рвутся на рынок", от самодовольства и поспешности.

Полуумное железо

Робот Swords. Фото армии США.
Сказать точно, насколько далеко удалось зайти американским инженерам в своих попытках разработать настоящих самоуправляемых роботов-убийц, довольно сложно. Такие работы, скорее всего, ведутся, но из-за своей новизны и специфичности они наверняка засекречены. Пока же американские производители радуют свою армию очередными "полуумными" изобретениями.

В 2007 году немецкий журнал Spiegel сообщил о первых попытках применения боевых роботов в Ираке американскими военными. Вооруженными силами США уже используются различные модификации роботов, которые способны вести разведку и производить разминирование, однако попыток применить на практике машины, способные уничтожать живую силу противника, ранее не предпринималось.

Разработчики отмечают, что робот Swords, созданный специалистами американской компании Waltham, стал первой такой машиной в истории войн. Хотя это изобретение скорее напоминает не робота, а игрушечную машинку на гусеницах, да и до самоуправления ей пока еще очень далеко - руководить роботом-убийцей приходится оператору с помощью специального оборудования.

Вооружена машина пулеметом M249. Кроме этого, как утверждают разработчики, она может использоваться в любое время суток, а также преодолевать самые сложные препятствия, включая ступени.

Робот Gladiator. Фото Luis R. Agostini/USMC.
Испытания Swords, по отзывам военных, дали положительные результаты. Однако, как не без горечи сообщил немецкому изданию представитель компании-разработчика, о том, удалось ли с помощью изобретения уничтожить хотя бы одного боевика, им на тот момент так и не сообщили. А в настоящее время практическое применение Swords вообще приостановлено по неизвестным причинам.

Еще более внушительно выглядит робот Gladiator, разработанный в американском Университете Карнеги-Меллона и впервые представленный в 2005 году. Эти роботы, которым пока также далеко до самоуправления, существуют в различных модификациях, а сама программа по их созданию финансируется Пентагоном. Высокопоставленный представитель морской пехоты США уже заявил, что за этой машиной "будущее ведения боевых действий".

Gladiator позиционируется как "полуавтономный" робот. Изначально машины не предназначались для поражения живой силы противника, а должны были проводить осмотр местности, предупреждать солдат об опасностях, таких как минные поля, ловушки, засады, а также о возникновении химической, биологической и ядерной угрозы. Позже военные, принявшие новинку на вооружение, установили на нее дистанционно управляемый пулемет M240.

Инженер-самоучка Адам Геттингс со своим изобретением. Фото Chris Mueller.
В декабре 2007 года об еще одной разработке американских ученых сообщил телеканал CNN. 25-летний инженер-самоучка Адам Геттингс, работающий на созданную несколько лет назад компанию Robotex, представил свое детище - малогабаритного робота MH, вооруженного пулеметом. Машина, высота которой составляет около полуметра, способна передвигаться со скоростью около 15 километров в час и управляется дистанционно. В отличие от дорогостоящего Gladiator, который оценивают в сотни тысяч долларов, ее стоимость составляет 30-50 тысяч.

Робот MAARS. Фото с сайта www.foster-miller.com
Деятельность Robotex финансируется частными инвесторами-энтузиастами, хотя компания надеется, что ее разработками заинтересуется и Пентагон. Robotex также рассчитывает на американских полицейских, поскольку некоторые модификации их роботов способны вооружаться не только летальным оружием, но и электрошоковыми устройствами Taser.

В начале июня 2008 года американская компания Foster-Miller также сообщила о завершении поставок министерству обороны США первого боевого робота MAARS (Modular Advanced Armed Robotic System). Уже тогда американские военные объявили, что в целом до 2014 года в 15 сухопутных бригад ВС США должны поступить 1700 боевых роботов и что при этом соотношение личного состава к количеству машин достигнет 29 к 1. К концу 2014 года все 1700 роботов будут готовы к применению.

На MAARS можно устанавливать пулемет M240B и пусковую установку для ведения огня дымовыми, осветительными, слезоточивыми или осколочно-фугасными гранатами. Конструкция позволяет производить монтаж другого оборудования, например манипулятора грузоподъемностью до 45 килограммов для обезвреживания мин, а также различного нелетального оружия и приборов для ведения информационно-пропагандистских операций.

Бег впереди паровоза

Перспективный робот-санитар BEAR. Фото Vecna Technologies.
Перечисленные разработки - лишь немного из того, что сегодня предлагают американской армии как известные корпорации, так и скромные энтузиасты. Хотя, судя по всему, о самых интересных проектах Пентагон все же предпочитает особо не распространяться. При этом планируется, что американская армия уже к 2020 году должна на 30 процентов состоять из роботов.

Речь идет не только о боевых и разведывательных машинах. В 2007 году армия США заключила контракт с компанией Vecna Technologies на создание специального робота-санитара BEAR. Предполагается, что в перспективе эта машина будет заниматься эвакуацией раненых с поля боя.

Разработки, финансируемые государством, вряд ли способны в скором будущем вырваться на свободу. Куда более опасны гении-самоучки и частные компании, которые ведут свои исследования без всякого надзора со стороны властей. Ведь технически уже существуют возможности для создания роботов, имеющих элементы искусственного интеллекта, а значит, реальное пришествие Терминаторов и Робокопов в принципе возможно. Тем более что купить боевое оружие в ближайшем магазине может фактически любой американец, после чего установить его на запрограммированную машину человеку с соответствующими знаниями будет несложно.

Вряд ли киборги начала третьего тысячелетия будут напоминать людей так же, как аналогичные киноперсонажи, но это вовсе не означает, что последствия ошибок разработчиков будут иметь менее фатальные последствия. Поэтому призыв калифорнийских ученых не бежать впереди паровоза, а с самого начала задуматься над выработкой четких правил поведения роботов на поле боя, выглядит здраво. Но прислушаются ли к нему - пока неясно.

Андрей Федоров

Полуумное железо

Робот Swords.

Одна ЭМП или просто сбой и оно станет полоумным.. Полоумное железо с оружием..

Это всего лишь большая радиоуправляемая нгрушка. А ваще, сразу вспомнился Р. Шекли.

Это всего лишь большая радиоуправляемая нгрушка.

Как только они поцтавят на неё Виндовс.. 😊

Хакнут его, этого Терминатора, никуда не денется...

------------------
Что такое невозможно? Невозможно штаны через голову надеть, а все остальное - было бы желание.

теоретег
Это всего лишь большая радиоуправляемая игрушка.

Это она пока - радиоуправляемая.

Радиоуправляемая это надолго. Создание ИИ уровня человека, способного воспринять и выполнить боевую задачу, этого ещё даже в проекте нет, просто никто не знает с какого бока подступиться, а пока даже теоретически вычислительной мощности не хватит в более-менее мобильных габаритах.

зря смеетесь! "буран" спустился из космоса и приземлился САМОСТОЯТЕЛЬНО! никакого радиоуправления!продолжи эти разработки дальше-уже сейчас миг и су взлетали, летая уничтожали бы цели и садились сами без какого либо участия людей. насчет искуственного интелекта-на самом обьекте он не нужен. все данные и управление будет осуществлять один мощный суперкомпьютер и посылать сигнал через спутники на обьекты. короче "скайнет"в натуре-вполне возможно через 20 лет он станет обычной реальностью. насчет разработок в сша-дешевка и неправильный подход. эти роботы должны быть абсолютно другими!это мое личное мнение.

CROC
Радиоуправляемая это надолго. Создание ИИ уровня человека, способного воспринять и выполнить боевую задачу, этого ещё даже в проекте нет, просто никто не знает с какого бока подступиться, а пока даже теоретически вычислительной мощности не хватит в более-менее мобильных габаритах.

Не согласен я. Во-первых, "надолго" - понятие относительное. "Закон Мура" вроде как пока действует.

Во-вторых и в третьих, ИИ уровня человека (сопоставимого по сложности) - для боевого робота может и вовсе не понадобиться. Бо у человека, или достаточно сложного ИИ могут быть всякие "излишества". Самосознание, эмоции, совесть, и прочие абсолютно ненужные терминатору причиндалы.

Так что, имху, ИИ уровня крысы или кошки - вполне хватит. А на подобный уровень сложности мы уже вышли, насколько я понимаю, пусть пока только в суперкомпьютерах.

Можно и действующих роботов вспомнить - соревнования, на которых автономные роботы трассу с различными препятствиями преодолевали. В первый чемпионат все застряли, а в последующий - уже многие доехали, насколько я помню.

P.S.
Вообще, создание искусственного интеллекта мне видится одним из серьезнейших вызовов 21 века, а может и всей человеческой истории. Короче, пугает это меня 😊

Кречет
Так что, имху, ИИ уровня крысы или кошки - вполне хватит. А на подобный уровень сложности мы уже вышли, насколько я понимаю, пусть пока только в суперкомпьютерах.

Вот когда мне покажут механическую кошку, которая ведет себя как кошка, тогда конечно поверю. А пока даже вменяемую распознавалку текста, голоса и даже переводчик русско-английский сделать не могут, несмотря на все гигагерцы и терабайты. Тараканов вроде имитируют на компьютере, почти похоже получается по поведению, но там правила попроще, можно алгоритмизировать.
Я, как программист и робототехник по специальности, уверен что мы и наши дети будут видеть терминаторов только в кино.

CROC
А пока даже вменяемую распознавалку текста, голоса и даже переводчик русско-английский сделать не могут, несмотря на все гигагерцы и терабайты.

"Распознавалки" уже позволяют идентифицировать личность человека по видео, из баз данных на миллионы человек, надо будет с "катюшами" проблем не возникнет, телефонных хулиганов давно идентифицируют с помощью специальных програм.

Морнар
"Распознавалки" уже позволяют идентифицировать личность человека по видео

из баз данных на миллионы человек, надо будет с "катюшами" проблем не возникнет.

Морнар
"Распознавалки" уже позволяют идентифицировать личность человека по видео, из баз данных на миллионы человек, надо будет с "катюшами" проблем не возникнет, телефонных хулиганов давно идентифицируют с помощью специальных програм.

А мужики то не знают.. это где такое? И какая точность распознавания? Номера машин идентифицируют в потоке автотранспорта, есть такое.

Морнар
"Распознавалки" уже позволяют идентифицировать личность человека по видео, из баз данных на миллионы человек, надо будет с "катюшами" проблем не возникнет, телефонных хулиганов давно идентифицируют с помощью специальных програм.

Просто находят более менее похожую рожу а остальное работа оперов 😊.. Вот ДНК базы рулят.. Недавно по такой поймали серийного убийцу в каком то городе. В России кстати.. Но к искусственному интеллекту это мало относится.. Просто БД не более тогой.

Того робота пять раз на запчасти разберут, пока он опознает, что за углом раздавалось "...бисмилля иль рахим..."

ИИ роботу не нужен, коси все что теплое, движется и не имеет отметок "свой".
В зоне боевых действий, на охраняемой территории.
Можно без потверждения оператора.

Морнар
ИИ роботу не нужен, коси все что теплое, движется и не имеет отметок "свой".

Подозрительный объект по любому надо обстрелять.
За патрончиками сам на базу вполне сможет съездить.
Чемоданчик пусть лучше в робота прилетит, чем в транспортер с людьми.

Морнар
Подозрительный объект по любому надо обстрелять.

За патрончиками сам на базу вполне сможет съездить.

Чемоданчик пусть лучше в робота прилетит, чем в транспортер с людьми.

Морнар
Подозрительный объект по любому надо обстрелять.

В смысле завалить своих нераспоцзнав их 😊.. Или просто уфигачить пару тыщь недешевых патронов в тень на стене.

"Подозрительным объектом" может оказаться что угодно. Хоть стая бродячих собак, к примеру.

Ага. И каску на лопате, высунувшуюся из окопа - тоже надо. Правильная тактика.

Все что шевелится лучше обстрелять, если шевеление продолжается, запрос разведки с воздуха, удар по координатам.

А во время поездки враги оттянутся в столовку... Тоже верно.

В смысле завалить своих нераспоцзнав их .. Или просто уфигачить пару тыщь недешевых патронов в тень на стене.

Неизвестно у кого будет больше расход патронов, у роботов или перепуганных солдат.

Морнар
Какие окопы?

Все что шевелится лучше обстрелять, если шевеление продолжается, запрос разведки с воздуха, удар по координатам.

Он там не один, его сектор другие возьмут, замена приедет.

Свои должны иметь идентификаторы, визуальные, электронные. При нахождении в гуще войск, огонь только только с потверждения оператора.

Неизвестно у кого будет больше расход патронов, у роботов или перепуганных солдат.

Простые. В земле которые выкопаны. Равнозначно с ними - любые иные естественные или искусственные укрытия.

Имеем неплохую цепочку связи

Имеем цель на экране оператора и нажатие на гашетку. Цепочка не больше чем у стрелка апача.

каналы передачи данных с высокой вероятностью не будут остронаправленными, а, следовательно, будут подавляться, как будет подавляться и электроника роботов, электроника КП и проч. РЭБ.

Морнар
Окопы, исскуственные укрытия первая цель

, все выжгут, укрытия взорвут, окопы сроют, по крайней мере в зоне действия своих войск, окрестностей баз и т.д.

Имеем цель на экране оператора и нажатие на гашетку. Цепочка не больше чем у стрелка апача.

Много наподавляли войска РФ в ЮО или иракцы?

Имеем цель на экране оператора и нажатие на гашетку. Цепочка не больше чем у стрелка апача.

Великий Ваах
Меньше играйте в квейк торагой мой..

Угу.. 😊

Всё правильно!

Не надо никакого тех. прогресса и никаких роботов, т.к. солдатиков навалом.
Их с лихвой даже на покраску газонов и строительство дач хватает.

И вообще, шапками закидаем. Не в первой.

Джентельмены, команду "фсем бояццо" - отставить!
Главная проблема строителей искусственного интеллекта - распознавание. А оно у компов хромает на обе ноги. Еще и кашляет...

ха.придется вступится за "терминатора"!солдата на данном этапе он не заменит-не хватает мощности "мозгов",нет аккумуляторов с мощностью100кВт/кг массы и много других проблем. но в другом вполне-"буран"спустился из космоса и сел сам полностью!.возьмем истребитель и установим подобную систему-чтоб он мог сам взлетать, патрулировать сектор и обнаружив цель уничтожать и садится-это вполне возможно. беспилотники летают и неплохо. комплексы пво по факту роботы-оператор только подтверждает запрос системы на уничтожение цели.

Так... (готовится драке))))) Поднимите руку, кто знает что такое "терминатор"?

"Неудачей закончились испытания первого отечественного боеприпаса с искусственным интеллектом. Экипажу бомбардировщика даже общими усилиями не удалось выпихнуть "умную бомбу" из самолета."

Va-78
Так... (готовится драке))))) Поднимите руку, кто знает что такое "терминатор"?

Граница между светом и тенью на поверхности планеты.

😉

Ото-ж бо! 😊
В свою очередь, такое значение слова, родилось от античных граничных камней - "терм", которые размежевывали поля землевладельцев в Риме и Греции. Они охранялись религией, и человек задевший терм своим плугом, получал суровейшее наказание - это считалось посягательством на бога очага семьи.

А я думал это связанно с часами механическими.

Хы, ребята, мир не стоит на месте, вы совсем забыли о разработках оптических компьютеров, а как утверждают разработчики, что они будут почти аналоговыми, намного быстрее и умнее обычных, цифровых.

Да, а ещё квантовые, как разработают, как понаделают... Не в нашей с вам реальности пока, к сожалению.

CROC
Да, а ещё квантовые, как разработают, как понаделают... Не в нашей с вам реальности пока, к сожалению.

Destroerr
нонче уже и наращивать некуда, уже вширь пошли, паралелят комп.

spec
Говорят, принципиально новый процессор на подходе...

Пофигу какой процессор - операционная скорость ума не прибавит.

Va-78
Пофигу какой процессор - операционная скорость ума не прибавит.

Ну это всё отступление, а суть в том, что была озвучена мысль, что учёные не так ставят вопрос, когда хотят добиться желаемого.

Может и тут так же, найдётся какой нибудь гений и сделает прорыв и получится СКАЙНЕТ, который осознает себя как личность и поймёт, что люди ему враги...

Чёт меня понесло 😀

причём самообучающаяся

Destroerr
Согласен, нужна прога, причём самообучающаяся.

Нужна п"осто но"мальная операционка и нормальные проги. К сожалению ни того ни д"угово в наличии нет. Есть только тормозные виндовозы и ужасные в своей глючности проги типа корела и фотошопа. Причем чем свежее тем глюкавее. Система драйверов Кудо вообще жуткий бред..

Я как то офигенно впечатлился, когда супер-пупер биометрические замки - по Дискавери за 10 секунд открывали.
Думаю - пока что на любой робот с тепло и найт визором найдется душман с ватным одеялом и магниевой петардой.

Я как то офигенно впечатлился, когда супер-пупер биометрические замки - по Дискавери за 10 секунд открывали.

по пальцу "с детекцией жизненных функций".
эта фича оказалась фуфелом, кстати.
Обманули ксерокопией пальца 😊.

Обманули ксерокопией пальца

Человек дешевле робота.

gozu
Человек дешевле робота.

Конечно, тож фантастика, но чем чёрт не шутит.

Большого бы с мозгами сделать...

А стоить он всегда будет дороже, а толку с него меньше. И человек от робота отличается не тем что распознавать цели умеет, а наверное, еще и способностью соображать, что к чему и куда ходить не стоит, и когда вообще стоит что-то делать, или лучше тихонечко за углом постоять. Интересно, почему спецназ круче пацанов из спецшколы? Потому что человекообразные цели быстрее распознает?

Вот уж с кем, с кем, а только не с партизанами роботам воевать... Другое дело радиоуправляемая машина, когда оператор сидит недалеко, но в безопасном месте. И это далеко не во всех случаях прокатит.

gozu
Вот уж с кем, с кем, а только не с партизанами роботам воевать... Другое дело радиоуправляемая машина, когда оператор сидит недалеко, но в безопасном месте. И это далеко не во всех случаях прокатит.

Потому что средства поражения техники всегда дешевле и проще самой техники. В случае с роботом - это электромагнитный импульс, даже проще, чем РПГ.

Человек среагирует довольно быстро, если это опытный геймер. Навести курсор на цель гораздо проще, чем колиматор дрожащими руками. До робота дойдет мгновенно, если расстояние небольшое.
Но такое применение роботов совершенно не целесообразно. В мире и так людей в шесть раз больше нормы, и вдобавок к ним еще и роботов делать - ну совсем нецелевой расход бюджета.

Не верю я в страшилки Пентагона: пусть сначала хоть одного тырменатора сделают, а потом будем посмотреть. А то пока одна пропоганда: щас сделаем и всем хана. 😊 А про неразрешимые косяки с железе и софте скромно умаливают. 😊

все проблемы решаемы. сам бы занялся этим увлекательным делом-созданием терминаторов. только мешка денег нету и небудет. и не таких дешевок как у американцев, а реальных машин. насчет проблем с железом-если речь про аккумуляторы и их малую емкость и большой вес-то от них вообще можно отказатся, как не странно это звучит!то же и про софт.

А как вы относитесь к заявлениям типо:
Управляемой ракетой с беспелотново самолета уничтожена машина с такими то главарями террористов...

В принципе, нормально, хотя ни ту ни другую сторону не поддерживаю. Волки грызутся, а нормальный пипл под раздачу попадает.