Финансовый парфюмер, там где запах денег... (perfume007) wrote,
Финансовый парфюмер, там где запах денег...
perfume007

Category:

Искусственный интеллект. Этапы. Угрозы. Стратегии Книга в кратком изложении за 10 минут

Специально для https://vk.com/stepan_demura Читаем вместе с парфюмером книги в кратком изложении. Как эволюционирует технология, известная как “искусственный интеллект”? Что предлагают ученые для того, чтобы использовать и контролировать ИИ? Почему человечество не готово иметь дело с ИИ? Соблазн использовать искусственный интеллект может привести человечество к гибели. По мысли оксфордского футуролога Ника Бострома, искусственный интеллект может стать для нас инструментом обеспечения безопасности, экономического процветания и интеллектуального развития, но человечество, возможно, будет не в состоянии реализовать весь потенциал этого инструмента. Бостром шаг за шагом подвергает критике характерные ошибки человеческого восприятия ИИ, и возникает ощущение, что у людей нет ни ресурсов, ни воображения, чтобы осознать переход из мира, в котором господствует человек, в мир, которому угрожает или который уже поработила некая сущность, обладающая сверхразумом. Бостром мастерски описывает, как может возникнуть такой сверхразум, как он превратится во всемогущего “синглтона” и какую угрозу он будет представлять. Например, что будет, спрашивает он, если этот ИИ разовьется до такой степени, что сформирует единое мировое правительство, которое не будет руководствоваться традиционными этическими принципами Информативная, насыщенная ссылками на различные источники книга побуждает читателя задуматься над множеством неизвестных. Авторские рассуждения строятся на анализе целого спектра возможных сценариев будущего. Это глубокое исследование рассчитано в первую очередь на читателей, испытывающих особый интерес к теме. Парфюмер рекомендует его политикам, футурологам, студентам, инвесторам, философам и всем, кто размышляет о высоких технологиях.


Перспективы возникновения сверхразума. Летом 1956 года в Дартмутском колледже собралась группа ученых, чтобы изучить перспективы развития человечества. В первую очередь их интересовало, могут ли машины воспроизводить функции человеческого интеллекта. Исследования на эту тему продолжались с переменным успехом. В 1980-е годы получили развитие программы на основе набора правил, или “экспертные системы”, и стало казаться, что вот-вот наступит расцвет технологий, на основе которых может быть создан искусственный интеллект. Затем прогресс застопорился, а финансирование иссякло. Усилия в области создания ИИ получили новый импульс в 1990-х годах с появлением “генетических алгоритмов” и “нейронных сетей”.


Основные идеи книги
Уже сегодня во многих областях деятельности компьютеры опережают человека. Один из главных вопросов состоит в том, может ли ИИ воспроизводить человеческие эмоции, такие как любовь и ненависть, и если может, то как? “Полная эмуляция головного мозга” – это технология, целью которой является создание цифровой копии мозга умершего человека. Отдельный ИИ, получивший контроль над человечеством и остальными ИИ, становится “синглтоном”. Сверхразум может быть “скоростным”, “коллективным” и “качественным”. Генная инженерия к 2050 году позволит создать усовершенствованных людей, чей интеллект будет способен объединяться в коллективный сверхразум. Опасность ИИ состоит в том, что у него нет каких-либо ценностей. Самой большой проблемой в отношении ИИ является введение в него набора этических принципов, которые впоследствии ИИ не сможет исказить или отвергнуть во вред людям. Если ИИ или некая объединенная сущность, обладающая сверхразумом, добьется “решающего стратегического преимущества” в качестве самостоятельной единицы, люди не смогут ее контролировать. Необходимо тщательно взвесить перспективы и риски, связанные с неизбежным “взрывным развитием интеллекта”.

“Нет оснований утверждать, что ИИ среднего уровня начнет руководствоваться человеческими чувствами, такими как любовь, ненависть, гордость”.

Один из критериев мощи ИИ – то, насколько хорошо специально разработанные компьютеры играют в такие игры, как шахматы, бридж, “эрудит”, го и викторина. Примерно через 10 лет компьютер с усовершенствованными алгоритмами сможет одерживать верх над чемпионом мира по го. Кроме игр похожие технологии применяются в слуховых аппаратах, устройствах распознавания лиц и речи, в навигации, диагностике, планировании, логистике, а также для создания промышленных роботов, функционал которых стремительно увеличивается. Тем не менее, несмотря на расширение областей применения ИИ, становятся заметны и признаки, говорящие о его несовершенстве. Так, в 2010 году алгоритмы программ биржевых трейдеров случайно спровоцировали цепную реакцию падения цен, из-за которой фондовый рынок буквально за несколько секунд потерял триллион долларов. Справедливости ради нужно сказать, что алгоритмы, которые привели к возникновению этого кризиса, сами же помогли найти из него выход.

“Пожалуй, искусственный интеллект своими побудительными мотивами еще меньше будет напоминать человека, чем зеленый чешуйчатый пришелец из космоса”.

Эволюция ИИ
Будет ли развитие ИИ похожим на развитие человеческого интеллекта Вполне возможно, что эволюция ИИ пойдет несколькими путями. Британский математик и криптограф Алан Тьюринг верил, что когда-нибудь ученые создадут компьютерную программу, способную к самообучению. Эта гипотеза привела его к концепции “машины-ребенка” – машинного разума, аналогичного уму ребенка, который мог бы учиться и “взрослеть”.

“Первый напрашивающийся вопрос работниками-машинами будут владеть как капиталом (рабами) или их станут нанимать за заработную плату”

Второй путь эволюции ИИ может привести к созданию “умных” программ, основанных на архитектуре отдельно взятого человеческого мозга. Этот подход предполагает воссоздание мозга умершего человека в виде точной цифровой копии его интеллекта с сохраненными личностными особенностями и памятью. Такое копирование называется “загрузка разума” или “полная эмуляция мозга”. Работа по созданию необходимых для этого технологических решений может растянуться надолго – возможно, до середины XXI века. Третий путь эволюции – это применение методов генной инженерии для создания генетически усовершенствованных людей, чей объединенный интеллект составит “коллективный сверхразум”. В рамках этого сценария возможно создание киборгов и систем наподобие “интеллектуальных сетей”.

“Поскольку в результате взрывного развития искусственного интеллекта мировой ВВП взлетит до небес… также значительно увеличится совокупный доход от капитала”.

Сверхразум может существовать в трех формах. “Скоростной сверхразум” станет подобием человеческого мозга, но работать он будет во много раз быстрее. “Коллективный сверхразум” возникнет в результате взаимодействия многих интеллектов более простого уровня, которые смогут самостоятельно решать отдельные задачи в рамках единого масштабного проекта – например конструирования космического корабля. Третий вид сверхразума можно описать как “качественный сверхразум”. Это ИИ с настолько высоким уровнем развития, что он превосходит человеческий интеллект в той же степени, в какой последний превосходит интеллект дельфинов или шимпанзе. Ответ на вопрос о том, как быстро наука сможет создать новый тип разума, зависит от “силы оптимизации” (усилий ученых по интеллектуализации системы) и от “сопротивляемости”, то есть того, насколько сама система будет поддаваться оптимизации.

“Отключение от Интернета не гарантирует безопасность, если к ИИ приставлена охрана, причем люди, выступающие в этой роли, не только сторожат систему, но и постоянно с ней взаимодействуют”.

На пути к господству
По мере того как ученые изучают перспективы создания сверхразума, возникает все больше вопросов. Например, будут ли различные проекты по созданию сверхразума конкурировать друг с другом? И что случится, если одна из разработок опередит остальные и получит “решающее стратегическое преимущество”? Отдельный агент – носитель сверхразума – может получить такое преимущество, обеспечив себе верховенство способом, который недоступен для организаций, управляемых людьми. Например, он может создать неблагоприятные условия для работы конкурентов, одновременно обеспечив себе защиту от преследования со стороны международных органов. Вполне можно представить, что страна, обладающая таким агентом, превратится в “синглтона” – всесильное государство или наднациональную организацию наподобие ООН, обладающую ядерной монополией. Или что этот сверхразумный агент превратится в синглтона сам.

“Когда мы поймем, как решить проблему загрузки ценностей, то немедленно столкнемся со следующей – как решать, какие ценности надо загружать”.

Такое восхождение к власти могло бы начаться в самой невинной форме – например с возникновения “зародыша ИИ” с функцией “рекурсивного самосовершенствования” – возможностью создавать новые улучшенные версии самого себя. Но рано или поздно любая эволюция ИИ должна завершиться “взрывным развитием интеллекта”. Вполне возможно, что возникший в результате этого сверхразум, способный к постоянному совершенствованию и поиску любых необходимых ему ресурсов, захочет скрыть от людей, которые контролируют его работу, свои способности и цели. Аккумулировав достаточно средств и влияния, получив решающее стратегическое преимущество, этот агент может сбросить покров секретности и явиться миру в качестве игрока-одиночки – дружественного или не очень.

“Машинный сверхразум может сам по себе быть чрезвычайно влиятельной действующей силой, способной защитить себя как от проектов-конкурентов, так и от всего остального мира”.

Мотивация ИИ
Следует помнить, что “характер” у искусственного интеллекта, а следовательно, и у сверхразума, будет совсем не похож на человеческий. Фантазии о человекоподобном ИИ вводят нас в заблуждение. Согласно парадоксальному тезису об ортогональности (непересекаемости), между уровнем интеллекта агента и конечными целями, к которым он стремится, нет корреляции. Различные ИИ высокого уровня не обязательно будут разделять общие цели. Самосохранение может не являться основной мотивацией для сверхразума, но мотивация ИИ обязательно должна будет включать в себя определенные “инструментальные” цели, такие как технологическое совершенствование или сбор максимального количества ресурсов – вычислительных мощностей, энергии и сетей. Например, в отношении галактических полетов и колонизации планет других систем различные ИИ могут разделять общую инструментальную цель, связанную с запуском во Вселенную зондов фон Неймана (космических аппаратов, способных использовать энергию звезд и создавать собственные копии из полезных ископаемых, найденных на далеких планетах и астероидах).

“…Достаточно обладать сверхмощью лишь в одной области, чтобы обеспечить себе ее во всех остальных”.

Помимо различных допущений о мотивации сверхразума люди склонны считать, что “дружественный” ИИ, каким он казался в “песочнице” на этапе разработки, останется таким же и в дальнейшем. Но кто сможет гарантировать, что отдельно взятый ИИ, мотивированный на самосохранение, не будет способен на вероломство Ученые уже рассматривают стратегии по противодействию опасностям такого рода. Очевидное решение – ограничить возможности сверхразума. ИИ можно “поместить в «ящик»” (то есть жестко оградить его от контактов с внешним миром) или намеренно задерживать его развитие. Еще один вариант – создание системы детекторов, чутко реагирующей на изменения поведения ИИ, его способностей или внутренних процессов и блокирующей его в подозрительных ситуациях. В эту систему будут введены правила, указывающие на нежелательные ценности и действия, или ограничения в отношении целей.

“Поисковая система Google, без сомнения, представляет собой величайшую из когда-либо созданных систем искусственного интеллекта”.

Архитектура ИИ и сценарии будущего
Опасаясь, что ИИ может вырваться из-под контроля и начать совершать враждебные действия, некоторые предлагают ограничить мощность, сферу возможностей или функционал ИИ. Так, одна из упрощенных версий ИИ может быть создана в виде “оракула”, или системы, отвечающей на вопросы. Впрочем, программистам и в этом случае придется приложить немало усилий, чтобы ИИ давал максимально корректные ответы и не пытался манипулировать людьми. Другой вариант предполагает создание “джиннов”. По сути, это программы наподобие хорошо вышколенного слуги, который выполняет каждый раз только одну команду и ждет очередных указаний. При наихудшем сценарии “джинн” может воспринять последнюю полученную команду в качестве своей конечной цели и сопротивляться любым попыткам ее изменить. Еще одна разновидность ИИ, “монарх”, использует свою конечную цель как абсолютный приоритет и может совершать неограниченное количество действий для ее достижения. Такая система обладает максимальной независимостью, и контролировать ее сложнее всего.

“Сверхразум появится сравнительно быстро после создания ИИ человеческого уровня”.

Существует мнение, что безопаснее всего было бы создать ИИ в виде инструментов, которые можно сравнить со сверхразумным компьютерным ПО, у которого нет никаких амбиций. Но если программисты переусердствуют в создании “ИИ-инструментов”, они получат всего лишь послушных их командам роботов с пассивным “характером”, а не активного агента, имеющего собственную волю и способного к целеполаганию. Все ограничения могут применяться только до тех пор, пока программисты пытаются контролировать одного-единственного агента, обладающего сверхразумом. Представим ситуацию, в которой конкурируют и взаимодействуют друг с другом несколько “квази-синглтонов”. В этих условиях конфликтные ситуации могут быть разрешены уже без участия людей – так же быстро, как они разрешались в эпоху “холодной войны” под угрозой гарантированного взаимного уничтожения.

“Появление сверхразума может привести к огромным последствиям – как чрезвычайно позитивным, так и чрезвычайно негативным, вплоть до гибели человечества”.

При изучении различных сценариев того, как будет развиваться мир после создания сверхразума, стоит вспомнить, как технический прогресс повлиял на лошадь. Изобретение плуга и повозки расширило возможности использования лошади, однако автомобиль и трактор свели к минимуму ее практическое значение. Численность лошадей резко уменьшилась. Не получится ли так, что человечество в эпоху сверхразума ожидает подобная участь? Сегодня у людей имеются капитал, собственность и политическая сила, однако в обществе, в котором господствует сверхразум, эти преимущества могут ничего не значить.

“Способность к обучению как неотъемлемое свойство ядра системы должна закладываться при проектировании, а не добавляться в качестве запоздалого соображения позднее в виде расширения”.

Экономическая выгода, которую способен принести бизнесу ИИ, может быть огромной. Но неизбежно увеличивающийся разрыв в благосостоянии и уровне знаний может завести людей в мальтузианскую ловушку, когда рост численности населения опережает создание новых рабочих мест и влечет за собой дефицит ресурсов, необходимых для жизни, – пищи, пространства, чистого воздуха и питьевой воды.

“Если первая волна машинного сверхразума будет основана на имитационных моделях, то второй виток начнется, когда эмуляторы, занимающиеся дальнейшими исследованиями, добьются успеха в создании эффективного ИИ, способного к самосовершенствованию”.

Искусственный интеллект и этические принципы
Постоянно высказываемые сомнения относительно пользы ИИ неизменно сводятся к вопросу, способна ли наука создать ИИ с такими “конечными целями”, которые смогут обеспечивать мирное сосуществование человека и машины. Ученые могли бы подойти к процессу “загрузки системы ценностей” несколькими путями. Наверное, проще всего было бы встроить ценности в алгоритм работы ИИ. Но здесь возникает давнишняя проблема перевода нравственных принципов, не имеющих четких алгоритмов, на язык программного кода. Возможно, программисты решат взять за основу эволюцию человека, в процессе которой возникли понятия о морали, и попытаться ускоренно воспроизвести этот процесс в компьютерной программе со встроенными поисковыми алгоритмами. Еще один вариант – воспользоваться алгоритмами с функцией самообучения и поэтапного освоения ценностей.

Если методом создания мыслящей машины будет выбрана полная эмуляция головного мозга человека, то ученые смогут управлять мотивацией ИИ с помощью цифровых аналогов медицинских препаратов. По другому сценарию к группам эмуляторов со схожими параметрами можно будет применять такие средства социального контроля, как интеграция или субординация. Загрузка системы ценностей должна проводиться с отдельными “субагентами” в виде эксперимента, и только потом она сможет стать стандартной процедурой.

У науки есть практические стратегии наделения ИИ основами этических принципов. Эти принципы не обязательно будут похожи на общечеловеческие ценности – они станут уникальным созданием самого сверхразумного агента. Задавая этические ценности для носителя сверхразума, не нужно забывать о “принципе эпистемологического превосходства”, согласно которому непрерывно развивающийся ИИ, вероятно, будет намного лучше людей разбираться в том, что хорошо, а что нет, и человек должен по возможности полагаться на его оценку. Здесь напрашивается еще один фундаментальный вопрос сможет ли этот сверхразум руководствоваться человеческими эмоциями, такими как любовь и ненависть И если сможет, то как

Предельный срок
Среди всего разнообразия сценариев создания сверхразума наиболее практически реализуемый и, скорее всего, наиболее безопасный – это полная эмуляция головного мозга человека, а не создание синтетического ИИ, хотя некоторые ученые это оспаривают. У полной эмуляции головного мозга есть три преимущества. Во-первых, поскольку это копия мозга, мы будем понимать, как она функционирует. Во-вторых, компонентом эмуляции станет понятная для нас мотивация. В-третьих, создание полной эмуляции мозга предполагает более плавное начало развития ИИ, что позволит лучше его контролировать.

Какой бы путь ни выбрало человечество, скорее всего, до начала взрывного развития искусственного интеллекта остаются еще десятилетия. Тем не менее уже сегодня в преддверии появления ИИ люди напоминают детей, играющих миной с тикающим часовым механизмом. Даже эксперты не знают, что именно надо искать и чего опасаться. Неотвратимое в будущем появление ИИ таит в себе серьезную угрозу для существования человечества. Пока технологии развиваются медленно, подготавливая условия для начала этого стремительного развития, людям следует тщательно взвесить все философские и этические следствия прихода сверхразумного ИИ в наш мир. Ведь вполне возможно, что когда этот приход действительно состоится, раздумывать уже будет поздно.

Об авторе
Ник Бостром – профессор Оксфордского университета, директор-учредитель Института будущего человечества.

Добавиться в друзья можно вот тут

Понравился пост? Расскажите о нём друзьям, нажав на кнопочку ниже:

Tags: будущее, искусственный интелект, книга, книги в кратком изложении, роботизация, роботосоветники, роботы
Subscribe

Recent Posts from This Journal

promo perfume007 december 15, 23:59 19
Buy for 20 tokens
В продолжении по циклам солнечной активности. Спасибо taxfree за тематику данного поста. Как утверждается Владимиром Левченко - после экстремумов, т.е. максимумов и минимумов солнечной активности, на следующий год всегда наблюдается провал в темпах роста мировой экономики. Левченко утверждает,…
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 0 comments