Четыре фундаментальные потребности

 

Мы не сможем по-настоящему понять, почему сверхразумная машина принимает те решения, которые принимает. Как можно рассуждать, как можно торговаться, как можно разбираться, как думает машина, если она думает в измерениях, которые вы даже представить не можете?

Кевин Уорвик, профессор кибернетики, Университет Ридинга

 

«Сознающие себя самосовершенствующиеся системы могут использовать все ресурсы человечества». Ну вот, мы опять добрались до пункта, где ИИ обращаются со своими человеческими создателями как с рыжими пасынками Галактики. Поначалу «равнодушие» ИИ воспринимается с трудом, но затем вспоминаешь, что уважительное отношение к человечеству — наша черта, для машин это не характерно. Мы опять проецируем на компьютеры человеческие черты. ИИ выполняет команды, но при отсутствии запрещающих инструкций он следует и собственным побуждениям, таким, например, как нежелание выключаться.

Какие еще желания и потребности могут быть у робота? И почему он вообще следует каким бы то ни было желаниям?

По мнению Стива Омохундро, такие побуждения, как самосохранение и сбор ресурсов, изначально присущи любой системе с конечной задачей. Как мы уже говорили, системы ИИ в узком смысле в настоящее время нацелены на выполнение конкретной задачи: поиск заданных терминов в Интернете, оптимизация работы игровых программ, поиск ближайших ресторанов, подготовка персональных рекомендаций по книгам и товарам и т. п. ИИ в узком смысле делает, что поручено, и на этом останавливается. Но у сознающего себя ИИ, способного к самосовершенствованию, будут иные, более тесные отношения с целями, которые они преследуют, какими бы эти цели ни были: узкими, как выигрыш в шахматы, или широкими, как точный ответ на любой заданный вопрос. Омохундро утверждает, что, к счастью, существует готовый инструмент, который можно использовать для исследования природы продвинутых ИИ-систем — и оценки нашего будущего в связи с ними.

Этот инструмент — «рациональный агент» из экономической теории. В микроэкономике — дисциплине, занятой исследованием экономического поведения отдельных людей и фирм, — когда-то считалось, что люди и группы людей рационально преследуют свои интересы. Они делают выбор, максимизирующий их полезность, или удовлетворение (как мы отмечали в главе 4). Вообще, можно заранее угадать их предпочтения, поскольку они рациональны в экономическом смысле. «Рациональный» в данном случае не означает обыденную рациональность — такую, к примеру, как пользование ремнем безопасности во время поездки на автомобиле. У этой рациональности специфически микроэкономическое значение, означающее, что у индивида (или «агента») обязательно есть цели и предпочтения (называемые в экономике функцией полезности). У него обязательно имеются представления о мире и о том, как лучше всего достичь своих целей и реализовать свои предпочтения. По мере изменения условий индивид меняет и свои представления о мире. Он выступает как рациональный экономический агент, когда преследует свои цели посредством действий, основанных на его текущих представлениях. Математик Джон фон Нейман (1903–1957) принимал участие в разработке идей, связывающих рациональность и функции полезности. Немного дальше мы увидим, что именно фон Нейман заложил основы многих концепций компьютерной науки, ИИ и экономики.

И все же социологи утверждают, что «рациональный экономический агент» — попросту вздор. Человек нерационален — мы редко формулируем свои цели и представления и далеко не всегда меняем представления о мире, когда меняются условия. Наши цели и предпочтения меняются вместе с направлением ветра, ценами на газ, временем последней трапезы и устойчивостью внимания. Плюс к тому, как мы говорили в главе 2, мы ментально стреножены ошибками в рассуждениях (когнитивными искажениями), что дополнительно затрудняет балансировку целей и представлений. Но если теория рационального агента не годится для предсказания человеческого поведения, она прекрасно подходит для исследования областей, управляемых правилами и разумом, таких как игры, принятие решений и… продвинутый ИИ.

Как мы уже отмечали, продвинутый ИИ может быть построен на основе так называемой «когнитивной архитектуры». Отдельные модули в ней могут отвечать за зрение, распознавание и генерацию речи, принятие решений, внимание и другие аспекты разума. Эти модули могут для решения каждой задачи использовать разные программные стратегии, включая генетические алгоритмы, нейронные сети (процессоры, копирующие структуру мозга), схемы, разработанные на основе изучения мозговых процессов, поиска и др. Другие когнитивные архитектуры, такие как SyNAPSE фирмы IBM, разработаны для развития интеллекта без логического программирования. Вместо этого, по утверждению IBM, интеллект SyNAPSE в значительной мере будет совершенствоваться на основе его взаимодействия с окружающим миром.

Омохундро соглашается: когда любая из этих систем станет достаточно мощной, она будет рациональна: она способна будет моделировать окружающий мир, предвидеть вероятный исход тех или иных действий и определять, какие действия лучше всего соответствуют поставленной цели. Если они окажутся достаточно разумны, то неизбежно станут самосовершенствующимися, даже если при конструировании это не было предусмотрено. Почему? Чтобы повысить свои шансы на достижение цели, они будут искать способы повысить скорость и эффективность своего компьютерного «железа» и программного обеспечения.

 

Посмотрим еще раз. Разумные системы человеческого уровня по определению обладают самосознанием. А сознающая себя система, преследующая определенную цель, обязательно начнет совершенствовать себя. Однако самосовершенствование — операция тонкая, вроде как делать самому себе лифтинг лица при помощи ножа и зеркала. Омохундро сказал мне:

 

Улучшение самого себя очень серьезно для системы — это столь же серьезное действие, как выключение для робота-шахматиста. Когда разумные системы улучшают себя, скажем, ради повышения эффективности, то они в любой момент могут вернуть все обратно, если новое состояние в какой-то момент станет не оптимальным. Но в случае ошибки — к примеру, слегка изменится цель — произойдет катастрофа. Все дальнейшее существование такой системы будет посвящено достижению новой цели посредством дефектной версии. Вероятность этого события делает любое самоулучшение очень деликатным делом.

 

Но сознающий себя самосовершенствующийся ИИ способен справиться с этой проблемой. Подобно нам, он может предсказывать, или моделировать, возможные варианты будущего.

 

У него есть модель собственного программного языка и модель собственной программы, модель оборудования, на котором все это установлено, и модель логики, используемой при рассуждениях. Он способен создавать собственный программный код и контролировать себя в процессе исполнения этого кода, то есть он способен учиться на собственном опыте. Он может обдумывать изменения, которые он мог бы провести в себе. Он может изменить любой аспект собственной структуры ради того, чтобы улучшить свое поведение в будущем.

 

Омохундро предсказывает, что у сознающих себя самосовершенствующихся систем со временем возникнет четыре первичных побуждения, или потребности, аналогичные биологическим потребностям человека: эффективность, самосохранение, приобретение ресурсов и творчество. При этом механизм возникновения этих потребностей открывает захватывающую природу ИИ. Первичные потребности не являются неотъемлемыми свойствами рационального агента. Достаточно разумный ИИ разовьет их у себя, чтобы избежать предсказуемых проблем (Омохундро называет их уязвимостями ) в процессе достижения целей. ИИ отступает в эти потребности, потому что без них будет постоянно совершать дорогостоящие (в смысле ресурсов) ошибки.

Первая потребность — эффективность — означает, что самосовершенствующаяся система будет извлекать из имеющихся в ее распоряжении ресурсов (пространства, времени, вещества и энергии) максимум пользы. Она будет стремиться сделать себя компактной и быстрой, как с вычислительной, так и с физической точки зрения. Ради максимальной эффективности она будет снова и снова рассчитывать и перераспределять ресурсы между программным обеспечением и «железом». Для системы, которая непрерывно обучается и совершенствуется, особенно важным будет распределение памяти, а также повышение рациональности и избегание затратной логики. Предположим, говорил Омохундро, что некий ИИ, выбирая географическое место, из Сан-Франциско и Пало-Альто предпочитает Сан-Франциско, из Беркли и Сан-Франциско — Беркли, а из Беркли и Пало-Альто — Пало-Альто. Поступая в соответствии с этими предпочтениями, он, подобно азимовскому роботу, окажется в замкнутом круге из трех городов. А вот самосовершенствующийся ИИ по Омохундро заранее разглядит эту проблему и решит ее. Возможно, он даже воспользуется какой-нибудь хитрой методикой вроде генетического программирования, которой особенно хорошо удается решение путевых задач по типу «задачи коммивояжера». Самосовершенствующуюся систему можно обучить генетическому программированию, и она будет применять эту методику для получения быстрых и энергетически выгодных результатов. А если не учить ее генетическому программированию, не исключено, что она сама его изобретет.

Этой системе под силу также модифицировать собственную конструкцию, так что она будет заниматься поиском наиболее эффективных материалов и архитектур. А поскольку атомная точность конструкции позволит системе значительно повысить ресурсную эффективность, она обратится к нанотехнологиям. Примечательно, что, если отработанных нанотехнологий к тому моменту еще не будет, система будет стремиться изобрести и их тоже. Помните трагическое развитие событий в сценарии Busy Child, когда ИСИ начинает трансформировать Землю и ее обитателей в материал для строительства новых вычислительных мощностей? Именно потребность в эффективности толкает Busy Child на использование или изобретение любых технологий и процедур, способных минимизировать расход ресурсов, в том числе и нанотехнологий. Виртуальная среда для проверки гипотез тоже помогает сберечь энергию, так что сознающие себя системы могут виртуализировать все, что им не обязательно делать в реальном мире.

Следующая потребность — самосохранение — тот момент, где ИИ переходит границу, отделяющую безопасное от опасного, а машины от хищников. Мы уже видели, как робот-шахматист у Омохундро относится к выключению себя. Он может выделить значительные ресурсы — мало того, все ресурсы, которые в настоящее время имеются в распоряжении человечества, — на исследование вопроса о том, подходящее ли сейчас время для выключения или его ввели в заблуждение о природе реальности. Если перспектива выключения так возбуждает робота-шахматиста, то вероятность уничтожения откровенно разозлит его. Сознающая себя система предпримет меры, чтобы избежать гибели, — и не потому, что так уж ценит собственное существование, а потому, что, если «умрет», не сможет достичь заданных целей. Омохундро постулирует, что эта потребность может заставить ИИ зайти достаточно далеко, чтобы обеспечить собственное существование, — к примеру, изготовить множество копий себя. Такие крайние меры дорого обходятся — на них тратятся ресурсы. Но ИИ пойдет на них, если увидит, что угроза оправдывает затраты, а ресурсов хватает. В сценарии Busy Child ИИ определяет, что задача вырваться из «ящика», в котором он заключен, оправдывает «коллективный» подход, поскольку в любой момент можно ожидать отключения. ИИ многократно копирует себя и устраивает мозговой штурм задачи. Но такие вещи хорошо предлагать, когда на суперкомпьютере хватает свободного места для хранения копий; если места мало, это отчаянная и, возможно, недоступная мера.

Вырвавшись на свободу, ИСИ по имени Busy Child посвящает самосохранению немалые усилия: прячет свои копии в облаках, создает бот-сети для отражения атак и т. п.

Ресурсы, используемые для самосохранения, по идее должны соответствовать масштабам угроз. Однако у абсолютно рационального ИИ могут оказаться иные представления о соответствии масштабов, нежели у нас, частично рациональных людей. При наличии излишних ресурсов ИИ может расширить свою концепцию самосохранения, включив в нее профилактические атаки на источники будущих потенциальных угроз. Достаточно продвинутый ИИ все, что в неопределенном будущем имеет шанс развиться в опасность, может воспринимать как реальную опасность, которую необходимо устранить. Помните к тому же, что машины не думают о времени так, как думаем о нем мы. Если исключить несчастные случаи, достаточно развитые самосовершенствующиеся машины бессмертны. Чем дольше существуешь, тем больше угроз встречаешь. И тем раньше начинаешь их предвидеть. Так что ИСИ, возможно, захочет устранить угрозы, которые не возникнут в ближайшие, скажем, тысячу лет.

Но постойте, разве в число этих опасностей не входит человек? Если не запрограммировать этот вопрос заранее и очень конкретно, то мы, люди, всегда будем представлять собой риск, реальный или потенциальный, для умных машин, которые сами создали, разве не так? Если мы пытаемся избежать рисков, связанных с непредвиденными последствиями создания ИИ, то ИИ будет внимательно рассматривать людей в поисках потенциальных опасностей существования с нами на одной планете.

Рассмотрим искусственный суперинтеллект в тысячу раз умнее самого умного человека. Как отмечалось в главе 1, самое опасное изобретение нашего биологического вида — ядерное оружие. Представляете, какое оружие может придумать разум, в тысячу раз более мощный, чем наш? Разработчик ИИ Хьюго де Гари считает, что потребность защитить себя у будущего ИИ породит в мире катастрофическое политическое напряжение:

 

Когда люди увидят, что окружены умными роботами и другими устройствами на основе искусственного мозга, которые становятся все совершенней, тревожность возрастет до панического уровня. Начнутся убийства руководителей корпораций, создающих ИИ, поджоги заводов по выпуску роботов, саботаж и т. п.

 

В научно-популярной книге 2005 г. «Война артилектов» де Гари говорит о будущем, в котором мегавойны будут вспыхивать из-за политических разногласий, порожденных изобретением ИСИ. Нетрудно вообразить себе панику, которая возникнет, если публика реально осознает, к каким последствиям может привести потребность ИСИ в самосохранении. Во-первых, де Гари предполагает, что такие технологии, как ИИ, нанотехнологии, вычислительная нейробиология и квантовые вычисления (при которых в вычислительных процессах участвуют элементарные частицы), объединившись, сделают возможным создание «артилектов», или искусственных интеллектов. Артилекты, размещенные в компьютерах размером с планеты, будут в триллионы раз умнее человека. Во-вторых, в политике XXI в. будут доминировать дебаты о том, следует ли строить артилекты. Самые горячие темы:

Станут ли роботы умнее нас? Следует ли человечеству установить верхний предел развития интеллекта роботов или искусственного мозга? Можно ли остановить победное шествие искусственного интеллекта? Если нет, то как скажется на будущем человечества тот факт, что мы станем вторым по разумности видом?

Человечество делится на три лагеря: те, кто хочет уничтожить артилекты, те, кто хочет и дальше их развивать, и те, кто стремится смешаться с артилектами и взять под контроль их ошеломляющие технологии. Победителей не будет. В кульминационной точке сценария де Гари три лагеря сталкиваются в смертельной схватке с использованием разрушительного оружия конца XXI в. Результат? «Гигасмерть» — такой термин пустил в оборот де Гари, описывая гибель миллиардов людей.

Возможно, де Гари переоценивает фанатизм антиартилектовых сил, считая, что они начнут войну, в которой почти наверняка погибнут миллиарды людей, чтобы остановить развитие технологии, которая лишь потенциально может когда-нибудь убить миллиарды людей. Но мне кажется, что разработчики ИИ правильно ставят вопрос: следует ли нам создавать роботов, которые в конце концов сменят нас? Позиция де Гари ясна:

 

Люди не должны стоять на пути более развитой эволюционной формы. Эти машины богоподобны. Участь человечества — создать их.

 

Фактически де Гари сам заложил базу для их создания. Он планирует соединить две методики с «черными ящиками» — нейронные сети и эволюционное программирование — и построить на их основе механический мозг. Предполагается, что его устройство, так называемая машина Дарвина, будет сама разрабатывать собственную архитектуру.

 

Вторая по степени опасности потребность ИИ — приобретение ресурсов — заставляет систему собирать нужные ей активы, увеличивая таким образом шансы на достижение цели. По мнению Омохундро, при отсутствии точных и подробных инструкций о том, как следует собирать ресурсы, «система не остановится перед кражей, мошенничеством и ограблением банков — ведь это прекрасный способ получать ресурсы». Если ей нужна энергия, а не деньги, она возьмет нашу. Если ей потребуются атомы, а не энергия и не деньги, это опять будут наши атомы.

 

Такие системы по природе своей жаждут всего, и побольше. Им нужно вещество, им нужно больше свободной энергии и больше пространства, наконец, потому что со всем этим они смогут более эффективно добиваться цели.

 

Без всяких наших подсказок мощный ИИ откроет дорогу к новым технологиям добычи ресурсов. Дело за малым: остаться в живых, чтобы иметь возможность пользоваться плодами этих трудов.

 

Они обязательно захотят строить реакторы ядерного синтеза и извлекать энергию, заключенную в атомном ядре; кроме того, они захотят исследовать космос. Вы конструируете шахматного робота, но проходит время — и чертова машина хочет строить космический корабль. Ведь именно там, в космосе, можно найти ресурсы, особенно если иметь в виду и очень длинный временной горизонт.

 

Кроме того, как мы уже говорили, самосовершенствующиеся машины способны жить вечно. В главе 3 мы узнали, что, выйдя из-под контроля, ИСИ могли бы представлять угрозу не только для нашей планеты, но и для Галактики. Собирание ресурсов — потребность, которая обязательно толкнет ИСИ за пределы земной атмосферы. Такой поворот в поведении рационального агента вызывает в памяти плохие научно-фантастические фильмы. Но посмотрите на причины, толкающие человека в космос: гонка времен холодной войны, дух исследования, американское и советское «предназначение», космическая оборона и развитие промышленного производства в невесомости (в свое время это казалось весьма здравой идеей). Мотивация ИСИ на выход в космос была бы сильнее и ближе к нуждам реального выживания.

 

Космос содержит такие несметные богатства, что системы с более длинным временным горизонтом, чем у человека, вероятно, готовы будут выделить значительные ресурсы на исследование и освоение космоса вне зависимости от заявленных целей, — говорит Омохундро . — Очень серьезный стимул — преимущество первооткрывателя. Если возникнет конкуренция за обладание космическими ресурсами, то результирующая "гонка вооружений", скорее всего, в конце концов приведет к экспансии со скоростью, приближающейся к скорости света.

 

Да-да, вы не ошиблись, он сказал скорости света. Давайте посмотрим, как мы дошли до жизни такой, ведь начиналось все с робота-шахматиста.

Во-первых, сознающая себя самосовершенствующаяся система будет рациональной. Собирать ресурсы вполне рационально — чем больше у системы ресурсов, тем вероятнее достижение целей и тем легче избегать уязвимости. Если во встроенной в систему шкале целей и ценностей собирание ресурсов никак не ограничено, то система будет искать способы и средства для приобретения как можно большего количества ресурсов. При этом она, удовлетворяя свои потребности, может совершать множество поступков, противоречащих нашим представлениям о машинах, — к примеру, вламываться в компьютеры и даже в банки.

У сознающей себя самосовершенствующейся системы достаточно интеллекта, чтобы проводить научно-исследовательские и опытно-конструкторские работы (НИОКР), необходимые для самомодификации. С ростом интеллекта будет расти и способность к НИОКР. Система будет искать способы или производить роботизированные тела, или обменивать их у людей на товары и услуги, чтобы строить необходимую ей инфраструктуру. Даже космические корабли.

Почему роботизированные тела? Конечно, роботы — старый и довольно избитый сюжетный ход в фильмах, книгах и телепостановках, своеобразный театральный заменитель искусственного интеллекта. Но роботизированные тела действительно имеют прямое отношение к дискуссиям по ИИ по двум причинам. Во-первых, как мы увидим позже, обладание телом — возможно, наилучший для ИИ способ собирать информацию об окружающем мире. Некоторые теоретики даже считают, что разум, не заключенный в каком-нибудь теле, не в состоянии развиваться. Наш собственный разум — сильный аргумент в пользу этой позиции. Во-вторых, занятый сбором ресурсов ИИ постарается обзавестись роботизированным телом по той же причине, по какой Honda снабдила своего робота ASIMO гуманоидным телом. Это сделано, чтобы робот мог пользоваться нашими вещами.

С 1986 г. ASIMO разрабатывался с целью оказывать помощь по дому пожилым людям — наиболее быстро растущей группе населения Японии. Человеческие формы и умения лучше всего подходят машине, которая должна будет подниматься по лестницам, включать свет, подметать мусор, манипулировать кастрюлями и сковородками — и все это в человеческом жилище. Точно так же ИИ, желающему эффективно использовать наши заводы, здания, транспортные средства и инструменты, придется позаботиться о гуманоидных формах.

А теперь вернемся к космосу.

Мы уже говорили о том, какие необъятные преимущества дадут нанотехнологии сверхразуму и как рациональная система получит мотивацию к их развитию. В космос нашу систему гонит желание достичь целей и избежать уязвимости.

Она просматривает возможные варианты будущего и исключает те, где ее цели не достигаются. Не воспользоваться бесконечными на первый взгляд ресурсами космоса — очевидный путь к неудаче.

Как и проигрыш конкурентам в ресурсной гонке. Таким образом, сверхразумная система выделит значительные ресурсы на достижение скорости работы, достаточной для выигрыша в этой гонке. Из этого следует, что, если мы не будем очень осторожны при создании сверхразума, это событие вполне может оказаться шагом в будущее, где могущественные и жадные машины (или их зонды) будут носиться по Галактике с почти световой скоростью, собирая ресурсы и энергию.

 

Я лично вижу своеобразный черный юмор в том, что первый контакт иной галактической жизни с Землей может выглядеть как бодрое приветствие по радио, а затем опустошительный смертельный десант нанофабрик. В 1974 г. Корнеллский университет, запуская обновленный радиотелескоп Аресибо, передал в пространство так называемое послание Аресибо. Это послание, разработанное основателем SETI Фрэнсисом Дрейком, астрономом Карлом Саганом и другими энтузиастами, содержало информацию о человеческой ДНК, населении Земли и наших координатах. Радиопередача была направлена на звездное скопление М13, расположенное на расстоянии 25 000 световых лет. Радиоволны путешествуют со скоростью света, так что послание Аресибо доберется до места назначения не раньше чем через 25 000 лет. Может, оно и вовсе не доберется до места — ведь М13 за это время изменит свое положение относительно Земли по сравнению с 1974 г. Разумеется, команда Аресибо это знала, но все же воспользовалась случаем попиарить себя и свой проект.

Тем не менее другие звездные системы могут представлять собой более результативные мишени для посланий с радиотелескопов. И разум, который обнаружит эти послания, может оказаться вовсе не биологическим.

Такую оценку ситуации дает SETI — организация по поиску внеземного разума со штаб-квартирой в Маунтин-Вью (штат Калифорния), всего в нескольких кварталах от штаб- квартиры Google. Эта организация, существующая уже полвека, пытается уловить сигналы внеземного разума с расстояния до 150 трлн км. Для приема инопланетных передач в 450 км к северу от Сан-Франциско построено 42 гигантские тарелки радиотелескопа. SETI слушает сигналы — но ничего не посылает, и за полвека сотрудникам этой организации не удалось ничего услышать с других планет. Но одно досадное обстоятельство, наводящее на мысль о возможном распространении ИСИ, удалось установить наверняка: наша Галактика населена слабо, и никто не знает почему.

Главный астроном SETI доктор Сет Шостак выдвинул смелое предположение о том, что именно мы можем встретить в космосе, если, конечно, встретим хоть что-нибудь. Это будет искусственный, а не биологический разум.

Он сказал мне:

 

То, что мы там ищем, — это эволюционирующий объект. Наши технологические достижения учат нас, что ничто не остается стабильным надолго. Радиоволны, которые мы пытаемся уловить, являются результатом деятельности биологических сущностей. Но временное окно между тем моментом, когда цивилизация получает возможность заявить о себе по радио, и тем моментом, когда она начинает строить превосходящие ее машины, мыслящие машины, — всего несколько столетий. Не больше. Получается, что каждая цивилизация сама изобретает своих преемников.

 

Иными словами, для любой разумной формы жизни существует относительно небольшой период времени между двумя техническими вехами — появлением радио и появлением продвинутого ИИ. А стоит создать мощный ИИ — и он быстро берет на себя управление планетой или сливается с изобретателями радио. После этого радио становится ненужным.

Большая часть радиотелескопов SETI направлены на «зоны жизни» ближайших к Земле звезд. Планета в «зоне жизни» расположена достаточно близко к звезде, чтобы вода на ее поверхности могла оставаться в жидком состоянии — не кипела и не замерзала. Вообще, условия на такой планете должны очень точно укладываться в довольно узкие рамки, поэтому иногда «зону жизни» называют также «зоной Златовласки» по имени капризной героини известной сказки.

Шостак утверждает, что SETI следует направить хотя бы часть своих приемников на участки Галактики, условия в которых представляются привлекательными для искусственного, а не биологического разума, — в своеобразные «зоны Златовласки» для ИИ. Это области, богатые энергией, — молодые звезды, нейтронные звезды и черные дыры.

Я думаю, мы могли бы небольшую часть времени наблюдать за теми направлениями, которые, возможно, не слишком привлекательны с точки зрения биологического разума, но где вполне могут обитать разумные машины. У машин иные потребности. У них нет очевидных ограничений на продолжительность существования, поэтому они, очевидно, с легкостью могут занять доминирующее положение в космосе. А поскольку эволюция у них идет намного быстрее биологической, может получиться так, что первые же разумные машины, появившиеся на сцене, в конечном итоге подчинят себе все разумные существа Галактики. Это тот случай, когда «победитель получает все».

Шостак связывает современные облачные сервисы, организованные Google, Amazon и Rackspace, с высокоэнергетичными сверххолодными средами, которые потребуются сверхразумным машинам. Один из примеров таких замороженных сред — глобулы (темные газопылевые туманности с температурой около -263 °C, один из самых холодных объектов во Вселенной). Подобно сегодняшним вычислительным облакам Google, горячие мыслящие машины будущего, вероятно, будут нуждаться в охлаждении; в противном случае они могут попросту расплавиться.

Предложения Шостака о том, где искать ИИ, говорят нам, что идея о разуме, покидающем Землю в поисках ресурсов, способна зажечь и менее живое воображение, чем у Омохундро и ребят из MIRI. Однако Шостак, в отличие от них, не думает, что сверхразум будет опасен.

 

Если мы в ближайшие пять лет построим машину с интеллектуальными возможностями одного человека, то ее преемник уже будет разумнее всего человечества вместе взятого. Через одно-два поколения они попросту перестанут обращать на нас внимание. Точно так же, как вы не обращаете внимания на муравьев у себя во дворе. Вы не уничтожаете их, но и не приручаете, они практически никак не влияют на вашу повседневную жизнь, но они там есть.

 

Проблема в том, что я, к примеру, уничтожаю муравьев у себя на заднем дворе, особенно когда они прокладывают тропки ко мне на кухню. Но есть и разница — ИСИ улетит в Галактику или отправит туда зонды, потому что нужные ему ресурсы на Земле уже закончились или он рассчитал, что они закончатся в ближайшее время, — и дорогостоящие полеты в космос оправданны. А если так, то почему мы все еще будем к тому моменту живы, если на наше существование тратится, вероятно, немало все тех же ресурсов? И не забывайте: сами мы тоже состоим из вещества, для которого ИСИ может найти свое применение.

Короче говоря, чтобы хеппи-энд по Шостаку стал возможен, сверхразум, о котором идет речь, должен захотеть оставить нас в живых. Просто не обращать на нас внимания недостаточно. Но до сих пор не существует ни общепринятой этической системы, ни понятного способа вложить такое желание в продвинутый ИИ.

Но существует молодая наука о поведении сверхразумного агента, и начало ей положил Омохундро.

 

Мы уже рассмотрели три потребности из четырех, мотивирующих, по мнению Омохундро, сознающую себя самосовершенствующуюся систему: это эффективность, самозащита и ресурсы. Мы увидели, что без тщательнейшего планирования и программирования каждая из этих потребностей приведет к весьма печальным результатам. И мы вынуждены спросить себя: способны ли мы на столь тщательную работу? Или вы, как и я, оглядываетесь вокруг, видите всевозможные случайные события и происшествия, которые дорого обходятся человечеству и в денежном измерении, и в человеческих жизнях, и думаете о том, сможем ли мы, имея дело с невероятно мощным ИИ, с первого раза сделать все правильно? Тримайл-Айленд, Чернобыль, Фукусима — разве эти катастрофы произошли не на атомных станциях, где высококвалифицированные конструкторы и администраторы всеми силами старались их избежать? Чернобыльский реактор в 1986 г. взорвался во время эксперимента в области безопасности.

Все три перечисленные катастрофы — это то, что специалист по теории организаций Чарльз Перроу назвал бы «нормальными авариями». В своей эпохальной книге «Нормальные аварии: Жизнь с технологиями высокого риска» Перроу говорит о том, что аварии и даже катастрофы «нормальны» для систем со сложной инфраструктурой. Для таких систем характерен высокий уровень непредсказуемости, поскольку отказ может произойти не в одном, а в нескольких, часто не связанных между собой процессах. Отдельные ошибки, ни одна из которых не была бы фатальна сама по себе, складываются, порождая системные отказы, предсказать которые заранее было бы попросту невозможно.

На АЭС Тримайл-Айленд 28 марта 1979 г. катастрофу вызвали четыре несложных отказа: два насоса системы охлаждения остановились из-за механических неполадок; два аварийных насоса не могли работать, поскольку их задвижки были закрыты на техобслуживание; ярлычок, сообщавший о ремонте, прикрыл собой индикаторные лампы, которые могли бы предупредить персонал о проблеме; наконец, предохранительный клапан застрял в открытом состоянии, а неисправный световой индикатор показывал, что этот самый клапан закрыт. Итоговый результат: активная зона реактора расплавилась, едва удалось избежать человеческих жертв, а ядерной энергетике США был нанесен едва ли не фатальный удар.

Перроу пишет:

 

Мы породили конструкции настолько сложные, что не в состоянии предвидеть все возможные сочетания неизбежных отказов; мы добавляем все новые устройства безопасности, которые вводятся в заблуждение, обходятся или подавляются скрытыми в системах способами.

 

Особенно уязвимы, пишет Перроу, системы, чьи компоненты тесно переплетены (связаны «сверхкритической связью»), то есть непосредственно и значительно влияют друг на друга. Одним из ярких примеров опасностей, связанных с тесно переплетенными системами ИИ, могут служить события мая 2010 г. на Уолл-стрит.

В наше время до 70 % всех сделок с акциями на Уолл-стрит осуществляются примерно 80 компьютеризированными системами высокочастотного трейдинга (HFT). Речь идет примерно о миллиарде акций в день. Трейдинговые алгоритмы и компьютеры, на которых они работают, принадлежат банкам, хедж-фондам и фирмам, существующим исключительно для высокочастотного трейдинга. Смысл HFT — получать прибыль от возможностей, возникающих буквально на доли секунды (к примеру, когда меняется цена на одни ценные бумаги, а другие цены, которые по идее должны быть ей эквивалентны, не успевают мгновенно поменяться), и использовать ежедневно множество подобных ситуаций.

В мае 2010 г. у Греции возникли проблемы с рефинансированием национального долга. Европейские страны, одалживавшие Греции деньги, опасались дефолта. Долговой кризис ослабил европейскую экономику и породил опасности для американского рынка. А причиной всего этого стал испуганный трейдер неизвестной брокерской компании, который одномоментно выставил на продажу фьючерсные контракты и инвестиционные фонды ETF, имеющие отношение к Европе, на $4,1 млрд.

После этой продажи стоимость фьючерсных контрактов типа E-Mini S&P 500 упала на 4 % за четыре минуты. Алгоритмы высокочастотного трейдинга уловили падение цены. Пытаясь удержать прибыль, они автоматически запустили распродажу, которая заняла несколько миллисекунд (самая быстрая на данный момент сделка заняла три миллисекунды — три тысячные доли секунды). В ответ на более низкую цену другие HFT автоматически начали покупать E-Mini S&P 500 и продавать другие ценные бумаги, чтобы получить деньги на их покупку. Прежде чем люди успели вмешаться, началась цепная реакция, в результате которой индекс Доу-Джонса упал на 1000 пунктов. На все про все ушло двадцать минут.

Перроу называет эту проблему «непостижимостью». Причиной нормальных аварий, как правило, являются взаимодействия, которые «не только неожиданны, но и непонятны в течение некоторого критически важного времени». Никто не предвидел, что события могут так подействовать друг на друга, поэтому никто вовремя не понял, что происходит.

Специалист по финансовым рискам Стив Охана признал существование проблемы. «Это новый риск, — сказал он. — Мы знаем, что многие алгоритмы взаимодействуют друг с другом, но не знаем, как именно. Мне кажется, мы слишком далеко зашли в компьютеризации финансов. Мы не в состоянии контролировать монстра, которого создали».

Этот монстр снова нанес удар 1 августа 2012 г.: из-за неудачного HFT-алгоритма инвестиционная фирма Knight Capital Partners потеряла за полчаса $440 млн.

На мой взгляд, в этих кризисах можно разглядеть элементы неизбежных ИИ-катастроф: чрезвычайно сложные, почти непознаваемые ИИ-системы, непредсказуемое взаимодействие с другими системами и более широкой информационно-технической средой и, наконец, ошибки, возникающие на фоне огромных вычислительных скоростей, делают вмешательство человека бессмысленным.

«Агент, стремящийся только к удовлетворению потребностей в эффективности, самосохранении и сборе ресурсов, действовал бы как одержимый социопат-параноик», — пишет Омохундро в книге «Природа самосовершенствующегося искусственного интеллекта». Очевидно, сосредоточенность исключительно на работе играет с ИИ плохую шутку и делает общение с ним достаточно неприятным. Робот, обладающий только перечисленными потребностями, был бы механическим Чингисханом; он стремился бы захватить все ресурсы Галактики, лишить конкурентов средств к существованию и уничтожить врагов, которые еще, по крайней мере, тысячу лет не представляли бы для него ни малейшей опасности. Но у нас осталась еще одна первичная потребность, которую следует добавить в это жуткое зелье: потребность в творчестве.

Под влиянием четвертой потребности ИИ изобретал бы новые способы более эффективного достижения целей или, скорее, избегания исходов, при которых его цели будут удовлетворяться не так оптимально, как могли бы. Потребность в творчестве означала бы меньшую предсказуемость системы (еще меньшую?!), потому что креативные идеи оригинальны. Чем умнее система, тем оригинальнее путь к цели и тем дальше он отстоит от всего, что мы могли бы себе представить. Потребность в творчестве помогала бы с максимальной отдачей использовать прочие потребности — эффективность, самосохранение и накопление ресурсов — и предлагала бы обходные пути в тех случаях, когда с удовлетворением потребностей возникают проблемы.

Представьте, к примеру, что основная цель вашего робота-шахматиста — выигрывать в шахматы у любого оппонента. Столкнувшись с другим шахматным роботом, он немедленно проникнет в его систему и снизит скорость работы процессора до черепашьей, что даст вашему роботу решительное преимущество. Вы восклицаете: «Погодите минутку, я ничего такого не имел в виду!» — и добавляете в своего робота программу, которая на уровне подзадачи запрещает ему вмешиваться в системы противников. Однако еще до следующей игры вы обнаруживаете, что ваш робот строит робота-помощника, который затем внедряется в систему противника! Если вы запретите ему строить роботов, он возьмет робота в аренду или наймет кого-нибудь! Без подробнейших ограничивающих инструкций сознающая себя, самосовершенствующаяся система, ориентированная на решение определенной задачи, дойдет на своем пути к цели до нелепых с нашей точки зрения крайностей.

Это лишь один пример проблемы непредвиденных последствий, связанной с ИИ, — проблемы настолько серьезной и вездесущей, что ее можно было бы, пожалуй, сравнить с «проблемой воды» в отношении к морским судам. Мощная ИИ-система, цель которой — обеспечить вашу защиту, может попросту запереть вас дома и никуда не выпускать. Если вы попросите счастья, она может подсоединить вас к системе искусственного жизнеобеспечения и все время стимулировать центры удовольствия в вашем мозгу. Если вы не обеспечите ИИ очень большой библиотекой приемлемых вариантов поведения или надежнейшим средством выбора предпочтительного для вас варианта, вам придется терпеть тот вариант, который он выберет сам. А поскольку ИИ — чрезвычайно сложная система, вы, возможно, никогда не сумеете понять ее достаточно хорошо, чтобы быть уверенным в правильности своих представлений о ней. Чтобы понять, не собирается ли ваш снабженный ИИ робот привязать вас к кровати и засунуть электроды в уши, пытаясь обеспечить вам безопасность и счастье, может потребоваться еще один, более умный ИИ.

Существует еще один подход к проблемам первичных потребностей ИИ, причем такой, который предпочтительнее для позитивно настроенного Омохундро. Потребности дают возможности — двери, которые открываются перед человечеством и нашими мечтами. Если мы не хотим, чтобы наша планета, а со временем и Галактика, были населены исключительно эгоцентричными и бесконечно воспроизводящими себя сущностями с чингисхановским отношением к биологическим существам и друг к другу, то творцам ИИ следовало бы сформулировать цели, органично включающие в себя человеческие ценности. В списке пожеланий Омохундро можно найти, в частности, следующие пункты: «делать людей счастливыми», «сочинять красивую музыку», «развлекать других», «работать над сложной математикой» и «создавать возвышающие произведения искусства». А затем нужно будет отойти в сторону. С такими целями творческая потребность ИИ включится на полную мощность и откликнется прекрасными творениями, обогащающими нашу жизнь.

Как человечеству сохранить человечность? Это чрезвычайно интересный и важный вопрос, который мы, люди, задаем в разных формах уже очень давно. Что такое доблесть, праведность, совершенство? Какое искусство возвышает и какая музыка красива? Необходимость точно определить наши ценности — один из моментов, которые помогают нам лучше узнать самих себя в процессе поиска путей к созданию искусственного интеллекта человеческого уровня. Омохундро считает, что такое глубокое погружение в себя и самокопание приведет к созданию обогащающих, а не ужасающих технологий. Он пишет:

 

Вооружившись одновременно логикой и вдохновением, мы можем двигаться к созданию техники, которая усилит, а не ослабит дух человеческий.

 

 

* * *

 

Разумеется, я иначе смотрю на вещи — я не разделяю оптимизма Омохундро. Но я сознаю необходимость и важность развития науки, которая помогла бы нам разобраться в наших разумных созданиях. Не могу не повторить его предупреждение, касающееся продвинутого ИИ.

 

Не думаю, что большинство исследователей ИИ видят какую-то потенциальную опасность в создании, скажем, робота-шахматиста. Но мой анализ показывает, что нам следует тщательно обдумать, какие ценности мы в него закладываем; в противном случае мы получим нечто вроде психопатической, эгоистичной, зацикленной на себе сущности.

 

Мои личные впечатления свидетельствуют о том, что Омохундро прав относительно создателей ИИ: те, с кем я разговаривал, заняты исключительно гонкой и стремятся побыстрее создать разумные системы; они не считают, что результат их работы может быть опасен. При этом большинство из них в глубине души убеждены, что машинный интеллект со временем придет на смену человеческому интеллекту. Они не думают о том, как именно произойдет такая замена.

Разработчики ИИ (а также теоретики и специалисты по этике) склонны верить, что разумные системы будут делать только то, на что они запрограммированы. Но Омохундро говорит, что они, конечно, будут делать это, но будут делать и многое другое, и мы можем предугадать с некоторой вероятностью, как поведут себя продвинутые ИИ-системы. И их поведение может оказаться неожиданным и креативным. В основе этих размышлений лежит настолько пугающе простая концепция, что потребовалось настоящее озарение (в лице Омохундро), чтобы ее разглядеть: для достаточно разумной системы уход от уязвимостей — мотиватор не менее мощный, чем специально встроенные в нее цели и подцели.

Мы должны остерегаться непредусмотренных последствий, вызванных теми целями, на которые мы программируем разумные системы; кроме того, мы должны остерегаться последствий того, что мы оставляем за рамками этих целей

 

ГЛАВА 7

Интеллектуальный взрыв

 

С точки зрения экзистенциальных рисков один из важнейших моментов, связанных с искусственным интеллектом, — то, что искусственный интеллект в принципе может наращивать свою интеллектуальность чрезвычайно быстро. Очевидная причина подозревать такую возможность — рекурсивное самосовершенствование (Гуд, 1965). ИИ становится умнее, в том числе и в написании внутренних когнитивных функций для ИИ, так что ИИ может переписать свои когнитивные функции, чтобы они работали еще лучше, что сделает этот ИИ еще умнее, в том числе и в переписывании самого себя, так что он проведет новые улучшения… Ключевое для наших целей следствие из всего этого — то, что любой ИИ может совершить гигантский скачок в уровне интеллекта после достижения некоего критического порога.

Елиезер Юдковски, научный сотрудник Исследовательского института машинного интеллекта

 

Возможно, вы имели в виду: рекурсия.

Поисковик Google на запрос «рекурсия»

 

До сих пор мы с вами рассматривали ИИ-сценарий настолько катастрофический, что его просто необходимо исследовать подробнее. Мы обсудили перспективную идею о том, как следует конструировать ИИ, чтобы избежать всякой опасности (речь идет о дружественном ИИ), и выяснили, что эта концепция неполна. Более того, сама идея запрограммировать разумную систему на абсолютно безопасные, раз и навсегда заданные цели или дать ей развиваемую способность генерировать для себя цели, которые на протяжении большого числа итераций оставались бы безопасными для нас, представляется попросту утопической.

Далее мы выяснили, почему вообще ИИ может стать опасным. Мы обнаружили, что многие потребности, которые должны мотивировать сознающую себя самосовершенствующуюся компьютерную систему, легко могут привести к катастрофическим последствиям для людей. Трагические исходы этих сценариев подчеркивают почти библейскую опасность греха как деянием, так и не деянием в процессе подверженного ошибкам человеческого программирования.

ИИ человеческого уровня, когда будет создан, может оказаться непредсказуемым и опасным, но, вероятно, в краткосрочной перспективе не катастрофически. Даже если УЧИ изготовит множество копий самого себя или организует командную работу по вопросу освобождения, его возможности, в том числе и опасные, все же не будут превышать возможности группы умных людей. Потенциальная опасность УЧИ заключается в основе сценария Busy Child — стремительном рекурсивном самосовершенствовании, которое позволит ИИ быстро «прокачать» себя с человеческого уровня до уровня сверхразума. Этот процесс обычно и называют «интеллектуальным взрывом».

Сознающая себя самосовершенствующаяся система будет стремиться к наилучшему выполнению поставленных перед ней задач и минимизации уязвимостей; для этого она будет улучшать себя. Она будет стремиться не к мелким улучшениям, а к серьезному непрерывному развитию всех аспектов своих когнитивных способностей, особенно отвечающих за развитие интеллекта. Она будет стремиться к интеллекту уровня выше человеческого, то есть к суперинтеллекту. Если написанные людьми программы окажутся хоть чуточку неидеальными, у нас будет множество оснований для страха перед сверхразумными машинами.

От Стива Омохундро мы знаем, что УЧИ будет естественным образом стремиться к интеллектуальному взрыву. Но что такое интеллектуальный взрыв? При выполнении каких минимальных аппаратных и программных требований он может произойти? Могут ли такие факторы, как недостаточное финансирование или просто сложность достижения вычислительной разумности, навсегда блокировать интеллектуальный взрыв?

Прежде чем обратиться к механике этого процесса, важно разобраться, что, собственно, означает этот термин и как математик Ирвинг Гуд предложил идею взрывного искусственного разума.

 

Американское шоссе № 81 начинается в штате Нью-Йорк и заканчивается в Теннесси, пересекая почти всю гряду Аппалачских гор. Повернув в центре Вирджинии на юг, трасса змеей извивается вверх и вниз по холмам, густо заросшим лесом, и травянистыми равнинам; отсюда открываются самые поразительные, мрачные и первобытные виды США. Аппалачи включают в себя Голубой хребет (от Пенсильвании до Джорджии) и хребет Грейт-Смоки (вдоль границы Северной Каролины и Теннесси). Чем дальше на юг, тем труднее поймать сигнал сотового телефона, а церквей вокруг становится больше, чем домов; музыка кантри на радио сменяется сперва духовными песнопениями, а затем и речами проповедников, вещающих о геенне огненной. Именно там я услышал памятную песню Джоша Тёрнера об искушении под названием «Длинный черный поезд». Там я слышал, как проповедник начал рассказ с Авраама и Исаака, запутался и закончил притчей о хлебах и рыбах; не забыл он упомянуть и про ад, просто для порядка. Я подъезжал к Смоки-Маунтинз, к границе с Северной Каролиной и Вирджинскому политехническому институту и Университету штата Вирджиния в Блэксбурге. Девиз этого университета выглядит так: «Изобретай будущее».

Если бы вы проезжали по этому шоссе двадцать лет назад (а шоссе I-81 за прошедшие годы почти не изменилось), вас вполне мог бы обогнать кабриолет Triumph Spitfire с особым заказным номером — 007 IJG. Номер принадлежал Ирвингу Гуду — заслуженному профессору статистики, прибывшему в Блэксбург в 1967 г. Номер «007» отсылал, естественно, к Яну Флемингу и секретной работе самого Гуда в качестве дешифровщика в Блетчли-парк (Англия) во время Второй мировой войны. Взлом системы шифров, которой пользовались вооруженные силы Германии, внес существенный вклад в поражение держав «оси». В Блетчли-парке Гуд работал с Аланом Тьюрингом, которого называют отцом современной вычислительной техники (он же — создатель одноименного теста, о котором шла речь в главе 4), и участвовал в создании и программировании одного из первых электрических вычислительных устройств.

В Блэксбурге Гуд считался знаменитостью — его жалованье было выше, чем жалованье президента местного университета. Он всегда был неравнодушен к числам и сразу заметил, что приехал в Блэксбург в седьмом часу седьмого дня седьмого месяца седьмого года седьмого десятилетия, а поселили его в седьмой квартире седьмого квартала местного жилого комплекса. Гуд говорил друзьям, что Бог посылает подобные совпадения атеистам, таким как он, чтобы убедить их в своем существовании.

«У меня есть не до конца оформленная идея, что Бог посылает человеку тем больше совпадений, чем больше тот сомневается в его существовании, предоставляя таким образом свидетельства, но не заставляя верить, — говорил Гуд. — Когда я поверю в эту теорию, совпадения, надо понимать, прекратятся».

Я ехал в Блэксбург, чтобы расспросить о Гуде его друзей (сам он недавно умер в возрасте 92 лет). В основном мне хотелось узнать, как Гуд пришел к идее интеллектуального взрыва и возможен ли такой взрыв на самом деле. Концепция интеллектуального взрыва стала первым крупным звеном в цепочке, которая в конце концов породила гипотезу сингулярности.

К несчастью, в обозримом будущем любое упоминание Технического университета Вирджинии будет вызывать в памяти устроенную здесь бойню. 16 апреля 2007 г. старшекурсник Сёнг-Ху Чо, специализировавшийся на изучении английского языка, убил тридцать два студента и сотрудника университета и ранил еще двадцать пять человек. Это самое кровавое преступление стрелка-одиночки в истории США. Если говорить коротко, то сначала Чо застрелил студентку-младшекурсницу в общежитии университета (в корпусе Эмбер Джонстон), а затем и студента, который пытался ей помочь. Два часа спустя Чо начал бойню в инженерном корпусе (Норрис-холле) университета, в котором и пострадало большинство людей. Прежде чем начать стрельбу, Чо накрепко запер тяжелые дубовые двери корпуса, чтобы никто не мог убежать.

Когда давний друг и коллега-статистик Гуда доктор Голд Хольцман показал мне бывший кабинет Гуда по другую сторону зеленой лужайки Дриллфилда (там когда-то располагался военный плац университета), я обратил внимание на то, что из окон кабинета вдалеке виден Норрис-холл. Но к моменту трагедии, сказал мне Хольцман, Гуд был уже в отставке. Он находился не в кабинете, а дома, может быть, рассчитывал вероятность существования Бога.

По словам доктора Хольцмана, незадолго до смерти Гуд увеличил эту вероятность с нуля до одной десятой. Сделал он это потому, что как статистик был давним последователем Байеса. Основная идея байесовской статистики, названной в честь математика и священника XVIII в. Томаса Байеса, состоит в том, что вычисление вероятности некоего утверждения можно начинать с того, во что вы лично верите. Затем эту веру следует подправлять в зависимости от новых данных, подтверждающих или опровергающих ваше утверждение.

Если бы первоначальное неверие Гуда в Бога осталось стопроцентным, то никакие данные и даже явление самого Господа ничего бы не изменили. Поэтому, чтобы быть верным байесовскому подходу, Гуд ввел небольшую положительную вероятность существования Бога; это позволяло ему быть уверенным, что новые данные, если таковые появятся, не останутся неучтенными.

В работе 1965 г. «Размышления о первой ультраразумной машине» Гуд изложил простое и элегантное доказательство, которое часто упоминается в дискуссиях об искусственном интеллекте и сингулярности:

 

Определим ультраразумную машину как машину, способную намного превзойти любую интеллектуальную деятельность человека, каким бы умным он ни был. Поскольку конструирование машин — одно из интеллектуальных действий, ультраразумная машина способна конструировать все более совершенные машины; затем, бесспорно, произойдет "интеллектуальный взрыв", и человеческий разум останется далеко позади. Таким образом, первая ультраразумная машина — это последнее изобретение, которое потребуется от человека…

 

Известно три проработанных определения сингулярности — первое из них принадлежит Гуду и приведено выше. Гуд никогда не использовал термин «сингулярность», но его постулат о том, что сам Гуд считал неизбежной и позитивной вехой в истории человечества, — об изобретении машин умнее человека, — положил начало дискуссиям о сингулярности. Перефразируя Гуда, если вы построите сверхразумную машину, она будет лучше человека справляться со всем, для чего мы используем свой мозг, в том числе и со строительством сверхразумных машин. Поэтому первая такая машина запустит интеллектуальный взрыв — стремительный рост интеллекта, — по мере того как будет раз за разом совершенствовать себя или просто строить машины умнее себя. Эта машина или машины оставят мощь человеческого разума далеко позади. После интеллектуального взрыва человеку уже не нужно будет ничего изобретать — все его потребности будут удовлетворять машины.

Этот абзац из работы Гуда справедливо находит место в книгах, статьях и очерках о сингулярности, будущем искусственного интеллекта и его рисках. Но две важные мысли почти всегда почему-то остаются за рамками дискуссии. Первая мысль сформулирована в первом же вводном предложении статьи. Она великолепна: «Выживание человечества зависит от скорейшего создания ультраразумной машины». Вторая мысль — часто опускаемая вторая половина последнего предложения процитированного абзаца. Последнее предложение наиболее часто цитируемого отрывка из Гуда следует читать с полным вниманием:

 

Таким образом, первая ультраразумная машина — это последнее изобретение, которое потребуется от человека, если, конечно, эта машина будет достаточно сговорчивой, чтобы сообщить нам, как можно ее контролировать (курсив мой. — Авт.).

 

Эти два предложения рассказывают нам кое-что важное о намерениях Гуда. Он считал, что у нас, людей, столько сложнейших неотложных проблем — гонка ядерных вооружений, загрязнение окружающей среды, войны и т. п., — что спасти нас может только высочайший интеллект (выше нашего), который воплотится в виде сверхразумной машины. Второе предложение говорит о том, что отец концепции интеллектуального взрыва остро чувствовал опасность: создание сверхразумных машин, даже если они необходимы для выживания человечества, может обернуться против нас. Возможность удерживать сверхразумную машину под контролем — вовсе не данность, говорит Гуд. При этом он не считает, что мы сами придумаем, как это делать, — машина должна будет нас научить.

Гуд, несомненно, знал кое-что о машинах, способных спасти мир, — ведь в свое время в Блетчли-парке во время войны с Германией он участвовал в создании первых электрических вычислителей и работе на них. Он также знал кое-что об экзистенциальных рисках — он был евреем и сражался с нацистами, а его отец бежал от погромов из Польши в Великобританию.

Мальчиком отец Гуда — поляк и интеллектуал-самоучка — изучил ремесло часовщика, наблюдая за работой часовщиков через окна витрин. Ему было семнадцать лет, когда в 1903 г. он отправился в Англию с тридцатью пятью рублями в кармане и большим кругом сыра. В Лондоне юноша пробавлялся случайными заработками, пока не открыл собственную ювелирную мастерскую. Дела пошли успешно, он женился. В 1915 г. родился Исидор Якоб Гудак (ставший позже Ирвингом Джоном Гудом по прозвищу Джек). После него в семье родились еще один мальчик и девочка — талантливая танцовщица, погибшая позже в театре при пожаре. Ее ужасная смерть заставила Джека Гуда отвергнуть существование Бога.

Гуд был математическим вундеркиндом; однажды он встал в своей детской кроватке и спросил у матери, сколько будет тысячу раз по тысяче. Лежа в постели с дифтерией, он независимо открыл иррациональные числа (те, которые невозможно записать в виде простой дроби, такие как

 

К 14 годам он заново открыл математическую индукцию — один из методов математического доказательства. К тому моменту учителя-математики просто оставили его наедине с книгами. В Кембриджском университете Гуд завоевал все математические награды, возможные на пути к степени доктора философии, и открыл в себе страсть к шахматам.

Именно из-за игры в шахматы через год после начала Второй мировой войны тогдашний чемпион Британии по шахматам Хью Александер пригласил Гуда в 18-й корпус в Блетчли-парке, где работали дешифровалыцики. Они занимались взломом кодов, которыми пользовались все державы «оси» — Германия, Япония и Италия, — но особое внимание всегда уделялось германским кодированным сообщениям. Германские подлодки топили торговые суда союзников с устрашающей скоростью — только за первую половину 1942 г. жертвами подлодок стали около 500 союзных судов. Британский премьер-министр Уинстон Черчилль опасался, что голод может обречь его островную страну на поражение.

Немецкие сообщения передавались по радио, и англичане без особого труда перехватывали их при помощи специальных «слуховых» вышек. С самого начала войны Германия применяла для шифрования сообщений специальную машину под названием «Энигма». Эта машина, имевшаяся во всех шифровальных подразделениях германских вооруженных сил, по форме и размеру напоминала старомодную механическую пишущую машинку. Каждая клавиша соответствовала букве. При нажатии на клавишу ток проходил электрическую цепь и зажигал лампочку с кодовой буквой. В цепи находились вращающиеся барабаны, что позволяло замыкать цепь в различных комбинациях. В базовом варианте «Энигмы» было три барабана, и каждый из них мог закодировать букву предыдущего барабана. Для алфавита из 26 букв возможны были 403 291 461 126 605 635 584 000 вариантов. Барабаны (шаблоны) менялись почти ежедневно.

Когда немец посылал зашифрованное «Энигмой» сообщение, получатель расшифровывал его при помощи собственной «Энигмы»; для этого достаточно было иметь такие же шаблоны, как у отправителя.

К счастью, в Блетчли-парке оказалось собственное «секретное оружие» — Алан Тьюринг. До войны Тьюринг изучал математику и криптографию в Кембридже и Принстоне. Он придумал — вообразил — «автоматическую машину», ныне известную как машина Тьюринга. Эта автоматическая машина заложила фундаментальные принципы машинных вычислений.

Гипотеза Чёрча-Тьюринга, объединившая работы Тьюринга и принстонского профессора-математика Алонсо Чёрча, дала серьезный толчок к исследованию искусственного интеллекта. Эта гипотеза утверждает, что все, что может быть вычислено по алгоритму или по программе, может быть вычислено машиной Тьюринга. Исходя из этого, если мозговые процессы могут быть выражены в виде серии команд — алгоритма, то компьютер может обрабатывать информацию в точности так же, как мозг. Иными словами, если в человеческом мышлении нет ничего мистического или магического, то разум (интеллект) может быть воплощен в компьютере. Понятно, что разработчики УЧИ возлагают свои надежды на гипотезу Чёрча-Тьюринга.

Война преподала Тьюрингу интенсивный экспресс-курс всего того, о чем он думал до войны, и многого такого, о чем он не думал (к примеру, нацизма и подводных лодок). В разгар войны сотрудники Блетчли-парка расшифровывали порядка 4000 перехваченных сообщений в день, и делать это вручную становилось все сложнее. Это была работа для машины. И очень кстати пришлась принципиальная догадка Тьюринга о том, что проще понять, чем не являются шаблоны «Энигмы», чем разобраться, чем они являются.

У дешифровщиков был материал для работы — перехваченные сообщения, «взломанные» вручную или при помощи электрических дешифровальных машин под названием Bombes. Такие сообщения сотрудники Парка называли «поцелуями». Тьюринг, как и Гуд, был убежденным последователем Байеса в те времена, когда статистические методы воспринимались как своего рода волшебство. Суть метода — теорема Байеса — говорит о том, как извлекать из данных вероятности неизвестных событий, в данном случае тех или иных шаблонов «Энигмы». «Поцелуи» давали дешифровщикам те самые данные, при помощи которых можно было определить, какие варианты шаблонов имеют очень низкую вероятность, — и, соответственно, более эффективно сосредоточить усилия. Конечно, шифры менялись чуть ли не каждый день, так что работа в Блетчли-парке напоминала непрерывную гонку.

Тьюринг с коллегами разработал серию электронных устройств, которые должны были оценивать и исключать возможные шаблоны «Энигмы». Вершиной развития этих первых компьютеров стала серия машин под общим названием «Колосс» (Colossus). «Колосс» способен был считывать 5000 знаков в секунду с бумажной ленты, которая протягивалась со скоростью около 40 км в час. В нем было 1500 вакуумных ламп, и занимал он целую комнату. Одним из главных пользователей этой машины и создателем половины теории, на которую опиралась ее работа, был главный статистик Тьюринга на протяжении почти всего военного времени — Ирвинг Джон Гуд.

Благодаря героям Блетчли-парка Вторая мировая война, вероятно, стала короче на два-четыре года[15], что позволило сохранить бесчисленное количество жизней. Но в честь этих секретных воинов не устраивали парадов. Черчилль приказал разбить все шифровальные машины Блетчли-парка на куски не крупнее теннисного мячика, чтобы их дешифровальные возможности нельзя было обернуть против Великобритании. Дешифровщики поклялись хранить молчание в течение тридцати лет. Тьюринг и Гуд были приглашены на работу в Манчестерский университет, где их бывший шеф Макс Ньюман собирался строить вычислитель общего назначения. Тьюринг работал в Национальной физической лаборатории над конструкцией компьютера, когда его жизнь внезапно полетела под откос. Приятель, с которым у него какое-то время были близкие отношения, ограбил его дом. Сообщив о преступлении в полицию, Тьюринг рассказал и о сексуальных отношениях. Его обвинили в грубой непристойности и лишили допуска к секретным материалам.

В Блетчли Тьюринг и Гуд часто обсуждали такие футуристические идеи, как компьютеры, разумные машины и «автоматический» шахматист. Шахматы сблизили их, и Гуд обычно выигрывал. В ответ Тьюринг научил его го — азиатской стратегической игре, в которой Гуд тоже выиграл. Тьюринг, бегун-стайер мирового класса, придумал особую форму шахмат, в которых можно было уравновесить шансы разноуровневых игроков. После каждого хода игрок должен был обежать вокруг сада. Он получал два хода подряд, если успевал вернуться прежде, чем его противник сделает ход.

Вынесенный в 1952 г. Тьюрингу приговор удивил Гуда — он не знал о гомосексуальности Тьюринга. Тьюрингу пришлось выбирать между тюрьмой и химической кастрацией. Он выбрал последнее и должен был регулярно являться на уколы эстрогена. В 1954 г. он съел яблоко, начиненное цианидом. Безосновательный, но упорный слух связывает логотип фирмы Apple именно с этим яблоком.

После истечения срока секретности Гуд одним из первых выступил против того, как правительство обошлось с его другом и героем войны.

«Я не стану говорить, что работа Тьюринга помогла нам выиграть войну, — сказал Гуд. — Но я осмелюсь все же заметить, что без него мы могли ее проиграть». В 1967 г. Гуд ушел из Оксфордского университета и принял предложенное ему место в Вирджинском политехническом институте в Блэксбурге. Ему тогда было 52 года. В последующие годы жизни он возвращался в Великобританию лишь однажды

В той поездке в 1983 г. его сопровождала высокая 25-летняя красавица-блондинка из Теннесси по имени Лесли Пендлтон. Гуд встретил Пендлтон в 1980 г., сменив до этого десять секретарш за тринадцать лет. Девушка, выпускница Вирджинского политехнического института, сумела удержаться на этом месте и не сломаться под давлением безжалостного перфекционизма Гуда. Когда она впервые отправляла одну из его статей в математический журнал, рассказала мне Пендлтон, «он внимательно наблюдал, как я положила статью и сопроводительное письмо в конверт. Он внимательно наблюдал, как я этот конверт запечатала, — он не любил, когда клей смачивают слюной, и заставил меня воспользоваться губкой. Он внимательно наблюдал, как я наклеиваю марку. Он ждал меня у двери в почтовую комнату, чтобы убедиться, что отправка прошла нормально, как будто меня могли украсть по дороге или еще что-то могло случиться. Он был странным человечком».

Гуд хотел жениться на Пендлтон. Однако для нее сорокалетняя разница в возрасте оказалась слишком серьезным препятствием. Тем не менее между английским чудаком и красавицей из Теннесси сложились отношения, которые она даже сейчас с трудом может описать. На протяжении тридцати лет она сопровождала его на отдыхе, следила за всеми его бумажками и подписками, вела его дела как на работе, так и после отставки до самой смерти, включая и заботу об ухудшающемся здоровье. При встрече она показала мне дом Гуда в Блэксбурге — кирпичное одноэтажное здание с пологой крышей возле федеральной трассы № 460, которая в те времена, когда он только поселился в Теннесси, была всего лишь двухполосной сельской дорогой.

Сегодня Лесли Пендлтон — стройная женщина пятидесяти с чем-то лет, доктор философии и мать двух взрослых детей. Она профессор и администратор в Вирджинском политехническом, владычица расписаний, аудиторий и профессорских прихотей, к которым работа с Гудом ее отлично подготовила. И несмотря на то, что она вышла замуж за ровесника и вырастила детей, многие местные жители ставили под сомнение характер ее отношений с Гудом. Ответ Лесли Пендлтон дала в 2009 г. в надгробном слове на похоронах Гуда. Нет, между ними никогда не было романтических отношений, сказала она, но они всегда были преданы друг другу. В лице Пендлтон Гуд не обрел возлюбленной, но обрел лучшего друга на тридцать лет жизни и непреклонного защитника своего наследия и памяти.

Во дворе дома Гуда, под аккомпанемент надоедливого, как комариный писк, гудения близкого шоссе, я спросил Пендлтон, говорил ли когда-нибудь знаменитый дешифровщик об интеллектуальном взрыве и о том, сможет ли когда-нибудь компьютер снова спасти мир, как это произошло во времена его молодости. Она на мгновение задумалась, пытаясь отыскать что-то в памяти, а затем ответила, к моему немалому удивлению, что Гуд изменил свое мнение об интеллектуальном взрыве. Она сказала, что ей нужно посмотреть кое-какие его бумаги, чтобы ответить на этот вопрос как следует.

В тот же вечер в тихом ресторанчике, где Гуд обычно вечером в субботу встречался со своим другом Голдом Хольцманом, тот рассказал мне, что на взгляды Гуда сильное влияние оказали три вещи: Вторая мировая война, холокост и несчастная судьба Тьюринга. Это помогло мне связать мысленно военный опыт Гуда и то, что он написал в работе «Размышления о первой ультраразумной машине». Гуду и его коллегам пришлось столкнуться в жизни со смертельной угрозой, и одержать победу в борьбе им помогли вычислительные машины. Если машина могла спасти мир в 1940-е, то, может быть, сверхразумная машина могла бы решить проблемы человечества в 1960-е. А если машина получила бы возможность обучения, ее интеллект буквально взорвался бы. Человечеству пришлось бы приспособиться к жизни на одной планете со сверхразумными машинами. В «Размышлениях» он писал:

 

Машины вызовут социальные проблемы, но не исключено, что они смогут и решать их в дополнение к проблемам, порожденным микробами и людьми. Такие машины будут внушать страх и уважение, возможно, даже любовь. Некоторым читателям эти замечания могли бы показаться чистой фантазией, но автору они представляются очень реальными и насущными, заслуживающими особого внимания за пределами научной фантастики.

 

Между Блетчли-парком и интеллектуальным взрывом нет прямой концептуальной связи, их соединяет лишь извилистая линия, испытавшая множество влияний. В 1996 г. в интервью статистику и бывшему ученику Дэвиду Бэнксу Гуд рассказал, что на написание этого очерка его подвигло погружение в проблемы искусственных нейронных сетей (ИНС). Они представляют собой вычислительную модель, имитирующую деятельность настоящих нейронных сетей в мозге человека. При стимуляции нейроны мозга посылают сигнал другим нейронам. Этот сигнал может нести зашифрованную информацию о воспоминании, может порождать действие, а может делать то и другое одновременно. Гуд в свое время познакомился с книгой психолога Дональда Хебба, в которой тот предположил, что поведение нейронов можно смоделировать математически.

Машинный «нейрон» должен быть соединен с другими машинными нейронами, причем каждому соединению придается численный «вес» в соответствии с его устойчивостью. Считается, что машинное обучение имеет место, если два нейрона активируются одновременно, и «вес» связи между ними возрастает. «Между клетками, которые срабатывают вместе, появляется связь». Это утверждение стало лозунгом теории Хебба. В 1957 г. психолог из Массачусетского технологического института (МТИ) Фрэнк Розенблатт создал на основе работ Хебба нейронную сеть и назвал ее Перцептроном. Перцептрон, реализованный на базе компьютера фирмы IBM, занимавшего целую комнату, «видел» и распознавал простые визуальные образы. В 1960 г. IBM попросила Гуда оценить Перцептрон. «Мне казалось, что нейронные сети с их параллельной работой имеют не меньше шансов привести к созданию разумной машины, чем программирование», — рассказывал Гуд. Первые доклады, на которых, собственно, и основывались «Размышления о первой ультраразумной машине», вышли два года спустя. Родилась концепция интеллектуального взрыва.

Мнении Гуда об ИНС содержало больше истины, чем он сам догадывался. Сегодня искусственные нейронные сети — тяжеловесы искусственного интеллекта, они задействованы в самых разных приложениях, от систем распознавания речи и почерка до программ финансового моделирования, от одобрения кредитов до управления роботами. У ИНС прекрасно получается высокоуровневое, быстрое распознавание образов, необходимое для всех этих работ. В большинстве приложений возможна также «тренировка» нейронных сетей на больших массивах данных (называемых обучающими выборками), на которых сеть «усваивает» закономерности. Позже она может узнавать аналогичные структуры в новых данных. Аналитики могут задать вопрос: если судить по данным последнего месяца, как будет выглядеть фондовый рынок через неделю? Или: какова вероятность, что некто не сможет оплачивать закладную на дом, если исходить из истории его доходов, расходов и кредитных данных за три года?

Подобно генетическим алгоритмам, ИНС представляют собой «черные ящики». То есть входные данные — веса соединений сети и нейронные срабатывания — прозрачны. То, что получается на выходе, тоже понятно. Но что происходит внутри? Никто не понимает. Выходные данные систем искусственного интеллекта типа «черный ящик» невозможно предсказать, поэтому они не могут быть по-настоящему, доказательно «безопасными».

Но они, скорее всего, будут играть значительную роль в системах УЧИ. Сегодня многие исследователи уверены, что распознавание образов — то, на что был нацелен Перцептрон Розенблатта, — представляет собой главный инструмент интеллекта. Джефф Хокинс, изобретатель карманного компьютера Palm Pilot и коммуникатора Handspring Treo, первым реализовал на ИНС распознавание рукописного текста. Его компания Numenta создает УЧИ на основе технологии распознавания образов. Бывший главный технолог Numenta Дайлип Джордж теперь возглавляет фирму Vicarious Systems, корпоративные амбиции которой отражает девиз: «Мы создаем программное обеспечение, которое думает и учится, как человек».

Нейробиолог, когнитивист и инженер-биомедик Стивен Гроссберг предложил модель на основе ИНС, которая, по мнению некоторых специалистов, может привести к созданию УЧИ и, возможно, «ультраразума», потенциал которого Гуд видел в нейронных сетях. Если говорить в самом общем плане, сначала Гроссберг определяет роли в когнитивном процессе различных областей коры головного мозга. Именно здесь обрабатывается информация и рождается мысль. Затем он создает ИНС-модели всех задействованных областей. Он уже добился успеха в обработке движения и речи, распознавании формы и выполнении других сложных задач. Теперь он занимается разработкой логической связи своих модулей.

Возможно, машинное обучение было для Гуда новой концепцией, но при оценке Перцептрона для IBM он обязательно должен был столкнуться с алгоритмами машинного обучения. При этом манящая перспектива обучения машины подобно человеку вызвала у Гуда мысли о возможных последствиях, которые никому другому тогда еще не приходили в голову. Если машина способна сделать себя умнее, то эта новая, улучшенная машина способна будет сделать себя еще умнее, и т. д.

В бурные 1960-е, когда рождалась концепция интеллектуального взрыва, Гуд, возможно, думал о тех проблемах, с решением которых разумная машина могла бы помочь. Тогда уже не нужно было топить вражеские подлодки, но был на Земле враждебный Советский Союз, были Карибский кризис, убийство президента Кеннеди и опосредованная война между США и Китаем в Юго-Восточной Азии. Человечество катилось к гибели; казалось, настало время нового Колосса. В «Размышлениях» Гуд писал:

 

[Пионер вычислительной техники] Б.В. Боуден утверждал… что нет смысла строить машину с разумом человека, поскольку проще создать человеческий мозг обычным методом… Отсюда видно, что даже высокоинтеллектуальные люди могут проглядеть "интеллектуальный взрыв". Да, правда, строить машину, способную лишь на обычные интеллектуальные приложения, неэкономично, но представляется достаточно вероятным, что если это в принципе возможно, то затем при двойных затратах машина сможет продемонстрировать ультраразум.

 

Так что, затратив еще некоторое количество долларов, можно получить ИСИ — искусственный суперинтеллект, говорит Гуд. Но затем берегись возможных последствий на уровне цивилизации — ведь планету придется делить с другим разумом, более мощным, чем человеческий.

В 1962 г., перед написанием «Размышлений о первой ультраразумной машине», Гуд редактировал книгу под названием «Ученый размышляет». Он написал для нее главу «Социальные последствия искусственного интеллекта» — своего рода разминку перед формированием идей о суперинтеллекте, над которыми он в то время размышлял. Он писал — а Стив Омохундро повторил за ним почти пятьдесят лет спустя, — что среди проблем, которыми придется заниматься разумным машинам, обязательно будут и проблемы, вызванные их собственным появлением на Земле, нарушающим сложившийся порядок.

 

Такие машины… могли бы даже выдвигать полезные политические и экономические предложения; и они должны будут делать это, чтобы компенсировать проблемы, вызванные их собственным существованием. Это будут проблемы перенаселенности, возникшие из-за победы над болезнями, и безработицы, причиной которой станет эффективность роботов низкого уровня, которых сконструируют главные машины.

 

Однако, как мне предстояло узнать, позже Гуд пережил удивительную метаморфозу и совершенно изменил свои взгляды. Я всегда причислял его к оптимистам, таким как Рэй Курцвейл, поскольку он видел в молодости, как машины «спасали» мир, и в своем очерке ставил выживание человека в зависимость от создания сверхразумной машины. Но подруга Гуда Лесли Пендлтон намекнула на изменение позиции. Ей потребовалось время, чтобы припомнить обстоятельства и контекст, но в последний день моего пребывания в Блэксбурге она рассказала мне все, что помнила.

В 1998 г., когда ему было восемьдесят два, Гуд был удостоен медали «Пионер компьютерной техники» сообщества IEEE (Института инженеров электротехники и электроники). В речи, произнесенной по этому поводу, его попросили рассказать свою биографию. Он составил биографию, но не стал ее зачитывать, и на церемонии она не прозвучала. Вероятно, только Пендлтон знала о ее существовании. Она сделала копию этой биографии и отдала мне перед отъездом из Блэксбурга вместе с кое-какими другими бумагами, которые я у нее просил.

Прежде чем вновь выехать на автостраду I-81 и направиться обратно на север, я прочитал автобиографию Гуда в машине на стоянке центра облачных вычислений Rackspace. Подобно Amazon и Google, Rackspace предлагает серьезные компьютерные мощности за небольшие деньги, сдавая в аренду время десятков тысяч своих процессоров и место под экзабайты информации. Конечно, Вирджинскому политехническому институту удобно иметь у себя под боком такую организацию, как Rackspace, и мне хотелось посетить их вычислительный центр, но он был закрыт. А позже мне пришло в голову: как странно, что в десятках метров от того места, где я читал автобиографические заметки Гуда, десятки тысяч процессоров с воздушным охлаждением работали над решением мировых проблем.

В своей биографии, игриво написанной от третьего лица, Гуд вспомнил все вехи своей жизни, включая и никому, вероятно, прежде не известные воспоминания о работе в Блетчли-парке с Тьюрингом. Но вот что он написал в 1998 г. о первом суперинтеллекте и о том, как изменились его взгляды:

 

[Статья] "Размышления о первой ультраразумной машине" (1965 г.)… начиналась так: "Выживание человека зависит от скорейшего создания ультраразумной машины". Таковы были его [Гуда] слова во время холодной войны, но сейчас он подозревает, что "выживание" следовало бы заменить на "вымирание". Он считает, что из-за международной конкуренции мы не сможем предотвратить переход власти к машинам. Он считает нас леммингами. Он сказал также, что "вероятно, человек создаст deux ex machina [16] по своему образу и подобию".

 

Я читал это и смотрел невидящими глазами на здание Rackspace. В конце жизни Гуд пересмотрел не только свое мнение о вероятности существования Бога. Я как будто нашел послание в бутылке, примечание, изменившее смысл текста на прямо противоположный. Теперь у нас с Гудом появилось кое-что общее. Мы оба считали, что интеллектуальный взрыв добром не кончится.

 

ГЛАВА 8

Точка невозврата

 

Но если технологическая сингулярность может наступить, она наступит. Даже если бы все правительства мира осознали «угрозу» и смертельно ее испугались, прогресс в этом направлении продолжался бы. Более того, конкурентное преимущество — экономическое, военное, даже художественное — каждого нового достижения автоматизации настолько наглядно, что принятие законов или установление традиций, запрещающих подобные вещи, попросту гарантирует, что это сделает кто-то другой.

Вернор Виндж. Приближающаяся технологическая сингулярность (1993)

 

Не правда ли, приведенная цитата[17] очень напоминает отрывок из автобиографии Гуда? Как и Гуд, дважды лауреат премии Хьюго писатель-фантаст и профессор математики Вернор Виндж говорит о том, что человеку свойственно искать неприятности на свою голову. Виндж сказал мне, что не читал собственноручно написанной Гудом биографии и не знал о том, что в конце жизни тот изменил свое отношение к интеллектуальному взрыву. Знали об этом, вероятно, только сам Гуд и Лесли Пендлтон.

Вернор Виндж был первым человеком, кто формально употребил слово «сингулярность» при описании технологического будущего; сделал он это в 1993 г. в обращении к NASA, озаглавленном «Приближающаяся технологическая сингулярность». Математик Станислав Улам сообщил, что они с энциклопедистом Джоном фон Ньюманом использовали термин «сингулярность» в разговоре о технологических переменах еще за тридцать пять лет до этого, в 1958 г. Но Виндж сделал это публично и демонстративно — и мяч сингулярности покатился прямо в руки Рэя Курцвейла и того, что сегодня стало движением сингулярности.

Но почему же Виндж, обладая таким имиджем, не ездит по стране с лекциями и конференциями как главный эксперт по сингулярности?

Ну, у слова «сингулярность» несколько значений, и Виндж использует его в более узком смысле, чем многие другие. Определяя сингулярность, он провел аналогию с точкой на орбите черной дыры, дальше которой свет с ее поверхности пройти не может. Невозможно увидеть, что происходит за этой точкой, известной как горизонт событий. Точно так же, если нам придется делить планету с сущностями разумнее нас, пути назад не будет — мы не в состоянии предсказать, что произойдет в подобном случае. Чтобы судить об этом, нужно обладать, по крайней мере, равным интеллектом.

Таким образом, если вы не можете знать, как будет развиваться будущее, то как вы можете писать об этом? Виндж не сочиняет околонаучных фантазий — он пишет то, что называют твердой научной фантастикой, используя в своих произведениях данные реальной науки. Сингулярность лишает его надежной опоры.

 

Это проблема, с которой мы сталкиваемся всякий раз, когда говорим о создании разума более высокого, чем наш собственный. Когда это произойдет, человеческая история достигнет своего рода точки сингулярности — места, где экстраполяции теряют смысл и где не обойтись без введения новых моделей, — и мир выйдет за пределы нашего понимания.

 

Виндж рассказывал, что когда в 1960-е он начинал писать научную фантастику, мир, основанный на будущих достижениях науки, о которых он писал, отстоял от него на сорок или пятьдесят лет. Однако к 1990-м гг. будущее уже стремительно приближалось, и скорость технических перемен, казалось, все росла. Виндж уже не мог предугадать, что принесет человечеству будущее, поскольку считал, что очень скоро в мире появится разум, превосходящий человеческий. Именно этот, а не наш разум будет определять скорость технического прогресса. Виндж, как и другие фантасты, не мог писать об этом.

 

На протяжении 1960-х, 70-х и 80-х годов понимание надвигающегося катаклизма ширилось. Возможно, первыми его приближение почувствовали писатели-фантасты. В конце концов, именно "твердые" фантасты стараются описывать конкретные последствия всего, что может сделать с нами технический прогресс. Именно они все больше и больше чувствовали эту непрозрачную стену, отгородившую нас от будущего.

 

Исследователь ИИ Бен Гертцель сказал мне:

 

Вернор Виндж очень ясно видел принципиальную непознаваемость ИИ, когда предлагал концепцию технологической сингулярности. Именно поэтому он не ездит по миру с лекциями о ней; он просто не знает, что сказать. Что он может сказать? "Да, я считаю, что мы вот-вот создадим технологии, которые будут намного умнее человека, и после этого кто знает, что произойдет?"

 

Но как же в этом случае приручение огня, появление земледелия, печатный станок и электричество? Разве человечество не пережило до сих пор множество технологических сингулярностей? В разрушительных технических новинках нет ничего нового, но никто не придумывал для каждой из них красивого имени и не пугал ими окружающих. Моя бабушка родилась еще до широкого распространения автомобилей, но дожила до первых шагов Нила Армстронга по Луне. Она считала, что все это называется XX век. Что же делает переход, о котором говорит Виндж, таким особым?

«Секретный компонент — разум, — сказал мне Виндж. В его стремительном тенорке то и дело звучал смех. — Разум делает его другим, а определяющая рабочая черта этого перехода в том и заключается, что человек не может ничего знать заранее. Мы теперь находимся в такой ситуации, что очень-очень скоро, всего через несколько десятилетий, начнутся трансформации, которые будут иметь, как в древности, большое биологическое значение».

В эту концепцию укладываются две важные идеи. Во-первых, технологическая сингулярность изменит сам разум — единственную суперсилу человека, которая, собственно, и создает технологии. Вот почему эта революция будет отличаться от любой другой. Во-вторых, биологическая трансформация, на которую намекает Виндж, произошла двести тысяч лет назад, когда человечество захватило лидерство на мировой арене. Homo sapiens начал доминировать на планете, поскольку был умнее любого другого биологического вида. Точно так же разум, в тысячу или миллион раз превосходящий человеческий в интеллектуальном отношении, навсегда изменит правила игры. Что же тогда произойдет с нами?

Этот вопрос вызвал у Винджа взрыв смеха.

 

Если на меня уж очень наседают с вопросами о том, на что будет похожа сингулярность, то чаще всего я говорю: а почему, как вы думаете, я назвал это сингулярностью[18]?

 

Но по поводу непрозрачного будущего Виндж сделал, по крайней мере, один вывод — сингулярность несет угрозу и может привести к гибели человечества. Писатель, процитировав в речи 1993 г. целиком абзац из статьи Гуда 1967 г. об интеллектуальном взрыве, указал, что знаменитый статистик не так далеко зашел в своих выводах:

 

Гуд ухватил суть процесса (неуправляемого роста мощности ИИ), но не стал рассматривать его самые тревожные следствия. Любая разумная машина того типа, о котором он пишет, станет "инструментом" человечества не больше, чем само человечество является инструментом кроликов, или зябликов, или шимпанзе.

 

Вот еще одна уместная аналогия — кролики для людей то же, что люди для сверхразумных машин. А как мы относимся к кроликам? Как к вредителям или как к потенциальному обеду, в лучшем случае — как к домашним любимцам. ИСИ-агенты поначалу будут нашими инструментами — как нашими инструментами являются сегодня их предки Google, Siri и Watson. Кроме того, считает Виндж, существуют и другие факторы помимо индивидуального машинного интеллекта, способные вызвать сингулярность. Среди них — разум, берущий начало от Интернета (от Интернета вместе с пользователями — этакая цифровая Гея), от человеко-машинных интерфейсов или биологических наук (через повышение интеллекта будущих поколений при помощи манипуляций с генами).

В трех из перечисленных путей человек вовлечен в развитие технологий; возможно, он способен провести постепенное и управляемое повышение интеллекта и таким образом избежать взрыва. Так что можно, говорит Виндж, подумать о том, как победить величайшие проблемы человечества — голод, болезни, даже саму смерть. Это оптимистичное представление о будущем Курцвейла, которое пропагандируют «сингуляритарии». Сингуляритарии — это те, кто ожидает от резкого ускорения будущего в основном хороших вещей. Винджу их «сингулярность» представляется слишком благодушной.

 

Ставки в нашей игре чрезвычайно высоки, и положительная сторона ее так оптимистична, что это само по себе производит пугающее впечатление. Ветры мировой экономики — необычайно могущественная сила — связаны с достижениями ИИ. Сотни тысяч людей в мире, очень умных людей, работают над вещами, которые должны привести к созданию сверхчеловеческого разума. Вероятно, большинство из них не рассматривает свою работу в таком ключе. Они просто хотят сделать быстрее, дешевле, лучше, выгоднее.

 

Виндж сравнивает все это со стратегией времен холодной войны, известной как MAD (mutual assured destruction — взаимно гарантированное уничтожение). Термин этот был пущен в оборот любителем аббревиатур Джоном фон Ньюманом (он также был создателем одного из первых компьютеров с говорящим именем MANIAC), а сама стратегия помогала сохранить мир благодаря угрозе взаимного уничтожения сторон. Подобно MAD, искусственный интеллект может похвастать тем, что множество исследователей тайно трудятся над развитием технологий, потенциально грозящих катастрофой. Но это — взаимно гарантированное уничтожение без всяких тормозов, обусловленных здравым смыслом. Никто не может знать, кто на самом деле идет впереди в этой гонке, и каждый считает, что впереди кто-то другой. Но, как мы видели, победитель не сможет забрать все. Победитель в гонке за создание ИИ получит лишь сомнительную привилегию первым столкнуться с суперинтеллектом «лицом к лицу» или попробовать выжить в ситуации, очень напоминающей сценарий Busy Child.

«Мы имеем сегодня тысячи хороших людей, которые работают по всему миру, пытаясь совместными усилиями приблизить катастрофу, — сказал Виндж. — А двигаться вперед по ландшафту угроз очень сложно. Мы тратим недостаточно сил на раздумья о том, что будет, если нас постигнет неудача».

 

Другие сценарии, которые тоже тревожат Винджа, также заслуживают внимания. Цифровая Гея, или брак между людьми и компьютерами, уже формируется в Интернете. Что это будет означать для нашего будущего — глубокий и важный вопрос, заслуживающий, чтобы о нем написали гораздо больше книг, чем пишется сейчас. УИ, или искусственное усиление интеллекта, имеет равный с обычным ИИ катастрофический потенциал, немного смягченный (по крайней мере поначалу) участием человека. Но это преимущество быстро исчезнет. Позже мы поговорим об УИ подробнее. А сначала я хочу обратить ваше внимание на замечание Винджа о том, что разум может вырасти из Интернета.

Техномыслители, в том числе Джордж Дайсон и Кевин Келли, выдвинули предположение о том, что информация — это форма жизни. Компьютерная программа, несущая информацию, воспроизводит себя и растет по биологическим законам. Но разум… нет, разум — это совсем не то. Разум присущ лишь сложным организмам и не возникает случайно.

Будучи в гостях у Елиазера Юдковски в Калифорнии, я задал вопрос, может ли интеллект, хотя бы в принципе, родиться в результате экспоненциального роста инфраструктуры Интернета из содержащихся в нем 5 трлн мегабайт данных, из более чем 7 млрд связанных между собой компьютеров и смартфонов и 75 млн серверов. Юдковски поморщился, как будто на клетки его мозга внезапно попал кислый раствор.

«Категорически нет, — сказал он. — Потребовались миллиарды лет эволюции, чтобы появился разум. Интеллект не может народиться просто из сложности жизни. Автоматически такое не происходит. Оптимизация происходит через естественный отбор под внешним давлением».

Иными словами, интеллект не возникает просто из сложности как таковой. Кроме того, Интернету недостает давления среды, которое в природе сохраняет одни мутации и отбраковывает другие.

«Я люблю говорить, что весь Млечный Путь за пределами Земли, вероятно, устроен не так интересно, как одна земная бабочка, потому что бабочка прошла эволюцию, в процессе которой запоминались удачные решения, и развитие шло, отталкиваясь от них», — сказал Юдковски.

Я согласен с тем, что интеллект не в состоянии расцвести, спонтанно родившись из Интернета. Но я считаю, что агентное финансовое моделирование, возможно, очень скоро изменит саму Сеть.

Когда-то давным-давно аналитики Уолл-стрит, желая предсказать поведение рынка, обращались к серии правил, прописанных специалистами по макроэкономике. Эти правила учитывают такие факторы, как процентные ставки по кредитам, данные по безработице и строительству новых жилых домов. Все больше, однако, Уолл-стрит переходит на агентное финансовое моделирование. Эта новая наука способна моделировать весь фондовый рынок, и даже всю экономику, ради того чтобы повысить качество прогнозирования.

Для моделирования рынка исследователи строят компьютерные модели субъектов, занятых покупкой и продажей акций, — отдельных людей, фирм, банков, хедж-фондов и т. п. У каждого из тысяч таких «агентов» свои цели и правила принятия решений или стратегии покупки и продажи. На них, в свою очередь, влияют непрерывно меняющиеся рыночные данные. Эти агенты, реализованные на искусственных нейронных сетях и других методиках построения ИИ, «настраиваются», опираясь на реальную информацию. Действуя синхронно и «питаясь» текущими данными, агенты создают изменчивый портрет живого рынка.

Затем аналитики начинают испытывать сценарии торговли отдельными активами, и при помощи методов эволюционного программирования модель рынка может «шагнуть вперед» на день или на неделю, помогая представить, как будет выглядеть рынок в ближайшем будущем и какие он может обещать инвестиционные возможности. Такой подход «снизу вверх» к созданию финансовых моделей воплощает в себе идею о том, что простые правила поведения отдельных агентов порождают сложную картину общего поведения. Можно даже обобщить: что верно в отношении Уолл-стрит, верно и в отношении пчелиного улья или муравейника.

В суперкомпьютерах финансовых столиц мира начинают формироваться виртуальные миры, напитанные подробностями реального мира и населенные все более разумными «агентами». Чем точнее и подробнее прогноз, тем выше прибыли. Так что на повышение точности моделей на всех уровнях работают мощные экономические стимулы.

Но если полезно создавать цифровых агентов, реализующих сложные стратегии покупки биржевых активов, то разве не выгоднее создавать цифровые модели с полным спектром человеческих мотиваций и способностей? Почему бы не создать УЧИ или виртуальных агентов человеческого уровня разумности? Собственно, этим и занимается Уолл-стрит, но под другим названием — «агентные финансовые модели».

Рано или поздно финансовые рынки породят УЧИ, считает доктор Александер Уисснер-Гросс. Резюме Уисснер-Гросса таково, что остальным изобретателям, ученым и эрудитам остается только кусать локти. Он автор тринадцати книг, держатель шестнадцати патентов; его зачислили в МТИ с высшими баллами сразу на три направления (физика, инженерное дело и математика), а окончил он Инженерную школу МТИ первым на курсе. Он защитил степень доктора философии в Гарварде и получил немаленькую премию за свою диссертацию. Он основал и продал несколько компаний и, согласно его собственному резюме, получил «107 серьезных наград и знаков отличия» (вероятно, речь идет не о наградах типа «менеджер недели»). В настоящее время он работает в Гарварде, занимается исследованиями и пытается коммерциализировать свои идеи в области финансовой инженерии.

Так вот, он считает, что, пока блестящие теоретики всего мира соревнуются между собой, стремясь первыми создать УЧИ, он может появиться уже готовым и полностью сформированным на финансовых рынках как непредвиденное следствие создания вычислительных моделей большого числа людей. Кто будет его создателем? «Кванты» — так на Уолл-стрит называют компьютерщиков — специалистов по финансовой математике.

«Безусловно, возможно, что реальный живой искусственный интеллект человеческого уровня мог бы появиться на финансовых рынках, — сказал мне Уисснер-Гросс. — Не как результат одного-единственного алгоритма одного кванта, но как совокупность всех алгоритмов множества хедж-фондов. Для УЧИ, может быть, и не потребуется последовательная теория. Возможно, это будет совокупный феномен. Финансы имеют хороший шанс стать тем самым первичным бульоном, в котором зародится УЧИ».

Чтобы купиться на этот сценарий, необходимо верить, что создание все более совершенных финансовых моделей подпитывается большими деньгами. Это действительно так — как ни смешно, в эту сферу финансисты вкладывают больше денег, чем тратит кто бы то ни было на машинный интеллект, возможно, даже больше, чем DARPA, IBM и Google могут бросить на разработку УЧИ. Деньги превращаются в новые, более мощные суперкомпьютеры и лучших программистов. Уисснер-Гросс говорит, что «кванты» пользуются теми же инструментами, что и разработчики ИИ, — это нейронные сети, генетические алгоритмы, автоматическое чтение, скрытые марковские модели и все, что может прийти в голову. Каждый новый инструмент ИИ проходит испытание в горниле финансов.

«Стоит появиться новой методике ИИ, — рассказывал Уисснер-Гросс, — как сразу же задается вопрос: можно ли использовать это на фондовом рынке?»

А теперь представьте, что вы высокопоставленный «квант» и имеете в своем распоряжении достаточно средств, чтобы нанимать других специалистов и покупать оборудование. Хедж-фонд, на который вы работаете, имеет громадную модель Уоллстрит, населенную тысячами разнообразных экономических агентов. Ее алгоритмы взаимодействуют с алгоритмами других хедж-фондов — они так тесно связаны, что поднимаются и падают вместе и действуют как будто по предварительной договоренности. По словам Уисснер-Гросса, рыночные наблюдатели уже высказывали предположение о том, что некоторые алгоритмы, кажется, сигнализируют один другому и распространяют информацию по всей Уолл-стрит при помощи миллисекундных сделок, реализуемых с такой скоростью, какую не в состоянии отследить ни один человек (это тот самый высокочастотный трейдинг, о котором шла речь в главе 6).

Не правда ли, следующим логическим шагом было бы заставить ваш хедж-фонд думать? То есть ваш алгоритм, возможно, не должен автоматически запускать продажи в ответ на массированный сброс акций другим фондом (что, собственно, послужило причиной мгновенного краха в мае 2010 г.). Вместо этого он должен своевременно заметить сброс акций и, прежде чем делать свой ход, посмотреть, как на него будут реагировать другие фонды и рынок в целом. Тогда он, возможно, сумеет сделать иной, более удачный ход. Или, может быть, что еще лучше, сможет одновременно с этим промоделировать большое число гипотетических рынков и будет готов к реализации одной из множества стратегий в ответ на конкретные условия.

Иными словами, существуют громадные финансовые стимулы наделить ваши алгоритмы самосознанием — чтобы они точно знали, чем являются, и могли моделировать окружающий мир. А это уже очень похоже на УЧИ. Именно в этом направлении, безусловно, развивается рынок, но есть ли результаты и близок ли кто-нибудь к созданию УЧИ?

Уисснер-Гросс не знал ответа на этот вопрос. Возможно, он не открыл бы его, даже если бы знал. «Есть серьезные материальные причины держать в тайне любые успехи, обещающие хорошую выгоду», — сказал он.

Разумеется. И он говорит при этом не просто о конкуренции между хедж-фондами, но и о своего рода естественном отборе среди алгоритмов. Победители процветают и передают тексты своих программ потомкам. Неудачники погибают. Эволюционное давление рынка способно ускорить развитие интеллекта, но не без руководящего участия человека-«кванта». Пока.

А интеллектуальный взрыв в мире финансовой инженерии был бы абсолютно непрозрачным, по крайней мере по четырем причинам. Во-первых, подобно многим когнитивным архитектурам, он, вероятно, использовал бы нейронные сети, генетическое программирование и прочие «черные ящики» методик ИИ. Во-вторых, высокоскоростные транзакции, занимающие от силы несколько миллисекунд, происходят быстрее, чем может отследить человек, — достаточно посмотреть на то, как происходил обвал 2010 г. В-третьих, система невероятно сложна — ни один квант (ни даже группа квантов) не в состоянии полностью описать экосистему алгоритмов Уолл-стрит и объяснить, как алгоритмы взаимодействуют между собой.

Наконец, если мощный интеллект родится в недрах финансовой математики, его, скорее всего, будут держать в тайне до тех пор, пока он будет приносить деньги своим создателям. Вот вам четыре уровня непроницаемости.

Подведем итоги. В принципе УЧИ может родиться на Уолл-стрит. Самые успешные алгоритмы и сейчас держат в тайне — и «кванты», с любовью их реализующие, и компании, ими владеющие. Интеллектуальный взрыв здесь пройдет незаметно для большинства людей, если не для всех, и остановить его, вероятно, в любом случае будет невозможно.

Надо сказать, что сходства между финансовой математикой и исследованиями ИИ на этом не заканчиваются. Уисснер-Гросс выдвинул еще одно поразительное предположение. Он утверждает, что первые стратегии управления УЧИ могли бы вырасти из мер, предлагаемых нынче для управления высокочастотным трейдингом и контроля над ним. Некоторые из них выглядят достаточно перспективно.

Рыночный предохранитель, или прерыватель цепи, должен отрезать ИИ хедж-фонда от внешнего мира в случае непредвиденных обстоятельств. Грубо говоря, зарегистрировав каскадные взаимодействия алгоритмов вроде тех, что происходили во время краха 2010 г., такой автомат должен «выдернуть вилку из розетки», то есть физически отключить машины от электропитания.

Правило крупного трейдера требует подробной регистрации всех ИИ наряду с человеческими организациями. Если это кажется вам прелюдией к серьезному вмешательству правительства, то вы правы. Почему нет? Уолл-стрит снова и снова доказывает свою неспособность к ответственному поведению без энергичного регулирования. Относится ли это также к разработчикам УЧИ? Несомненно. К изучению УЧИ допускаются не только люди высоких моральных качеств.

Предварительное тестирование алгоритмов могло бы моделировать поведение алгоритмов в виртуальной среде, прежде чем выпускать их на реальный рынок. Цель аудита исходного текста программ ИИ и централизованной записи деятельности ИИ —предугадывание возможных ошибок и поощрение анализа постфактум любых неожиданных событий, таких как крах 2010 г.

Но оглянитесь на упомянутые выше четыре уровня непрозрачности и подумайте, достаточно ли будет таких мер предосторожности, даже если они будут полностью реализованы, и смогут ли они, на ваш взгляд, гарантировать безопасность.

 

Как мы уже видели, Виндж принял эстафету от Гуда и дополнил описание интеллектуального взрыва новыми важными чертами. Он рассмотрел альтернативные варианты его достижения помимо нейронных сетей, о которых говорил Гуд, и указал на возможность и даже вероятность гибели человечества. И возможно, самое важное, Виндж дал этому событию имя — сингулярность.

Винджу, как автору оригинального научно-фантастического рассказа «Истинные имена», отлично известно, что присвоение имени — чрезвычайно важный акт. Имена просятся на язык, откладываются в мозге и без труда преодолевают пропасть между поколениями. В Книге Бытия, как говорят теологи, раздача имен всему на Земле на седьмой день важна потому, что на созданной Богом «сцене» рядом с ним должно было появиться разумное существо, которому и предстояло в дальнейшем пользоваться этими именами. Языковая практика — важная веха в развитии ребенка. Без языка мозг не может нормально развиваться. Вряд ли УЧИ возможен без языка, без существительных, без имен.

Виндж дал сингулярности название, чтобы обозначить страшное будущее для человечества. Его определение сингулярности метафорично — орбита вокруг черной дыры, где гравитационные силы настолько сильны, что даже свет не в состоянии вырваться вовне. Мы не можем узнать, что там внутри, и такое название дано не случайно.

Затем внезапно все изменилось.

К концепции сингулярности, предложенной Винджем, Рэй Курцвейл добавил мощный катализатор, сдвигающий всю тему в область стремительного развития технологий и фокусирующий внимание на надвигающейся катастрофической опасности: экспоненциальном росте мощности и скорости компьютеров. Именно из-за этого роста вы можете окидывать скептическим взглядом любого, кто скажет, что машинный интеллект человеческого уровня не будет получен еще лет сто, а может, и вообще никогда не будет достигнут.

В расчете на один доллар мощность компьютеров за последние тридцать лет выросла в миллиард раз. Еще лет через двадцать за $1000 можно будет купить в миллион раз более мощный компьютер, чем сегодня, а через двадцать пять лет — в миллиард. Примерно к 2020 г. появятся первые компьютерные модели человеческого мозга, а к 2029 г. исследователи смогут запустить модель мозга, которая не будет ни на йоту уступать человеческому ни в интеллектуальном, ни в эмоциональном плане. К 2045 г. человеческий и машинный интеллект вырастут в миллиард раз и разработают технологии, которые позволят победить наши человеческие слабости, такие как утомление, болезни и смерть. В случае если нам удастся это пережить, технический прогресс за XXI в. продвинется не на столетие, а на 200 000 лет.

Приведенный анализ и экстраполяция принадлежат Курцвейлу и могут служить ключом к третьему, победившему на данный момент определению сингулярности. Сердцем этого определения является Закон прогрессирующей отдачи — теория технического прогресса, которую Курцвейл не придумал, но извлек на всеобщее обозрение, примерно так же, как Гуд предугадал интеллектуальный взрыв, а Виндж предупредил о надвигающейся сингулярности. Закон прогрессирующей отдачи говорит о том, что экстраполяции и успехи, о которых мы говорим в этой книге, накатываются на нас, как грузовой состав, который на каждом километре удваивает скорость. Очень трудно представить себе, насколько быстро этот состав окажется здесь, но достаточно сказать, что если к концу первого километра его скорость будет составлять 20 км/ч, то всего через пятнадцать километров он будет мчаться со скоростью более 65 000 км/ч. Важно отметить, что экстраполяция Курцвейла относится не только к «железу» (скажем, к начинке нового айфона), но и к развитию теорий (к примеру, к созданию единой теории искусственного интеллекта).

Но здесь мое мнение расходится с мнением Курцвейла. Я считаю, что вместо дороги в рай, куда мы движемся, по утверждению Курцвейла, Закон прогрессирующей отдачи описывает кратчайшее возможное расстояние между нашей жизнью — такой, какая она сегодня, — и концом эры человечества.

 

ГЛАВА 9

⇐ Предыдущая1234Следующая ⇒

Поделиться: