Искусственный интеллект – надежды и опасения
Сборник
Наука, идеи, ученые
В далеком 1950 году американский математик, отец-основатель кибернетики и теории искусственного интеллекта Норберт Винер опубликовал работу «Человеческое применение человеческих существ» (в русском переводе – «Кибернетика и общество»), в которой выразил свои опасения, связанные с развитием искусственного интеллекта.
Сейчас, в ХХI веке, проблема выглядит еще более злободневной. Наша компьютерная зависимость стала тотальной. Развлечения, покупки, работа, учеба – практически все сосредоточено в гаджетах размером с ладонь. Руководствуясь удобством и – что уж греха таить? – ленью, мы перекладываем на ИИ часть надоевших и скучных функций, а зачастую доверяем ему и принятие решений.
Пока, на волне эйфории от открывшихся перспектив, преимущества искусственного интеллекта кажутся неоспоримыми, но не получится ли так, что милые удобства, которые мы получили сейчас, в период «младенчества» искусственного интеллекта, обернутся крупными неприятностями, когда «младенец» повзрослеет и посмотрит на «родителей» критическим взглядом?
Руководствуясь формулой «кто предупрежден – тот вооружен», Джон Брокман предложил известным ученым, публицистам и философам поразмышлять о перспективах взаимодействия человека и искусственного интеллекта в свете идей, высказанных Винером, а также в свете новых реалий и последних достижений научной мысли.
Джон Брокман
Искусственный интеллект – надежды и опасения
© John Brockman, 2019
© Издание на русском языке AST Publishers, 2020
Введение
О надеждах и опасностях ИИ
Искусственный интеллект – это сегодняшний день, это, так сказать, история в основе прочих историй. Это одновременно Второе пришествие и Апокалипсис, добрый ИИ против злого ИИ. Книга, которую вы держите в руках, продолжает разговор об искусственном интеллекте; в нее вошли соображения целого ряда влиятельных персон из мира ИИ и сопредельных миров о том, что такое искусственный интеллект и что за ним скрывается. Проект, получивший название «Глубокое осмысление», начался по-настоящему в сентябре 2016 года, когда некоторые авторы книги собрались, чтобы обсудить упомянутые вопросы в отеле «Мэйфлауэр Грейс» в Вашингтоне, штат Коннектикут.
Очень быстро после этой первой встречи стало ясно, что присущие широкой культуре упования и опасения, связанные с ИИ, во многом аналогичны тем надеждам и тревогам, которые окружали идеи Норберта Винера относительно кибернетики, особенно в 1960-е годы, когда творцы принялись обсуждать новые технологии в своих произведениях. Я был непосредственным свидетелем распространения этих идей; на самом деле не будет преувеличением сказать, что именно они определили мой жизненный путь. С наступлением цифровой эры в начале 1970-х годов о Винере как будто позабыли, но сегодня его кибернетические идеи успели проникнуть настолько глубоко, оказались усвоенными настолько полно, что им больше не требуется отдельное обозначение. Они повсюду, и потому будет логично начать с них.
Новые технологии = новые восприятия
До ИИ была кибернетика – представление об автоматическом и саморегулируемом управлении, изложенная в основополагающем тексте Норберта Винера 1948 года. Я могу датировать собственное осознанное обращение к ней 1966 годом, когда композитор Джон Кейдж пригласил меня и еще четверых или пятерых молодых людей из области искусства присоединиться к участию в цикле семинаров, посвященных средствам массовой информации, коммуникациям, искусству, музыке и философии; эти семинары отражали интерес Кейджа к идеям Винера, Клода Шеннона и Маршалла Маклюэна, каждый из которых считался авторитетом в нью-йоркских артистических кругах, где я тогда вращался. В частности, Кейдж высоко оценил утверждение Маклюэна о том, будто, изобретая электронные технологии, мы экстернализируем свою центральную нервную систему, то есть наш разум, и отныне приходится допускать, что «существует один-единственный разум, общий для всех людей».
Подобного рода идеи все чаще привлекали творцов, с которыми мне доводилось тогда сотрудничать (я был программным менеджером нью-йоркской «Режиссерской синематеки» и отвечал за серию мультимедийных постановок под названием «Нью Синема 1», также известную как «Большой кинофестиваль», под руководством авангардного режиссера и импресарио Йонаса Мекаса). Среди этих творцов были визуальные художники Клас Олденбург, Роберт Раушенберг, Энди Уорхол, Роберт Уитман; художники-кинетики Шарлотта Мурман и Нам Джун Пайк; мастера хэппенинга Аллан Капроу и Кэроли Шнеманн; танцовщица Триша Браун; режиссеры Джек Смит, Стэн Вандербик, Эд Эмшуиллер и братья Кучар; авангардный драматург Кен Дьюи; поэт Герд Стерн и группа USCO[1 - Американская арт-группа, наибольшая активность которой пришлась на середину 1960-х гг. Аббревиатура USCO расшифровывается как «Наша компания» (Us Company). Группа экспериментировала с «дополненным» кино, визуализацией музыки, инсталляциями и пр. – Здесь и далее, кроме особо оговоренных случаев, примеч. ред.]; музыканты-минималисты Ламонт Янг и Терри Райли; а еще Уорхол заманил к нам музыкальную группу «Velvet Underground». Многие из перечисленных людей читали Винера и вели разговоры на темы кибернетики. На одном из семинаров Кейдж сунул руку в портфель, достал экземпляр «Кибернетики» и вручил мне со словами: «Это вам».
В разгар фестиваля мне неожиданно позвонил коллега Винера Артур К. Соломон, руководитель аспирантской программы по биофизике в Гарварде. Винер умер годом ранее, другие близкие коллеги Соломона и Винера в Массачусетском технологическом институте и Гарварде узнали о «Большом кинофестивале» из статей в «Нью-Йорк таймс» – и заинтересовались этими попытками интерпретировать идеи Винера. Соломон предложил мне привезти несколько творцов в Кембридж[2 - Имеется в виду университетский центр в американском штате Массачусетс.] и встретиться с ним и группой ученых, в которую входили исследователь сенсорных коммуникаций из МТИ Уолтер Розенблит, математик из Гарварда Энтони Эттингер и инженер МТИ Гарольд (Док) Эджертон, изобретатель стробоскопа.
Как и во многих других ситуациях «соприкосновения искусства с наукой», в которых я оказывался с тех пор, двухдневная встреча превратилась, как говорится, в ожидаемый провал: мы говорили на разных языках. Но я нисколько не отчаивался, да и само событие имело ряд любопытных последствий, например именно тогда нам довелось впервые увидеть воочию «компьютер». Тогда компьютеры были редкостью; во всяком случае, никто из нас прежде их не видел. Благодаря любезному приглашению мы очутились в каком-то обширном пространстве посреди кампуса МТИ и узрели «холодную комнату», приподнятую над полом и заключенную в стекло; за этой стеклянной оградой техники в белых лабораторных халатах, шапках и перчатках деловито собирали перфокарты, извергавшиеся из огромного агрегата. Когда я подошел ближе, от моего дыхания стекло запотело. Я протер стекло, увидел тот «компьютер» – и влюбился с первого взгляда.
Позже, осенью 1967 года, я отправился в Менло-парк, чтобы встретиться со Стюартом Брэндом, с которым познакомился в Нью-Йорке в 1965 году, когда он числился в составе художественной группы USCO. Ныне, вместе со своей женой, математиком Лоис, он готовил к публикации первое издание «Каталога всей Земли». Пока Лоис и остальная команда упорно вносили последние правки в «Каталог», мы со Стюартом два дня подряд отсиживались в уголке, штудируя, обсуждая и комментируя тот самый экземпляр «Кибернетики» Винера в мягкой обложке, который Кейдж вручил мне год назад.
Вдохновленный совокупностью идей, я начал разрабатывать тему, своего рода мантру, которая стимулировала все мои дальнейшие усилия: «Новые технологии суть новое восприятие». Опираясь на мысли теоретика коммуникаций Маршалла Маклюэна, архитектора и дизайнера Бакминстера Фуллера, футуролога Джона Макхейла и антропологов Эдварда (Неда) Т. Холла и Эдмунда Карпентера, я начал активно начитывать работы по теории информации, кибернетике и теории систем. Маклюэн предложил мне прочесть исследование Дж. З. Янга «Сомнение и уверенность в биологической науке», где утверждалось, что мы создаем инструменты и формируем себя посредством их использования. Другим рекомендованным текстом стала статья Уоррена Уивера и Клода Шеннона «Недавние дополнения к математической теории коммуникации» (1949), которая начинается так: «Слово «коммуникация» далее будет употребляться в чрезвычайно широком смысле, дабы охватить все процедуры и способы, с помощью которых один разум может влиять на другой. Разумеется, мы говорим не только об устной и письменной речи, но также о музыке, изобразительном искусстве, театре, балете – фактически обо всем человеческом поведении».
Кто мог знать, что всего два десятилетия спустя мы начнем трактовать человеческий мозг как компьютер? А в следующие два десятилетия, объединяя наши компьютеры в сеть интернет, начнем понимать, что человеческий мозг – не сверхмощный компьютер, но совокупность, сеть компьютеров? Об этом наверняка даже не догадывался Винер, специалист по аналоговым цепям обратной связи, предназначенным для управления машинами, как не догадывались и создатели машин.
«Мы должны перестать лобызать плетку, которой нас хлещут»
Через два года после выхода «Кибернетики», в 1950 году, Норберт Винер опубликовал работу «Человеческое применение человеческих существ», безусловно более философскую, в которой выразил свою обеспокоенность относительно безудержной коммерческой эксплуатации и других непредвиденных последствий новых технологий управления. Я не читал «Человеческое применение человеческих существ» до весны 2016 года, когда взял в руки экземпляр ее первого издания, стоявший в моей библиотеке рядом с «Кибернетикой». Меня откровенно шокировало осознание того, насколько прозорлив оказался Винер в 1950 году по поводу наших дней. Первое издание этой работы стало бестселлером – более того, положило начало широкому общественному обсуждению этих проблем, – но под давлением коллег Винер выпустил в 1954 году пересмотренное и «смягченное» издание, из которого исчезла заключительная глава «Голоса ригидности».
Историк науки Джордж Дайсон отмечает, что в давно забытом первом издании работы Винер предсказывал возможность «возникновения нового грозного фашизма, который будет опираться на machine a gouverner[3 - Управляющую машину (фр.). Все дальнейшие цитаты из этой работы Винера приводятся по изданию: Винер Н. Кибернетика и общество. Человеческое применение человеческих существ. М.: АСТ, 2019.]»:
Ни одна элита не избежала его критики, от марксистов и иезуитов («весь католицизм по сути представляет собой тоталитарную религию») до ФБР («наши магнаты изучили пропагандистские техники русских и обнаружили, что это хорошо и полезно») и финансистов, которые стремятся «сделать американский капитализм и пятую свободу бизнесмена высшими ценностями во всем мире». Ученые… удостоились столь же пристального внимания и сравнения с церковью: «Действительно, руководители больших лабораторий очень схожи с епископами, обладают обширными связями с могущественными людьми во всех сферах жизни и, к сожалению, одержимы смертным грехом гордыни и жаждой власти.
Эта иеремиада[4 - Сетование на пороки общества и их обличение (по образу и подобию упреков, которые бросал своим современникам библейский пророк Иеремия).] дорого обошлась Винеру. Как пишет Дайсон:
«Этот набат предпочли проигнорировать, и не потому, что Винер ошибался относительно цифровых вычислений, а потому, что период завершения рукописи осенью 1949 года совпал с появлением более серьезных угроз. Винер не имел ничего против цифровых вычислений, зато категорически выступал против ядерного оружия и отказался присоединиться к тем, кто создавал цифровые компьютеры ради конструирования в тысячу раз более мощной водородной бомбы».
Поскольку «Человеческое применение человеческих существ» уже давно не переиздавалось, мы остаемся в неведении по поводу винеровского cri de coeur[5 - Крика души (фр.).], еще более актуального сегодня, чем шестьдесят восемь лет назад: «Мы должны перестать лобызать плетку, которой нас хлещут».
Разум, мышление, интеллект
Среди причин, по которым мы сегодня мало что слышим о «Кибернетике», выделяются две основные: во?первых, хотя «Человеческое применение человеческих существ» в свое время считалось важной работой, оно противоречило чаяниям многих коллег Винера, в том числе Джона фон Неймана и Клода Шеннона, которые были заинтересованы в коммерциализации новых технологий. Во-вторых, пионер компьютерных исследований Джон Маккарти не одобрял взгляды Винера и отказывался использовать винеровский термин «кибернетика». Он придумал термин «искусственный интеллект» – и стал, скажем так, отцом-основателем этой области науки.
Как объяснил мне Джуда Перл, который в 1980-е годы разработал новый подход к искусственному интеллекту под названием «байесовская сеть»:
Винер на самом деле породил воодушевляющие надежды на то, что однажды мы сможем сконструировать разумную машину. Он не был специалистом по компьютерам. Он рассуждал об обратной связи, о коммуникации, об аналоговых механизмах. Рабочей метафорой была для него схема обратной связи, область, в которой он являлся экспертом. На заре цифровой эпохи, в начале 1960-х годов, люди желали обсуждать программирование, говорить о кодах, вычислительных функциях, кратковременной памяти и долговременной памяти – таковы были тогдашние значимые компьютерные метафоры. Винер не принадлежал к этому кругу идей, он оказался невостребованным новым поколением, несмотря то, что оно выросло на его идеях. Его метафоры были чересчур старомодными, слишком passe[6 - Зд. устаревшими (фр.).]. Между тем уже появились новые инструменты, способные захватить человеческое воображение. К 1970 году о Винере благополучно забыли.
Критически важным фактором, отсутствующим в картине мира по Винеру, был когнитивный элемент: разум, мышление, интеллект. Уже в 1942 году, на первом семинаре в ряду основополагающих междисциплинарных собраний, посвященных управлению сложными системами (впоследствии ставших известными как конференции Мэйси[7 - Встречи ученых для обмена опытом, продолжавшиеся с 1941 по 1960 г. Проходили в помещениях благотворительного фонда им. Джозайи Мэйси-мл. в Нью-Йорке. Всего состоялось 160 конференций; хотя далеко не все встречи касались кибернетики, со временем выражение «конференции Мэйси» приобрело, так сказать, выраженное «кибернетическое» содержание.]), ведущие исследователи выступили за включение когнитивного элемента в дискуссию. Фон Неймана, Шеннона и Винера интересовали прежде всего системы управления и коммуникация наблюдаемых систем, а вот Уоррен Маккаллок[8 - Уоррен Маккаллок – американский нейропсихолог и один из основоположников кибернетики. В настоящем переводе его фамилия передается по-русски единообразно, однако в оригинале разные авторы сборника указывают ее по-разному (McCullock и McCulloch).] желал изучать разум. Он обратился к антропологам Грегори Бейтсону[9 - Грегори Бейтсон – британский и американский философ, кибернетик и специалист по теории информации. На русском опубликованы его ключевые труды «Экология разума» (2000), «Разум и природа» (2007), «Ангелы страшатся» (2019).] и Маргарет Мид, стремясь наладить контакт с социальными науками и обеспечить обоснование с их стороны. В частности, Бейтсон активно изучал формы и процессы взаимодействия, «модели взаимосвязи». Он призывал к созданию системной экологии нового типа, где организмы и окружающая среда, в которой они живут, одинаковы и потому должны рассматриваться в совокупности, как единая модель. К началу 1970-х годов кибернетика наблюдаемых систем – кибернетика 1-го порядка – развилась в кибернетику систем наблюдения – кибернетику 2-го порядка, или «кибернетику кибернетики», как остроумно выразился Хайнц фон Ферстер[10 - Хайнц фон Ферстер – австрийский физик и математик, один из основоположников кибернетики, с 1949 г. жил и работал в США.], который присоединился к конференциям Мэйси в середине 1950-х годов и возглавил новое движение.
Кибернетика не исчезла, но трансформировалась, если угодно, во всё на свете, поэтому мы больше не считаем ее отдельной, самостоятельной дисциплиной. Таковой она остается по сей день, прячась, как говорится, на виду.
«О всяких штейнах»[11 - В названии раздела обыгрывается суффикс «-штейн», присутствующий во всех фамилиях людей, о которых говорится ниже. В отечественной традиции закрепились различные варианты передачи этого суффикса, поэтому по-русски будет «Эйнштейн» и «Витгенштейн», но «Гертруда Стайн».]
Лично меня, как автора статей о науке, привлекали в ту пору кибернетики 2-го порядка, включая Хайнца фон Ферстера, а также Джона Лилли и Алана Уоттса[12 - Дж. Лилли – американский психоаналитик и нейробиолог, представитель «ученой контркультуры» 1970-х, к которой принадлежал и известный пропагандист и популяризатор восточной философии британец А. Уоттс (последний пытался развивать «общую семантику» на основании ранних работ Н. Винера).], которые выступили организаторами мероприятия под названием «Конференция АУМ» («Американский университет мастерства»), состоявшегося в Биг-Суре в 1973 году; философы, психологи и представители естественных наук собрались вместе, чтобы поделиться результатами собственных исследований с точки зрения их отношений к идеям британского математика Дж. Спенсера Брауна[13 - По его собственным словам, Спенсер Браун был «математиком, инженером-консультантом, психологом, педагогом и практиком образования, психотерапевтом, писателем и поэтом». Его авторству принадлежит «математико-философская» работа «Законы формы» (1969), где предлагается минимизированная система записи выражений булевой алгебры.], изложенным в книге «Законы формы».
Я был слегка озадачен, когда получил приглашение участвовать в мероприятии – едва ли не в последний момент; как объяснили организаторы, они направили мне приглашение, ознакомившись с моей книгой под названием «Послесловия», где формулировались идеи, чрезвычайно близкие к их собственным. Я ухватился за эту возможность в первую очередь потому, что основным докладчиком конференции значился не кто иной, как Ричард Фейнман. Мне нравится общаться с физиками, поскольку они мыслят о Вселенной, то есть обо всем. Никакой другой физик не мог соперничать в ту пору в известности с Фейнманом. Я не мог дождаться встречи с ним и, разумеется, принял приглашение. Но следует помнить, что я не ученый и никогда не помышлял взойти на кафедру и выступить с какой-либо «лекцией», менее всего – с комментариями по запутанной математической теории, да еще перед группой, состоящей из передовых мировых мыслителей. Только по прибытии в Биг-Сур я узнал истинную причину моего запоздалого приглашения. «Когда выступает Фейнман?» – спросил я на регистрации. «О, – ответили мне, – разве Алан Уоттс вам не сказал? Ричард заболел, его госпитализировали. Вы его заменяете. Кстати, о чем вы будете рассказывать?»
Несколько дней я усиленно старался спрятаться ото всех. Алан Уоттс, сообразив, что я отчаянно норовлю не выходить на сцену, как-то ночью разбудил меня громким стуком в дверь моей комнаты. Я открыл дверь и увидел, что он облачился в монашеский балахон с капюшоном, скрывавшим бо?льшую часть его лица. Руки протянуты ко мне, в одной руке он держал фонарь, в другой – бутылку виски.
«Джон, – произнес он низким голосом с выраженным аристократическим британским акцентом, – вы мошенник. Но знаете, Джон, я тоже мошенник. Разница в том, что из нас двоих я – настоящий обманщик!»
На следующий день я прочитал лекцию под названием «Эйнштейн, Гертруда Стайн, Витгенштейн и Франкенштейн». Эйнштейн: революция в физике XX столетия; Гертруда Стайн: первый автор, отталкивавшийся в своем творчестве от идеи неопределенной и дискретной Вселенной (слова не отражают ни суть, ни деятельность: «Роза – это роза – это роза, а Вселенная – это Вселенная – это Вселенная»); Витгенштейн: мир как языковой предел («Границы моего языка означают границы моего мира», устранение различия между наблюдателем и наблюдаемым); Франкенштейн: кибернетический ИИ, робототехника и пр. (темы очерков данной книги).
Лекция имела непредвиденные последствия. Среди участников конференции АУМ оказалось несколько авторов из списка бестселлеров «Нью-Йорк таймс», но ни у кого не было литературного агента. Вдобавок я осознал, что все они пишут книги в жанре, который не имеет названия и которым пренебрегают нью-йоркские издатели. Поскольку у меня в наличии степень магистра делового администрирования бизнес-школы Колумбийского университета и поскольку я мог похвастаться кое-какими успехами в бизнесе, волей обстоятельств я сделался литературным агентом, сначала для Грегори Бейтсона и Джона Лилли, чьи книги мне удалось быстро пристроить – причем за гонорар, заставивший меня задуматься. Это обстоятельство побудило меня всерьез заняться карьерой литературного агента.
А с Ричардом Фейнманом я так и не встретился.
Долгие зимы ИИ
Эта новая карьера близко свела меня с большинством пионеров в области искусственного интеллекта, и на протяжении десятилетий я вместе с ними взмывал на волнах энтузиазма и падал в овраги разочарований.
В начале 1980-х годов правительство Японии предприняло общенациональные усилия по развитию ИИ. Японцы рассуждали о 5-м поколении машин; их цель состояла в том, чтобы изменить архитектуру вычислений, преодолеть «бутылочное горлышко» фон Неймана и создать полноценный параллельный компьютер. Тем самым они рассчитывали оживить свою экономику и стать доминирующей мировой державой в этой области. В 1983 году лидер японского консорциума «5-е поколение» приехал в Нью-Йорк на встречу, организованную Хайнцем Пагельсом, президентом Нью-Йоркской академии наук. Я сидел за одним столом с лидерами 1-го поколения Марвином Минским и Джоном Маккарти, лидерами 2-го поколения Эдвардом Фейгенбаумом и Роджером Шенком[14 - Оба ученых внесли немалый вклад в разработку экспертных систем; Дж. Маккарти, упоминаемый выше, – автор термина «искусственный интеллект», пионер функционального программирования; Дж. Трауб (ниже) – математик, вывел ряд алгоритмов и предложил (вместе с Г. Возяковским) теорию вычислительной сложности.], а также с Джозефом Траубом, главой Национального суперкомпьютерного консорциума США.
В 1981 году при поддержке Хайнца я основал «Клуб реальности» (предшественник некоммерческого фонда Edge.org), первые междисциплинарные собрания которого проходили в зале заседаний Нью-Йоркской академии наук. Хайнц работал над своей книгой «Мечты о разуме: становление науки о сложности» (последнюю он считал исследовательской повесткой для науки 1990-х годов).
Благодаря встречам в «Клубе реальности» я познакомился с двумя молодыми исследователями, которым предстояло сыграть ключевую роль в революционной трансформации информатики. В конце 1970-х годов в Массачусетском технологическом институте Дэнни Хиллис разработал алгоритмы, которые сделали возможным создание полноценного параллельного компьютера. В 1983 году его компания «Thinking Machines» сконструировала быстрейший на ту пору суперкомпьютер, используя параллельную архитектуру. Его «связующая машина» во многом опиралась на принципы деятельности человеческого разума. Сет Ллойд из Университета Рокфеллера занимался прежде всего квантовыми вычислениями и квантовыми коммуникациями, в том числе описал первый технологически осуществимый проект квантового компьютера.
А что же японцы? Их «наскок» на искусственный интеллект потерпел неудачу, что обернулось скромным двадцатилетним экономическим ростом. Но ведущие американские ученые восприняли эту программу чрезвычайно серьезно. Фейгенбаум, передовой компьютерный теоретик тех лет, в соавторстве с Памелой Маккордак[15 - Памела Маккордак – американский историк науки, уделяет пристальное внимание развитию кибернетики и разработке искусственного интеллекта, супруга Дж. Трауба (см. выше).] даже написал книгу об этих событиях. Работа под названием «Пятое поколение: искусственный интеллект и японский компьютерный вызов миру» увидела свет в 1983 году. У нас, признаюсь, было кодовое название для этого проекта: «Оно грядет, грядет!» Увы, результат оказался плачевным: «оно» пришло и ушло.
С того времени я сотрудничал с исследователями, занятыми едва ли не во всех сферах разработки и применения ИИ, включая Родни Брукса, Ханса Моравека, Джона Арчибальда Уилера, Бенуа Мандельброта, Джона Генри Холланда, Дэнни Хиллиса, Фримена Дайсона, Криса Лэнгтона, Дойна Фармера, Джеффри Уэста, Стюарта Рассела и Джуду Перла.
Действующая динамическая эмерджентная система
С первой встречи в Вашингтоне, штат Коннектикут, и по сей день я организовал ряд заседаний и дискуссий в Лондоне и Кембридже, штат Массачусетс, а также публичное мероприятие в лондонской мэрии. Среди присутствовавших были выдающиеся ученые, историки науки и теоретики коммуникаций, причем все они размышляли о проблемах ИИ на протяжении всей своей научной карьеры.
Я обратился за комментариями к широкому кругу авторов, не ограничивая их необходимостью ссылаться на Винера (это осталось на усмотрение каждого участника проекта). В итоге 25 человек прислали мне свои очерки, и все эти люди обеспокоены тем, что происходит сегодня в области ИИ. Настоящая книга – не моя; скорее, это наша книга, авторов которой я с удовольствием перечисляю: Сет Ллойд, Джуда Перл, Стюарт Рассел, Джордж Дайсон, Дэниел К. Деннет, Родни Брукс, Фрэнк Вильчек, Макс Тегмарк, Яан Таллинн, Стивен Пинкер, Дэвид Дойч, Том Гриффитс, Анка Драган, Крис Андерсон, Дэвид Кайзер, Нил Гершенфельд, У. Дэниел (Дэнни) Хиллис, Венки Рамакришнан, Алекс (Сэнди) Пентленд, Ханс-Ульрих Обрист, Элисон Гопник, Питер Гэлисон, Джордж М. Черч, Кэролайн А. Джонс, Стивен Вольфрам.
Я рассматриваю проект «Глубокое осмысление» как непрерывно развивающуюся динамическую эмерджентную систему, как репрезентацию идей сообщества искушенных мыслителей, которые на основании своего опыта и эрудиции бросают вызов сложившемуся цифровому нарративу ИИ и делятся мыслями друг с другом. Цель сборника состоит в том, чтобы предложить читателю мозаику взглядов, которая поможет разобраться в этой быстро развивающейся области.
Я попросил авторов учесть два фактора:
(а) Дзенское по духу стихотворение Уоллеса Стивенса «Тринадцать способов увидеть черного дрозда»[16 - На русском (в переводе Г. Кружкова) это стихотворение американского поэта У. Стивенса обычно называют «Тринадцать способов нарисовать дрозда»; уже первая строфа этого стихотворения показывает, что, собственно, подразумевается в данном случае под определением «дзенское по духу стихотворение»: «Среди гор, засыпанных снегом, // Единственной движущейся точкой // Был глаз черного дрозда».], которое, как он сам настаивал, «призвано служить набором не эпиграмм или идей, но ощущений». Это упражнение в «перспективизации», состоящее из коротких разделов, в каждом из которых так или иначе упоминается черный дрозд. Стихотворение посвящено воображению поэта, оно имеет непосредственное отношение к творчеству.
(б) Притча о слепцах и слоне. Подобно слону, область ИИ слишком велика для общей оценки, не говоря уже о том, что не найдется двух людей, которые будут смотреть на мир одинаково.
Чего мы хотим от этой книги? Стюарт Брэнд отмечал, что «изучение мышления первопроходцев безусловно полезно. Оно задает долгосрочную перспективу, которая побуждает мыслить десятилетиями и столетиями. Все современные дискуссии, к сожалению, быстро устаревают и утрачивают смысл без длительной перспективы».
Дэнни Хиллис хочет, чтобы работники сферы ИИ поняли, каким образом их «запрограммировала» книга Винера. «Вы следуете его дорожной карте, – говорит он, – и сами того не замечаете».
Дэн Деннет хотел бы «позволить Винеру появиться этаким призраком на пиру. Считайте его источником гибридной энергии, источником беспокойных мыслей, способных опрокинуть устоявшийся образ мышления».
Нил Гершенфельд утверждает, что «негласное корректирующее образование для людей, оперирующих Большой пятеркой[17 - В психологии модель человеческой личности, отражающая восприятие и опирающаяся на предрасположенности (экстравертность, доброжелательность, сознательность, эмоциональная нестабильность, интеллект).], стало бы отличным результатом».
Джон Дайсон Фримен[18 - Джон Дайсон Фримен – американский физик-теоретик, один из пионеров квантовой термодинамики.], один из немногих живущих ныне людей, кто знал Винера лично, считает «Человеческое применение человеческих существ» одной из лучших книг, написанных за всю историю человечества. «Винер почти все изложил правильно. Будет любопытно посмотреть, что ваша компания чародеев сможет с этим сделать».
Развивающийся нарратив ИИ
Все изменилось – и осталось таким, каким было. Теперь ИИ везде. У нас есть интернет. У нас есть смартфоны. Состояние основателей ныне доминирующих компаний – тех самых, что держат «плетку, которой нас хлещут», – оценивается в 65 миллиардов долларов США (или 90 миллиардов долларов, или 130 миллиардов долларов). Выдающиеся люди, например Илон Маск, Ник Бостром, Мартин Рис, Элиезер Юдковски и покойный Стивен Хокинг[19 - Этот авторский список объединяет философов (Бостром как теоретик трансгуманизма, Юдковски как поборник «дружественного ИИ»), инженеров-практиков (Маск) и ученых «физической» направленности (физик Хокинг и космолог Рис); вероятно, присутствие И. Маска, а не какого-то другого инженера в данном списке объясняется – помимо того что он, наряду с перечисленными учеными, публично высказывает опасения относительно будущего человечества – его нынешней популярностью в обществе.], изрекают страшные прогнозы насчет ИИ, что заставляет создавать исправно финансируемые институты, призванные всюду пропагандировать «хороший ИИ». Но сможем ли мы, как вид, контролировать полноценный, не подлежащий и не поддающийся надзору, самосовершенствующийся ИИ? Предупреждения и предостережения Винера в «Человеческом применении человеческих существ» внезапно сделались чрезвычайно актуальными. Исследователям на передовой изучения перспектив ИИ стоит заново их оценить. Снова процитирую Дайсона:
«Винер все больше разочаровывался в «поклонниках гаджетов», чей корпоративный эгоизм породил «мотивы к автоматизации, которые выходили за рамки законного любопытства и были греховными сами по себе». Он знал, что опасность не в машинах, которые становятся все больше похожими на людей, а в людях, с которыми обращаются как с машинами. «Мир будущего окажется непрекращающейся и все более упорной борьбой с ограничениями нашего интеллекта», – предупреждал он в работе «Корпорация «Бог и голем», опубликованной в 1964-м, в год его смерти; это будет вовсе «не удобный гамак, в который мы возляжем в ожидании роботов-рабов».
Пришло время изучить эволюционирующий нарратив ИИ, определить ведущих представителей дисциплинарного сообщества заодно с «диссидентами» и предоставить всем возможность высказаться.
Если коротко, очерки этой книги суть столь необходимое для публики обновление наших взглядов.
Джон Брокман,
Нью-Йорк, 2019
Глава 1
Ошибочно, зато актуальнее, чем когда-либо
Я познакомился с Сетом Ллойдом в конце 1980-х годов, когда повсюду возникали новые способы мышления: значимость принципов биологической организации, вычислительный взгляд на математику и физические процессы, пристальное внимание к параллельным сетям, важность нелинейной динамики, новое понимание хаоса, идеи коннекционистов, нейронные сети, параллельная распределенная обработка… Развитие в области вычислений в указанный период предоставило нам новый способ мышления о знаниях.
Сет любит называть себя квантовым механиком. Он известен во всем мире своими исследованиями в области квантовых вычислений, где предпринимаются попытки использовать экзотические свойства квантовой теории, такие как суперпозиция и запутанность, для решения задач, которые придется решать несколько столетий на классических компьютерах.
В своем очерке он прослеживает историю теории информации от пророческих видений Норберта Винера до предсказаний технологической «сингулярности», которая, как хотелось бы кое-кому нас убедить, будто бы вытеснит человеческий род. Его взгляд на относительно новый метод программирования, так называемое глубинное обучение, состоит в том, чтобы призывать к более трезвой оценке перспектив; он отмечает, что, несмотря на огромные успехи ИИ, роботы «до сих пор не в состоянии завязать себе шнурки».
Мне трудно говорить о Сете, не ссылаясь на его отношения с другом и наставником, покойным физиком-теоретиком Хайнцем Пагельсом из Университета Рокфеллера. Вместе студент (Сет) и профессор (Пагельс) в немалой степени способствовали интеллектуальному развитию друг друга.
Летом 1988 года я навестил Хайнца и Сета в физическом центре в Аспене. Их совместная работа по сложности должна была выйти в свежем выпуске журнала «Сайентифик америкен»; оба безудержно радовались. Мы встретились всего за две недели до трагической гибели Хайнца при спуске с пика Пирамида; в горы они, разумеется, отправились вместе с Сетом и по дороге говорили о квантовых вычислениях.
В работе «Человеческое применение человеческих существ» (1950), где Норберт Винер в популярной форме излагал основные идеи своей чрезвычайно влиятельной книги «Кибернетика, или Управление и связь в животном и в машине» (1948), исследуется взаимодействие человеческих существ и машин в мире, в котором машины становятся все более мощными и способными к вычислениям. Это удивительно пророческая книга – и удивительно ошибочная в своих выводах. Написанная в разгар холодной войны, она, помимо прочего, содержит холодящее кровь напоминание об опасностях тоталитарных организаций и обществ, а также об угрозах демократии, которая пытается бороться с тоталитаризмом тоталитарным оружием.
В «Кибернетике» Винера тщательно изучаются и научно описываются подробности управления посредством обратной связи. (Само слово «кибернетика», производное от древнегреческого слова «кормщик», послужило этимологической основой позднего слова «губернатор»[20 - Английское слово governor («губернатор») восходит через латынь к древнегреческому kybernan («управлять, направлять»), как и предложенное Н. Винером слово «кибернетика».]; Джеймс Уатт именно так назвал свое новаторское устройство управления с обратной связью, которое преобразило область применения паровых двигателей.) Поскольку он плотно занимался задачами управления, Винер рассматривал мир как совокупность комплексных и взаимосвязанных контуров обратной связи, где датчики, сигналы и исполнительные механизмы, наподобие двигателей, взаимодействуют через сложно организованный обмен сигналами и информацией. Для инженерии «Кибернетика» оказалась необычайно полезной и эффективной, эти идеи позволили конструировать ракеты, роботов, автоматизированные сборочные линии и разработать множество прецизионных инженерных методов – иными словами, она, можно сказать, заложила фундамент современного индустриального общества.
Впрочем, Винер лелеял более честолюбивые замыслы в отношении кибернетических концепций; в «Человеческом применении человеческих существ» он рассуждает об их применимости к столь разнообразным предметам, как демон Максвелла, человеческий язык, мозг, метаболизм насекомых, правовая система, роль технологических инноваций в государственном управлении и религии. Эти более широкие применения кибернетики обернулись почти безоговорочным провалом. Шумиха вокруг кибернетики длилась с конца 1940-х до начала 1960-х годов (во многом напоминая шумиху в области компьютерных и коммуникационных технологий, завершившуюся крахом доткомов в 2000–2001 годах); можно сказать, что кибернетика породила спутники и системы телефонной коммутации, но практически не повлияла на социальную организацию и общество в целом.
Зато почти семьдесят лет спустя работа «Человеческое применение человеческих существ» может научить современных людей много большему, чем могла научить первых читателей. Быть может, замечательнее всего в этой книге то, что она предлагает к обсуждению большое количество тем по взаимодействию человека и машины, во многом сохраняющих актуальность по сей день. Мрачная по своей тональности, книга прогнозирует ряд катастроф второй половины XX столетия, и многие ее предсказания едва ли не идентичны нынешним пророчествам относительно второй половины XXI столетия.
Например, Винер предвидел в 1950 году такой момент в ближайшем будущем, когда люди передадут управление обществом кибернетическому искусственному интеллекту, который впоследствии причинит человечеству немалый урон. Винер предсказывал, что автоматизация производства чревата как значительным повышением производительности труда, так и ростом безработицы; данную последовательность событий мы действительно наблюдаем в последующие десятилетия. Винер предупреждал, что революция неизбежна, если только общество не сумеет подыскать новые продуктивные занятия этим безработным.
Но Винер оказался не в состоянии предугадать важные технологические разработки. Подобно почти всем «технологистам» 1950-х годов, он не предвидел компьютерной революции. По его мнению, компьютеры в конечном счете должны были подешеветь с сотен тысяч долларов (в ценах 1950-х годов) до десятков тысяч долларов; ни он сам, ни его соратники и соперники не ожидали того колоссального прорыва, который случился в компьютерных технологиях благодаря применению транзисторов и интегральных схем. Кроме того, будучи одержим задачами управления, Винер не смог вообразить технологический мир, где инновации и самоорганизация передаются по цепочке снизу вверх, а не навязываются сверху.
Сосредоточившись на пороках тоталитаризма (политического, научного и религиозного), Винер воспринимал происходящее глубоко пессимистически. Его книга предрекала катастрофу, которая непременно произойдет, если мы не исправимся, причем как можно быстрее. Современный мир людей и машин более полувека спустя после публикации книги Винера гораздо сложнее и богаче и содержит намного больше политических, социальных и научных систем, чем он мог себе представить. Впрочем, предупреждения относительно того, что может случиться, если мы ошибемся, – например, если некий глобальный тоталитарный режим установит полный контроль над интернетом, – ничуть не утратили актуальности по сравнению с 1950 годом.
В чем Винер был прав
Наиболее известные математические работы Винера были посвящены проблемам анализа сигналов и воздействия шума. В годы Второй мировой войны он разработал методику управления стрельбой зенитной артиллерии на основании моделей, позволяющих предугадывать траекторию движения летательных аппаратов через экстраполяцию характеристик полета. В «Кибернетике» и «Человеческом применении человеческих существ» Винер отмечает, что такой предыдущий опыт подразумевал в том числе прихоти и привычки людей-пилотов, поэтому механизированное устройство способно предсказывать поведение людей. Подобно Алану Тьюрингу, чей знаменитый тест допускал, что вычислительные машины могут давать ответы на вопросы, неотличимые от человеческих ответов, Винер всем сердцем верил в возможность описания человеческого поведения математическими уравнениями. В 1940-х годах он стал сопоставлять теоретические знания о контурах управления и обратной связи с нервно-мышечной обратной связью в живых системах – и лично пригласил в Массачусетский технологический институт Уоррена Маккаллока и Уолтера Питтса[21 - Американский нейролингвист и математик, вместе с У. Маккаллоком исследовал возможности «компьютеризации» нейронов.], которые приступили к новаторским исследованиям в области искусственных нейронных сетей.
Главная идея Винера заключалась в том, что мир следует понимать с точки зрения информации. Сложные системы, будь то живые организмы, мозг или человеческое общество, состоят из взаимосвязанных контуров обратной связи, где обмен сигналами между подсистемами порождает комплексное, но стабильное поведение. Когда целостность контура обратной связи нарушается, система утрачивает стабильность. Винер нарисовал убедительную картину функционирования сложной биологической системы – картину, в целом общепринятую сегодня.
Восприятие информации как центрального звена управления поведением сложных систем было замечательным открытием своего времени. Ныне, когда автомобили и холодильники битком набиты микропроцессорами, а бо?льшая часть человеческого общества в своей деятельности опирается на компьютеры и сотовые телефоны, подключенные к интернету, подчеркивать важнейшую роль информации, вычислений и связи кажется банальностью. Но в эпоху Винера первые цифровые компьютеры только-только появлялись, а об интернете никто даже не задумывался.
Замечательное прозрение Винера – что не только сложные инженерные системы, но какие угодно сложные системы опираются в работе на циклы сигналов и вычислений – обеспечило несомненный прорыв в области разработки комплексных систем, создаваемых человеком. Например, те методы, которые Винер и его соратники разрабатывали для управления ракетами, впоследствии получили применение при конструировании лунного корабля «Сатурн-V»[22 -
Американская сверхтяжелая ракета-носитель, использовалась для вывода в космос кораблей проекта «Аполлон» и космической станции «Скайлэб».], одного из главных технических достижений XX столетия. А кибернетические выкладки Винера относительно человеческого мозга и компьютеризированного восприятия можно по праву посчитать «прародителями» современных систем глубинного обучения на основе нейронных сетей, а также искусственного интеллекта как такового. Однако текущее развитие ситуации в этих областях не совпадает с нарисованной им картиной, и не исключено, что в дальнейшем это скажется на человеческом использовании как человеческих существ, так и машин.
В чем Винер ошибался
Именно применительно к людям кибернетические идеи Винера оказались ошибочными. Оставляя в стороне его достаточно дилетантские размышления о языке[23 - Вероятно, имеется в виду стремление Н. Винера обнаружить «язык» у животных и насекомых и приписывание человеку «врожденной» способности к шифрованию/дешифрованию сигналов.], законодательстве и человеческом обществе, рассмотрим более скромную, но потенциально полезную инновацию, внедрение которой он считал неизбежным в 1950 году. Винер отмечал, что протезы станут намного эффективнее, если их владельцы обретут способность напрямую общаться с этими устройствами посредством нервных сигналов, получать информацию о давлении и местоположении от протезированных конечностей и направлять их последующие движения. Как выяснилось, на самом деле все куда сложнее, чем предполагал Винер: семьдесят лет спустя протезы с «нервической» обратной связью не продвинулись дальше грубых, по сути, прототипов. Сама концепция Винера превосходна, но дело в том, что крайне непросто сопрячь нейронные сигналы с механико-электрическими устройствами.
Что еще важнее, Винер (как и практически всё поколение 1950-х) сильно недооценивал потенциал цифровых вычислений. Как уже отмечалось, в области математики Винер занимался анализом сигналов и шума, его аналитические методы применимы к постоянно меняющимся – аналоговым – сигналам. Да, он участвовал в разработке методов цифровых вычислений в годы войны, но не предвидел (и вряд ли мог предвидеть) экспоненциальный рост вычислительных мощностей в результате внедрения и устойчивой миниатюризации полупроводниковых схем. Не будем винить Винера: транзистор тогда еще не изобрели, электронные лампы в знакомых ему цифровых компьютерах не отличались надежностью, а сама технология их использования не масштабировалась для более крупных устройств. В дополнении к изданию «Кибернетики» 1948 года он предполагал появление шахматных компьютеров и предсказывал, что они смогут мыслить на два-три (всего) хода вперед. Наверняка он несказанно удивился бы, доведись ему узнать, что за полстолетия компьютер сумеет одолеть чемпиона мира по шахматам среди людей.
Технологическая переоценка и экзистенциальные риски сингулярности
Когда Винер писал свои книги, рождался показательный пример переоценки технологических возможностей. В 1950-х годах предпринимались первые попытки разработать искусственный интеллект; речь о таких исследователях, как Герберт Саймон, Джон Маккарти и Марвин Минский, которые начали программировать компьютеры на выполнение простых задач и конструировать примитивных роботов. Успех первоначальных усилий побудил Саймона заявить, что «машины в ближайшие двадцать лет смогут выполнять любую работу, которую способен выполнить человек». Подобные прогнозы с треском провалились. Последовательно наращивая свою мощность, компьютеры все лучше и лучше играли в шахматы, поскольку могли систематически генерировать и оценивать широкий выбор потенциальных будущих ходов. Но большинство предсказаний в сфере ИИ, будь то горничные-роботы или что-то еще, оказались пустыми фантазиями. Когда суперкомпьютер DeepBlue победил Гарри Каспарова в шахматном матче 1997 года, наиболее «продвинутым» роботом-уборщиком считалась «Румба», которая беспорядочно металась по помещению с пылесосом и пищала, застревая под диваном.
Технологические прогнозы весьма проблематичны, учитывая, что технологии развиваются через усовершенствования, сталкиваются с препятствиями и форсируются инновациями. Многие препятствия и отдельные инновации выглядят ожидаемыми, но к большинству тех и других это не относится. В моей собственной области экспериментов по созданию квантовых компьютеров я обычно наблюдаю, как отдельные технологические этапы, казалось бы вполне реализуемые, оказываются невозможными, тогда как другие задачи, нерешаемые, как мне думается, легко осуществляются на практике. В общем, не узнаешь, пока не попробуешь.
В 1950-х годах Джон фон Нейман, отчасти вдохновляясь беседами с Винером, ввел понятие «технологической сингулярности». Технологии имеют тенденцию улучшаться в геометрической прогрессии, скажем удваивать мощность или чувствительность приборов за некоторый интервал времени. (Например, с 1950 года компьютеры удваивали мощность примерно каждые два года – это наблюдение известно как закон Мура.) Фон Нейман экстраполировал наблюдаемый экспоненциальный технический прогресс и допустил, что «технический прогресс станет непостижимо быстрым и сложным», опережая человеческие возможности в уже не слишком отдаленном будущем. Действительно, если отталкиваться исключительно от наращивания вычислительных мощностей, выраженных в битах и битовых переходах, и прогнозировать будущее на основании текущих темпов, мы вправе утверждать, что компьютеры сравняются по возможностям с человеческим мозгом в ближайшие два-три-четыре десятилетия (в зависимости от того, как оценивать сложность процессов обработки информации в человеческом мозге).
Провал первоначальных, чрезмерно оптимистичных прогнозов относительно создания полноценного ИИ на несколько десятилетий заглушил разговоры о технологической сингулярности, но после публикации работы Рэя Курцвейла «Сингулярность рядом» (2005) идея технического развития, ведущего к появлению суперинтеллекта, снова обрела силу. Кое-кто, включая самого Курцвейла, стал рассматривать эту сингулярность как возможность прорыва: мол, люди смогут объединить свои сознания со сверхразумом и тем самым обрести вечную жизнь. Стивен Хокинг и Илон Маск высказали опасения, что этот суперинтеллект окажется злонамеренным, и расценивали его как величайшую из нынешних угроз существованию человеческой цивилизации. Третьи, в том числе некоторые из авторов настоящей книги, полагают, что подобные опасения преувеличенны.
Труды Винера и то обстоятельство, что он не сумел предугадать последствия развития кибернетики, неразрывно связаны с представлением о приближении технологической сингулярности. Его деятельность в сфере нейробиологии и первоначальная поддержка, которую он оказывал Маккаллоку и Питтсу, позволили разработать современные, поразительно эффективные методы глубинного обучения. За последнее десятилетие, особенно в последние пять лет, такие методы глубинного обучения наконец-то привели к возникновению, если воспользоваться одним из терминов Винера, гештальта: машина, например, способна распознавать в круге круг, даже если он наклонен и выглядит как эллипс. Винеровские концепции управления вкупе с изучением нейромышечной обратной связи имели большое значение для развития робототехники и послужили основой для разработки нейронных интерфейсов «человек/машина». Однако однобокость его технологических прогнозов побуждает воспринимать идею технологической сингулярности с немалой осторожностью. Общие затруднения технологического прогнозирования как такового и проблемы, свойственные разработке суперинтеллекта, удерживают меня от избыточного энтузиазма в отношении как вычислительной мощности, так и эффективности обработки информации.
Аргументы в пользу скептиков
Никакое экспоненциальное развитие не длится бесконечно. Атомный взрыв распространяется по экспоненте, но только пока не кончится его «топливо». Точно так же экспоненциальный прогресс по закону Мура начинает сталкиваться с пределами, налагаемыми физикой. Тактовая частота компьютеров достигла максимума в несколько гигагерц полтора десятилетия назад, далее чипы начали плавиться от нагрева. Миниатюризация транзисторов столкнулась с квантово-механическими проблемами вследствие туннелирования[24 - В данном случае речь идет о т. н. туннельном эффекте в квантовой механике, когда частицы преодолевают энергетический барьер, величина которого превышает энергию этих частиц.] и утечек тока. Рано или поздно различные экспоненциальные улучшения памяти и обработки информации по закону Мура достигнут предела. Впрочем, возможно, что нескольких десятилетий окажется достаточно для того, чтобы вычислительные мощности машин сравнялись с мощностью человеческого мозга – по крайней мере, по грубым показателям количества битов и битовых переходов в секунду.
Человеческий мозг чрезвычайно сложен и представляет собой плод миллионов лет естественного отбора. В эпоху Винера понимание архитектуры мозга было элементарным и упрощенным. С тех пор все более чувствительные инструменты и методы визуализации показали, что мозг гораздо разнообразнее по структуре и сложнее по функциям, чем мог вообразить Винер. Недавно я спросил Томазо Поджо[25 - Американский когнитивист и кибернетик, директор центра биологического и компьютерного обучения МТИ.], одного из пионеров современной нейробиологии, способны ли, по его мнению, компьютеры с их быстрорастущей вычислительной мощностью вскоре имитировать функционирование человеческого мозга. «Ни в коем случае», – ответил он.
Последние достижения в области глубинного обучения и нейроморфных вычислений очень точно воспроизводят некоторые особенности человеческого интеллекта, деятельность коры головного мозга, где обрабатываются и распознаются образы. Эти достижения позволили компьютеру победить чемпионов мира по шахматам и по игре в го, что нельзя не признать выдающимся результатом, но мы по-прежнему далеки от того, чтобы компьютеризированный робот мог полноценно убираться в помещении. (Вообще-то, роботы, обладающие хотя бы подобием широкого диапазона гибких человеческих движений, еще далеки от совершенства; рекомендую почитать материалы по запросу «ошибки роботов». Роботы успешно справляются с прецизионной сваркой на сборочных линиях, но до сих пор не в состоянии завязать шнурки.)
Сама по себе мощность обработки информации не означает разнообразия способов такой обработки. Пусть мощность компьютеров росла экспоненциально, программы, с помощью которых работают компьютеры, часто вообще не развивались. Как правило, компании-разработчики программного обеспечения реагируют на рост вычислительной мощности добавлением «полезных» функций, которые нередко затрудняют использование этого программного обеспечения. Так, офисная программа Microsoft Word достигла некоего идеала в 1995 году и с тех пор медленно гибнет под «весом» дополнительной функциональности. Как только развитие по закону Мура начнет замедляться, разработчики программного обеспечения столкнутся с непростым выбором между эффективностью, скоростью и функциональностью.
Главный страх сторонников идеи сингулярности заключается в том, что по мере все большего вовлечения компьютеров в разработку собственного программного обеспечения они быстро начнут развивать себя ради достижения сверхчеловеческих вычислительных возможностей. Но практика машинного обучения показывает на движение в противоположном направлении. Чем мощнее и способнее к обучению становятся машины, тем усерднее они обучаются, как и люди, усваивая множество полезных уроков и зачастую под наблюдением учителей (людей и машин). Обучение для компьютеров оказывается столь же сложным и медленным процессом, каким оно является для подростков. Следовательно, системы, основанные на глубинном обучении, становятся все более, а не менее человекоподобными. Навыки, которые они привносят в обучение, не «лучше человеческих», но комплементарны человеческому обучению: компьютерные системы способны распознавать модели, недоступные людям, – и наоборот. Лучшие шахматисты мира – это не компьютеры и люди по отдельности, а люди, работающие вместе с компьютерами. Киберпространство действительно населено «злонамеренными» программами, но они в основном имеют форму вредоносных программ (malware) – вирусов, известных своей злобной бессмысленностью, а отнюдь не суперинтеллектом.
Винер и будущее
Винер отмечал, что экспоненциальный технический прогресс представляет собой относительно современное явление и несет благо не во всех своих проявлениях. Он рассматривал атомное оружие и создание ракет с ядерными боеголовками как стремление рода человеческого к самоубийству. Он сравнивал неудержимую эксплуатацию ресурсов планеты с безумным чаепитием из «Алисы в Стране чудес»: опустошая локальную среду, мы добиваемся прогресса и просто пересаживаемся дальше, принимаясь опустошать следующую. Оптимизм Винера в отношении разработки компьютеров и нейромеханических систем сдерживался пессимизмом по поводу применения этих инструментов авторитарными государствами, такими как Советский Союз, и стремления демократий, таких как Соединенные Штаты Америки, сделаться более авторитарными в противостоянии угрозе авторитаризма.
Что бы Винер подумал о нынешнем человеческом использовании человеческих существ? Его наверняка поразили бы мощность компьютеров и интернет. Он порадовался бы тому, что исходные нейронные сети, к созданию которых он был причастен, эволюционировали в мощные системы глубинного обучения, демонстрирующие те возможности восприятия, о каких когда-то мечтали (хотя, пожалуй, его вряд ли вдохновил бы тот факт, что одним из наиболее ярких примеров такого компьютеризированного гештальта сегодня является возможность распознавать фотографии котиков во Всемирной паутине). Вместо того чтобы расценивать машинный интеллект как угрозу, он, как я подозреваю, воспринял бы его как явление в своем праве, отличное от человеческого сознания, но развивающееся параллельно человеческому.
Нисколько не удивляясь глобальному потеплению, этому безумному чаепитию наших дней, Винер приветствовал бы экспоненциальное развитие технологий альтернативной энергии и наверняка использовал бы свой богатый кибернетический опыт для разработки сложных контуров обратной связи, необходимых для внедрения означенных технологий в будущую интеллектуальную электрическую сеть. Тем не менее, признавая, что решение проблем изменения климата зависит не только и не столько от технологий, сколько от политики, он, несомненно, испытывал бы пессимизм относительно наших шансов своевременно справиться с этой угрозой существованию цивилизации. Винер ненавидел торгашей – прежде всего торгашей от политики, – но сознавал, что нам от них никогда не избавиться.
Легко забыть, насколько страшным местом был мир эпохи Винера. Соединенные Штаты Америки и Советский Союз вели полномасштабную гонку вооружений, создавая водородные бомбы и ядерные боеголовки для межконтинентальных баллистических ракет, управляемых навигационными системами, которые отчасти разрабатывал сам Винер (чего он стыдился). Мне было четыре года, когда Винер умер. В 1964 году в начальной школе мы учились нырять под парты на случай ядерной атаки. Учитывая человеческое применение человеческих существ в ту эпоху, Винер, приведись ему увидеть нашу нынешнюю жизнь, в первую очередь порадовался бы тому, что мы до сих пор живы.
Глава 2
Ограничения «непрозрачных» обучаемых машин
В 1980-е годы Джуда Перл предложил новый подход к разработке искусственного интеллекта – на основании байесовских сетей. Эта вероятностная модель машинного мышления позволяла машинам функционировать – в сложном и неопределенном мире – в качестве «локомотивов доказательств», постоянно пересматривая свои убеждения в свете новых свидетельств.
Всего через несколько лет байесовские сети Перла целиком вытеснили предыдущие подходы к искусственному интеллекту, основанные на правилах. Появление методики глубинного обучения – когда компьютеры фактически самообучаются и становятся умнее, обрабатывая мириады данных, – поставило Джуду перед новым вызовом, ведь эта методика лишена прозрачности.
Признавая несомненные заслуги в области глубинного обучения таких коллег, как Майкл И. Джордан и Джеффри Хинтон[26 - М. Джордан – статистик и специалист по машинному обучению, профессор Калифорнийского университета в Беркли; Дж. Хинтон – британо-канадский когнитивист, ведущий научный сотрудник проекта Google Brain, где ведутся исследования ИИ на основе методов глубинного обучения.], Перл не готов мириться с указанной непрозрачностью. Он намеревается изучить теоретические ограничения систем глубинного обучения и утверждает, что существуют базовые препятствия, которые не позволят этим системам уподобиться человеческому интеллекту, что бы мы ни делали. Используя вычислительные преимущества байесовских сетей, Джуда осознал, что комбинация простых графических моделей и данных также может применяться для репрезентации и выведения причинно-следственных связей. Значение этого открытия намного превосходит исходный контекст исследований в сфере искусственного интеллекта. Последняя книга Перла[27 - Judea Perl. Causal Inference in Statistics: A Primer (with Madelyn Glymour and Nicholas Jewell). NY, Wiley, 2016. – Примеч. автора.] объясняет широкой публике суть каузального мышления; можно сказать, что это своего рода учебник для начинающих, которые хотят научиться мыслить, будучи людьми.
Принципиально математический подход к причинности (каузальности) представляет собой значительный вклад Перла в сферу идей. Обращение к этому подходу уже принесло пользу практически во всех областях исследований, в первую очередь в сфере цифровой медицины (data-intensive health – букв. информационно емкого здравоохранения) и социальных наук.
Как бывший физик, я всегда интересовался кибернетикой. Пусть она не использовала в полной мере всю мощь машин Тьюринга, кибернетика – чрезвычайно прозрачная область знаний, возможно, потому, что она опирается на классическую теорию управления и теорию информации. Сегодня мы постепенно теряем эту прозрачность в связи с углублением процессов машинного обучения. По сути, налицо подгонка кривой, когда происходит корректировка значений в промежуточных слоях длинной цепочки ввода-вывода.
Мне встречались многие пользователи, сообщавшие, что «все работает хорошо, но мы не знаем, почему так». Стоит применить такой подход к большим наборам данных, и глубинное обучение приобретает собственную динамику, самостоятельно регулируется и оптимизируется – и в большинстве случаев дает правильные результаты. Но когда этого не случается, никто не понимает, где именно допущена ошибка и что именно следует исправлять. Важнее всего то, что невозможно узнать, имеется ошибка в программе или методике – или каким-то образом изменилась среда. Поэтому нам нужна иная прозрачность.
Кое-кто заявляет, что в прозрачности на самом деле нет необходимости. Мы не понимаем нейронную архитектуру человеческого мозга, но она исправно функционирует, а потому мы прощаем себе наше скудное понимание и охотно пользуемся таким удобным подспорьем. Точно так же, утверждают некоторые, нужно просто применять системы глубинного обучения и создавать машинный интеллект, даже если мы не понимаем, как все это работает. Что ж, до определенной степени я могу согласиться с этим доводом. Лично мне непрозрачность не нравится, поэтому я не стану тратить свое время на глубинное обучение, но я знаю, что оно занимает некое место в структуре интеллекта. Я знаю, что непрозрачные системы способны творить настоящие чудеса, и наш мозг является тому убедительным доказательством.
Но этот довод имеет свои ограничения. Причина, по которой мы прощаем себе наше скудное понимание принципов работы человеческого мозга, заключается в том, что у разных людей мозг работает одинаково, и это позволяет нам общаться с другими людьми, учиться у них, обучать их и мотивировать на нашем родном языке. Будь все наши роботы такими же непрозрачными, как AlphaGo[28 - Компьютерная программа для игры в го, разработана в 2015 г.; получила дальнейшее развитие в программах AlphaGo Master, AlphaGo Zero и AlphaZero.], мы не сможем вести с ними содержательные беседы, что весьма печально. Нам придется переобучать их всякий раз, когда вносятся минимальные изменения в условия задачи или в операционную среду.
Потому, оставляя в стороне эксперименты с «непрозрачными» обучаемыми машинами, я пытаюсь понять их теоретические ограничения и исследовать, каким образом эти ограничения могут быть преодолены. Я изучаю этот вопрос в контексте причинно-следственных задач, которые во многом определяют воззрения ученых на мир и в то же время изобилуют примерами проявления интуиции, вследствие чего мы можем отслеживать прогресс в ходе анализа. В данном контексте мы обнаружили, что существуют некоторые базовые препятствия, которые, если их не преодолеть, не позволят создать подлинный аналог человеческого разума, что бы мы ни делали. Полагаю, подробное описание этих препятствий не менее важно, чем попытки взять их штурмом.
Современные системы машинного обучения работают почти исключительно в статистическом режиме (или режиме модельной слепоты), который во многом аналогичен помещению функции в облако элементов данных. Подобные системы не способны размышлять по принципу «что, если?», а значит, не могут выступать основанием для «сильного» ИИ, то есть для искусственного интеллекта, который имитирует человеческие мышление и компетентность. Чтобы достичь человеческой разумности, обучаемые машины должны руководствоваться своего рода калькой с реальности, моделью наподобие дорожной карты, по которой мы ориентируемся, перемещаясь по незнакомому городу.
Точнее сказать, современные обучаемые машины улучшают свою производительность, оптимизируя параметры потока сенсорных входящих данных, получаемых из окружающей среды. Это небыстрый процесс, аналогичный естественному отбору, который движет дарвиновской эволюцией. Последняя объясняет, как такие виды, как орлы и змеи, обрели превосходное зрение за миллионы лет развития. Однако она не в состоянии объяснить сверхэволюционные процессы, которые позволили людям изобрести и начать производить очки и телескопы всего за какую-то тысячу лет. Люди обладают тем, чего лишены другие виды, а именно ментальными репрезентациями окружающей среды – репрезентациями, которыми возможно манипулировать по желанию, дабы воображать различные альтернативные и гипотетические среды в целях планирования и обучения.
Историки рода Homo Sapiens, скажем Юваль Ной Харари и Стивен Митен[29 - Ю. Харари – израильский историк, автор научно-популярного бестселлера «Sapiens: Краткая история человечества» (2011, рус. пер. 2016); С. Митен – английский археолог и популяризатор науки, автор книги «После ледникового периода: общая история человечества» (2003).], в целом согласны с тем, что решающим фактором, который обеспечил нашим предкам глобальное господство на планете около сорока тысяч лет назад, была способность создавать и хранить ментальные репрезентации окружающей среды, обращаться к этим репрезентациям, искажать их посредством актов воображения и, наконец, отвечать на вопросы типа «Что, если?». Примерами могут служить вопросы интервенционные («Что, если я сделаю то-то и то-то?») и ретроспективные, или контрфактивные («Что, если бы я поступил иначе?»). Ни одна обучаемая машина в наши дни не способна давать ответы на такие вопросы. Более того, большинство обучаемых машин не обладают репрезентациями, из которых можно вывести ответы на подобные вопросы.
Отталкиваясь от причинно-следственного мышления, можно сказать, что для нас почти бесполезны любые формы подгонки кривых, модельной слепоты или статистического вывода, сколь бы сложным ни был процесс подгонки. Мы также выявили теоретические рамки для структурирования указанных ограничений по иерархическому признаку.
На первом уровне находится статистическое мышление, которое способно сообщить лишь о том, как наблюдение одного события изменит ваши взгляды на другие события. Например, что симптом может рассказать о болезни?
Далее располагается второй уровень, который опирается на первый, но не наоборот. Здесь помещаются действия. «Что будет, если мы поднимем цены?» «Что, если ты меня рассмешишь?» Этот второй уровень иерархии требует информации о вмешательствах, недоступной на первом уровне. Данную информацию можно закодировать в графическую модель, которая будет уведомлять, какие переменные реагируют на другие.
Третий уровень иерархии является контрфактуальным. Это язык, употребляемый учеными. «Что, если объект будет вдвое тяжелее?» «Что, если я поступлю иначе?» «Это от аспирина у меня перестала болеть голова или все дело в том, что я пошел спать?» Контрфактуальность занимает верхний уровень с той точки зрения, что ее невозможно вывести логически, даже умей мы предсказывать и предугадывать последствия всех своих действий. Тут необходим дополнительный элемент в форме уравнений, чтобы поведать нам, как переменные реагируют на изменения других переменных.
Одним из венчающих труды достижений в исследованиях причинно-следственных связей является алгоритмизация вмешательств и контрфактуальностей, то есть двух верхних уровней нашей иерархии. Иными словами, когда мы закодировали наше научное знание в модели (пусть даже качественной), налицо алгоритмы, позволяющие изучить модель и определить, возможно ли воспринять конкретный запрос, будь то вмешательство или контрфактуальность, на основе имеющихся данных (а если возможно, то как именно). Эта возможность кардинально изменила само занятие наукой, особенно в таких наукоемких дисциплинах, как социология и эпидемиология, где каузальные модели успели стать вторым языком. Указанные дисциплины трактуют описанную лингвистическую трансформацию как каузальную революцию. Цитируя социолога из Гарварда Гэри Кинга: «За последние несколько десятилетий о причинно-следственных связях стало известно намного больше, чем за всю предшествующую историю вопроса».
Размышляя об успехах машинного обучения и пытаясь экстраполировать их на будущее ИИ, я спрашиваю себя: «Известны ли нам базовые ограничения, которые были обнаружены в области причинно-следственных связей? Готовы ли мы преодолеть теоретические препятствия, мешающие нам переходить с одного уровня иерархии на другой?»
Я рассматриваю машинное обучение как инструмент, позволяющий перейти от данных к вероятностям. Но тогда следует сделать два дополнительных шага, чтобы перейти от вероятностей к реальному пониманию, – два больших шага. Один заключается в том, чтобы предсказывать последствия действий, а второй состоит в освоении контрфактуального воображения. Мы не вправе утверждать, что постигли реальность, если не сделаем эти два шага.
В своей блестящей и проницательной работе «Предвидение и понимание» (1961) философ Стивен Тулмин определил противостояние прозрачности и непрозрачности как ключевое условие осознания сути древнего соперничества между греческими и вавилонскими науками. Согласно Тулмину, вавилонские астрономы были мастерами предсказаний по «черному ящику» и сильно превосходили своих греческих соперников по точности и последовательности небесных наблюдений. Тем не менее наука предпочла креативно-умозрительную стратегию греческих астрономов, которая изобиловала метафорическими образами: круглые трубы, полные огня; малые отверстия, сквозь которые сияет небесный огонь (звезды); полусферическая Земля на спине гигантской черепахи… Именно эта безумная стратегия моделирования, а вовсе не вавилонские экстраполяции, побудила Эратосфена (276–194 годы до н. э.) предпринять один из наиболее творческих экспериментов Античности и вычислить окружность Земли. Подобный эксперимент был попросту невозможен среди вавилонских собирателей данных.
Модельная слепота накладывает внутренние ограничения на когнитивные задачи, которые способен выполнять «сильный» ИИ. Мой общий вывод состоит в том, что сопоставимый с человеческим ИИ нельзя создать только на основе машины с модельной слепотой; он требует симбиотического сотрудничества данных и моделей.
Наука о данных является наукой лишь в той мере, в какой она облегчает интерпретацию данных, – перед нами задача двух тел, связь данных и реальности. Данные сами по себе вряд ли окажутся наукой, какими бы «большими» они ни были и насколько бы искусно ими ни манипулировали. Непрозрачные обучаемые системы могут привести нас в Вавилон, но не в Афины.
Глава 3
Цель, заложенная в машину
Ученый-компьютерщик Стюарт Рассел, наряду с Илоном Маском, Стивеном Хокингом, Максом Тегмарком и многими другими, настаивает на том, что следует уделять повышенное внимание тем потенциальным опасностям, которые сулит создание интеллекта сверхчеловеческого (или даже человеческого) уровня – так называемого ОИИ, общего искусственного интеллекта, чьи запрограммированные цели вовсе не обязательно будут совпадать с нашими собственными.
Ранние работы Рассела были посвящены описанию гипотезы «ограниченной оптимальности» как формального операционального определения интеллекта. Он разработал метод рационального метарассуждения, «суть которого, грубо говоря, заключается в том, что вы выполняете вычисления, которые, по вашим ожиданиям, улучшат качество итогового решения в максимально короткие сроки». Также Стюарт приложил руку к комбинированию теории вероятности с логикой первого порядка, благодаря чему возникла новая и гораздо более эффективная система мониторинга соблюдения условий договора о всеобъемлющем запрещении ядерных испытаний, и к задаче принятия долгосрочных решений (сам он предпочитает давать презентациям по последней теме названия вроде «Жизнь: играть и выигрывать за 20 триллионов ходов»).
Конец ознакомительного фрагмента.
Текст предоставлен ООО «ЛитРес».
Прочитайте эту книгу целиком, купив полную легальную версию (https://www.litres.ru/sbornik/iskusstvennyy-intellekt-nadezhdy-i-opaseniya/) на ЛитРес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.
notes
Примечания
1
Американская арт-группа, наибольшая активность которой пришлась на середину 1960-х гг. Аббревиатура USCO расшифровывается как «Наша компания» (Us Company). Группа экспериментировала с «дополненным» кино, визуализацией музыки, инсталляциями и пр. – Здесь и далее, кроме особо оговоренных случаев, примеч. ред.
2
Имеется в виду университетский центр в американском штате Массачусетс.
3
Управляющую машину (фр.). Все дальнейшие цитаты из этой работы Винера приводятся по изданию: Винер Н. Кибернетика и общество. Человеческое применение человеческих существ. М.: АСТ, 2019.
4
Сетование на пороки общества и их обличение (по образу и подобию упреков, которые бросал своим современникам библейский пророк Иеремия).
5
Крика души (фр.).
6
Зд. устаревшими (фр.).
7
Встречи ученых для обмена опытом, продолжавшиеся с 1941 по 1960 г. Проходили в помещениях благотворительного фонда им. Джозайи Мэйси-мл. в Нью-Йорке. Всего состоялось 160 конференций; хотя далеко не все встречи касались кибернетики, со временем выражение «конференции Мэйси» приобрело, так сказать, выраженное «кибернетическое» содержание.
8
Уоррен Маккаллок – американский нейропсихолог и один из основоположников кибернетики. В настоящем переводе его фамилия передается по-русски единообразно, однако в оригинале разные авторы сборника указывают ее по-разному (McCullock и McCulloch).
9
Грегори Бейтсон – британский и американский философ, кибернетик и специалист по теории информации. На русском опубликованы его ключевые труды «Экология разума» (2000), «Разум и природа» (2007), «Ангелы страшатся» (2019).
10
Хайнц фон Ферстер – австрийский физик и математик, один из основоположников кибернетики, с 1949 г. жил и работал в США.
11
В названии раздела обыгрывается суффикс «-штейн», присутствующий во всех фамилиях людей, о которых говорится ниже. В отечественной традиции закрепились различные варианты передачи этого суффикса, поэтому по-русски будет «Эйнштейн» и «Витгенштейн», но «Гертруда Стайн».
12
Дж. Лилли – американский психоаналитик и нейробиолог, представитель «ученой контркультуры» 1970-х, к которой принадлежал и известный пропагандист и популяризатор восточной философии британец А. Уоттс (последний пытался развивать «общую семантику» на основании ранних работ Н. Винера).
13
По его собственным словам, Спенсер Браун был «математиком, инженером-консультантом, психологом, педагогом и практиком образования, психотерапевтом, писателем и поэтом». Его авторству принадлежит «математико-философская» работа «Законы формы» (1969), где предлагается минимизированная система записи выражений булевой алгебры.
14
Оба ученых внесли немалый вклад в разработку экспертных систем; Дж. Маккарти, упоминаемый выше, – автор термина «искусственный интеллект», пионер функционального программирования; Дж. Трауб (ниже) – математик, вывел ряд алгоритмов и предложил (вместе с Г. Возяковским) теорию вычислительной сложности.
15
Памела Маккордак – американский историк науки, уделяет пристальное внимание развитию кибернетики и разработке искусственного интеллекта, супруга Дж. Трауба (см. выше).
16
На русском (в переводе Г. Кружкова) это стихотворение американского поэта У. Стивенса обычно называют «Тринадцать способов нарисовать дрозда»; уже первая строфа этого стихотворения показывает, что, собственно, подразумевается в данном случае под определением «дзенское по духу стихотворение»: «Среди гор, засыпанных снегом, // Единственной движущейся точкой // Был глаз черного дрозда».
17
В психологии модель человеческой личности, отражающая восприятие и опирающаяся на предрасположенности (экстравертность, доброжелательность, сознательность, эмоциональная нестабильность, интеллект).
18
Джон Дайсон Фримен – американский физик-теоретик, один из пионеров квантовой термодинамики.
19
Этот авторский список объединяет философов (Бостром как теоретик трансгуманизма, Юдковски как поборник «дружественного ИИ»), инженеров-практиков (Маск) и ученых «физической» направленности (физик Хокинг и космолог Рис); вероятно, присутствие И. Маска, а не какого-то другого инженера в данном списке объясняется – помимо того что он, наряду с перечисленными учеными, публично высказывает опасения относительно будущего человечества – его нынешней популярностью в обществе.
20
Английское слово governor («губернатор») восходит через латынь к древнегреческому kybernan («управлять, направлять»), как и предложенное Н. Винером слово «кибернетика».
21
Американский нейролингвист и математик, вместе с У. Маккаллоком исследовал возможности «компьютеризации» нейронов.
22
Американская сверхтяжелая ракета-носитель, использовалась для вывода в космос кораблей проекта «Аполлон» и космической станции «Скайлэб».
23
Вероятно, имеется в виду стремление Н. Винера обнаружить «язык» у животных и насекомых и приписывание человеку «врожденной» способности к шифрованию/дешифрованию сигналов.
24
В данном случае речь идет о т. н. туннельном эффекте в квантовой механике, когда частицы преодолевают энергетический барьер, величина которого превышает энергию этих частиц.
25
Американский когнитивист и кибернетик, директор центра биологического и компьютерного обучения МТИ.
26
М. Джордан – статистик и специалист по машинному обучению, профессор Калифорнийского университета в Беркли; Дж. Хинтон – британо-канадский когнитивист, ведущий научный сотрудник проекта Google Brain, где ведутся исследования ИИ на основе методов глубинного обучения.
27
Judea Perl. Causal Inference in Statistics: A Primer (with Madelyn Glymour and Nicholas Jewell). NY, Wiley, 2016. – Примеч. автора.
28
Компьютерная программа для игры в го, разработана в 2015 г.; получила дальнейшее развитие в программах AlphaGo Master, AlphaGo Zero и AlphaZero.
29
Ю. Харари – израильский историк, автор научно-популярного бестселлера «Sapiens: Краткая история человечества» (2011, рус. пер. 2016); С. Митен – английский археолог и популяризатор науки, автор книги «После ледникового периода: общая история человечества» (2003).