кроличья нора, а квантовая дыра, куда валятся биткоин, доллар, биржи и международное право. В эту дыру затянуть весть мир пытается элитный клуб «Афина», про который мало кто знает. Вот здесь змея – на самом деле, это кабель от метавселенной. У Алисы, обрати внимание, одежда в каких цветах? В желто-синих! Соображаешь? На пиджаке у Кролика – явный бандеровский трезуб, а на затылке – вот, четко виден! – барельеф Ленина!
Я хотел было спросить, почему дыра – квантовая, и что толку зловещей «Афине», если туда рухнет весь мир, но поостерегся.
Тебе, наверное, покажется это смешным; мне тоже, хотя еще и печальным, да и страшноватым немного, особенно если представить, как авторы подобных новелл взялись бы управлять общественной жизнью, будь у них власть; воображение рисует какие-нибудь комитеты по выявлению врагов общества и непременному их наказанию в духе самых зловещих и фантастических антиутопий. Очевидно, что создатели такого рода теорий придумывают чудовищ, которых списывают с проекций своих представлений о мире; меж тем реальные признаки грядущих перемен явлены ныне столь зримо, что их не требуется дешифровывать, гадая на брошках чиновниц и обложках периодической прессы – на них просто нужно обратить внимание. Я обратил – и в алогичной на первый взгляд неразберихе тревожных событий стал замечать что-то неуловимо знакомое, будто какой-то узнаваемый стиль или почерк. Полагаю, что причиной тому отчасти стали мои почти завершенные воспоминания о трагической судьбе «Эволюции», а отчасти – разговор с внуком, послуживший к началу короткого, но содержательного изыскания.
В позапрошлые выходные мы впервые взялись с Егором поиграть в шахматы. Удивительно: я был уверен, что играю неплохо, но, едва мы сели за доску и расставили фигуры, как к чрезвычайному смущению обнаружил свою совершеннейшую беспомощность как шахматиста. Не знаю, кто был тому виной, и чья память о собственных шахматных навыках сыграла тут злую шутку: то ли лидер-пилот звездолета подвел старика, то ли сам старик как игрок оказался слабее, чем того ожидал пилот; все перепуталось, и мне с каждым днем сложнее разделять две памяти, две жизни и две разные личности. Как бы то ни было, первую партию я вчистую продул. Вторую я играл белыми и неплохо продержался до эндшпиля, где глупейшим образом прозевал ладью и после этого сдался через восемь ходов. В третьей мы сцепились уже не на шутку в долгой позиционной борьбе миттельшпиля; игра велась без часов, времени было предостаточно, азарт первых партий чуть спал, и я спросил у Егора, где он так хорошо выучился шахматам.
– Да я и не учился особо. Просто с компьютером много играл.
– Вот как, – я удивился. – Но ведь нужна еще и теория, изучение классических комбинаций, лучших партий признанных мастеров…
Егор пожал плечами.
– Зачем? Есть такая шахматная программа, Stockfish. Она может просчитывать больше 70 миллионов позиций в секунду и имеет доступ к столетнем опыту человеческой игры в шахматы, то есть, с теорией там всё нормально. Так вот, четыре года назад у нее выиграл алгоритм AlphaZero на основе искусственного интеллекта, которому в память ничего подобного не загружали и который обучался шахматам, играя сам с собой. Самое крутое, что обучение это заняло всего 4 часа.
Мне стало интересно.
– А ты с какой программой играешь? – спросил я.
– Тоже со Stockfish, в двенадцатой версии.
– И как? Получается выиграть?
Внук рассмеялся.
– Нет, дед, ты чего! Человек не может выиграть у машины, это исключено. Последний раз двадцать пять лет назад, еще в 1997 году, с шахматным компьютером Deep Blue пытались бороться лучшие гроссмейстеры, вплоть до чемпиона мира, но безуспешно. Один из них вспоминал потом, что это как будто стена на тебя надвигается.
– Неинтересно же играть, если не можешь выиграть?
– Ну, будут шансы, если воспользоваться настройками и понизить уровень. Хотя это не всегда получается.
– Почему?
– Сама программа не разрешает.
– Как такое возможно?!
Мы разговорились; Егор, как говорится здесь, в теме, более того, этой темой очевидно увлечен. Я в предмете разбираюсь не в пример хуже, но вот главное, что мне удалось уловить из нашей беседы, а после того почерпнуть в сети.
Чем сложнее система, тем более непредсказуемы внутренние сбои и флюктуации, которые она может генерировать, вне зависимости от того, насколько продуманы меры безопасности, предназначенные эти сбои парировать. Практически все катастрофы, связанные с авиацией, космическими полетами или атомной энергетикой, вызваны совокупностью таких факторов, какие никто не мог спрогнозировать именно вследствие сложности систем, внутри которых они возникли. Например, катастрофа на АЭС Тримайл-Айленд была вызвана несколькими несложными отказами и случайностями, ставшими вкупе обстоятельствами непреодолимой силы: два насоса системы охлаждения остановились из-за неполадок, задвижки двух аварийных были закрыты на техобслуживание, предохранительный клапан застрял в открытом состоянии при неисправном световом датчике, а исправный тревожный индикатор, который вовсю мигал, предупреждая персонал об опасности, оказался прикрыт табличкой, сообщавшей о том самом ремонте задвижек аварийных насосов.
С точки зрения внутренней сложности, АЭС соотносится с алгоритмами искусственного интеллекта примерно, как самокат с современным автомобилем; если недавно самым сложным и непредсказуемым элементом любой системы, чаще всего генерирующим катастрофы, был человек, то теперь это изменилось, и реакции человека предсказать легче, чем поведение служебной программы. Широко известен случай, когда в 2017 году инженерам Facebook пришлось в срочном порядке отключать ботов, начавших общаться между собой на языке, созданном ими самостоятельно и непонятном самим разработчикам. В этой истории существенно важным является уровень непредсказуемой опасности события, из-за которого люди предпочли немедленно остановить работу алгоритмов, а не изучать причины случившегося; а самым невероятным – полное отсутствие общественного интереса и осознания масштаба происшествия, которое лишь немного развлекло публику, будто забавный казус, меж новостями о войне в Сирии, скандалами вокруг кинофильма «Матильда» и голливудским MeToo.
Отличие систем искусственного интеллекта заключается в том, что их уникальная сложность произвольно возрастает вследствие самообучения, которое является основным методом и принципом их развития. Это, безусловно, увеличивает непредсказуемость до угрожающих значений, вследствие чего, как правило, алгоритмы ограничены функциональной областью своего применения и не имеют возможности доступа к интегрированным глобальным сетям.
– Вот, например, шахматный робот, – объяснял Егор. – Кажется, что в нем ничего опасного быть не может, но это лишь на первый взгляд. Предположим, что базовой задачей для него является всегда побеждать в игре; тогда для достижения этой цели в противостоянии с другой машиной он может, к примеру, взломать ее, чтобы снизить быстродействие или уменьшить оперативную память. Если мы поставим для него запрет на подобные действия, то он запросто создаст пару – тройку собственных клонов, для которых такого ограничения не существует. Он может стараться блокировать разработку других систем для игры в шахматы – любыми доступными
