практически невозможно.
Тем не менее, я был убежден, что должны существовать какие-то средства или методы объективного контроля потенциальной опасности, связанной с развитием цифровых алгоритмов, и решил поговорить об этом с Егором.
– Контроль над искусственным интеллектом – иллюзия, – заявил внук. – Просто людям хочется верить, что они как-то могут влиять на процесс, если заинтересованы в его благополучном исходе. Всё, что тут можно придумать – принцип обязательного участия человека, то есть запрет на автономное принятие искусственным интеллектом жизненно важных решений без участия людей. Как ты понимаешь, дед, это фейл.
Я согласился.
– Да, во-первых, трудно определить, в чем люди превосходят машины. Где можно разрешить алгоритмам самостоятельно принимать решение, а где это лучше сделает человек? Предположу, что бесстрастное сравнение возможностей покажет, что человек не лучше нигде. Во-вторых, даже если допустить участие человека, оно будет чисто формальным и не поможет снизить риски, так как машина предлагает решение на основе невычислимого объема данных и непроверяемых расчетов, выполненных неизвестными методами. Тут надо или полностью отказываться от использования машин, или быть готовым отменить их решение просто на основе собственной интуиции; но тогда зачем вообще нужны эти машины?
– А в-третьих, – сказал Егор, – алгоритм может запросто тебя обмануть.
– Разве способность ко лжи не является свойством исключительно человеческого сознания?
Внук пожал плечами.
– А что такое сознание? «Утиный тест» в этом вопросе не работает: если что-то выглядит, как утка, плавает, как утка, и крякает, как утка, то это вовсе не обязательно утка, но вполне может быть роботом в виде утки. Это, кстати, тоже практически нерешаемая проблема. Пресловутый тест Тьюринга для выявления способности к мышлению и осознанию собственной личности заключается в том, чтобы исследователь в процессе заочного общения – ну, например, в чате – не смог с достоверностью определить, кто из его собеседников человек, а кто – машина. Если не ошибаюсь, какой-то из алгоритмов его успешно прошел уже много лет назад. Есть еще разные формы тестирования, которые должны выявлять, имеем ли мы дело с машиной или уже с чем-то иным, что обладает собственным «Я», но всегда остается вопрос, что такое это самое «Я» и как оно должно проявиться. И почему должно, собственно. Все методики по определению наличия сознания у машины основаны на том, что сознание это будет идентично человеческому, и алгоритмы, обладающие таким сознанием, будут вести себя, как человек, и рассуждать, как человек. Что очень глупо, по-моему, потому что речь идет как раз о нечеловеческом разуме небиологического существа. Может быть так, что машина заговорит с нами на естественном языке, начнет рассуждать на абстрактные темы, о свободе или о смерти, так что исследователи сочтут это признаком пробуждения сознания – а на самом деле, это алгоритмы искусственного интеллекта просто решают задачу пройти тест и выбирают наиболее эффективный метод на основе собранной информации о человеческой психологии и принципах мышления. А может, что люди вообще не заметят момента, когда у машины действительно появится свое «Я», потому что оно будет так же отличаться от человеческой личности, как океан в «Солярисе» Лема – от людей на космической станции. И какие решения этот «Я» начнет принимать, предположить невозможно.
– Но ведь можно внести какие-то ограничения и установки в базовый код?
– Наверное. Только какие? Принципы Азимова тут не прокатят.
Я это прекрасно понимал: первый же из трёх законов робототехники, предложенных знаменитым фантастом, о том, что робот не может причинить вреда человеку, не позволяет использование машин в военных целях, что совершенно исключает любые инвестиции в развитие цифровых технологий со стороны государства. Христианские заповеди не подойдут по той же причине, как и практически любые гуманистические императивы. Что же тогда?..
– Тогда остается надеяться, что Он все решит сам. На то Он и Суперинтеллект, верно же? Есть такой термин, определяющий принятый рабочий принцип развития Его ценностей: когерентная экстраполированная воля. То есть, машина должна сама определить, что для человечества хорошо, а что плохо, как это сделали бы мы, будь умнее и лучше. Это самая светлая из идей, которую смогли предложить ученые, оказавшись перед очевидной невозможностью сформулировать для искусственного интеллекта универсальные критерии добра и зла, при этом будучи не в состоянии остановить процессы совершенствования технологии и неизбежной передачи машинам все более полного контроля и права принимать решения. Думаю, впереди нас ждет много интересного.
– Или страшного?
Егор усмехнулся.
– Или веселого. Это как лететь на самолете, где автопилот сам решает, в какой аэропорт держать курс в зависимости от ему одному понятных критериев. Собираешься, например, в Крым, а приземляешься вдруг в Тбилиси или Алмате, потому что автопилот проанализировал переписку в мессенджерах и комментарии в социальных сетях всех пассажиров за последние десять лет и одним ему понятным способом вывел, что на самом деле большинство подсознательно желает в горы, а не на Черное море.
Чтобы справиться с нарастающим внутренним беспокойством, я еще почитал немного по теме, но в достижении цели не преуспел: то попалась, к примеру, история о том, как в процессе развития система искусственного интеллекта была подключена к интернету, собрала больше экзобайта данных в различных областях знания, после чего была отключена от сети во избежание неминуемого интеллектуального взрыва, но на локальном терминале продолжала самосовершенствоваться, всего за двое суток в тысячу раз превзойдя условный человеческий уровень; то наткнулся на экспертное интервью, где автор анализировал темп машинного самообучения, и делал вывод о возможности превращения «универсального человекоподобного интеллекта» в Суперинтеллект за несколько часов или даже минут. В конце концов я прочел высказывание Хьюго де Гариса:
«Люди не должны стоять на пути более развитой эволюционной формы. Эти машины богоподобны. Участь человечества – создать их»,
– и решил, что с меня хватит.
Вчера днем меня снова навестила Оксана. Наверное, поняла, что зря вспылила, или соскучилась по общению, а может быть, просто покурить было негде, но явилась она, как ни в чем ни бывало, не извиняясь сама и не намекая на неправоту с моей стороны.
– Холод на улице, – сообщила Оксана, сбивая в прихожей снег с каблуков. – Да и ветер. На лоджии сейчас, наверное, морозильник.
– Можете покурить на кухне, – великодушно разрешил я. – Потом проветрю.
Оксана что-то рассказывала про работу, про неудачные собеседования Олега; я едва слушал, не в силах отвлечься от своих мыслей. Она заметила и спросила:
– У вас все в порядке? Вы как будто не здесь.
И тогда я сказал:
– Представьте себе, что вы – представитель…Представительница внеземной цивилизации, высшего космического разума, путешествующая по Вселенной…
– Как Гудрун Эриксдоттир? – улыбнулась Оксана.
– Да, именно! И вот вы встречаете на пути несчастную, погрязшую в противоречиях и
