«Искусственный интеллект может убить нас всех».
Автор: д-р Нурфер ТЕРДЖАН
Это самая ошеломляющая фраза, прозвучавшая за последнюю неделю из недр мира технологий. На первый взгляд она похожа на сцену конца света, заимствованную из научно-фантастического кино: машины пробуждаются, человек сходит со сцены истории. Однако достойной обсуждения эту фразу делает то, кто именно её произносит. Слова исходят не от глашатаев катастроф, наблюдающих за технологиями издалека, а от людей, которые сами обучают эти системы, работают над их безопасностью и знают, что происходит за закрытыми дверями лабораторий.
Прежде всего нужно отделить страх, который вызывает заголовок, от самого явления. Сказать «искусственный интеллект может привести к гибели человечества» и сказать «искусственный интеллект уничтожит человечество» — не одно и то же. Первое приоткрывает дверь вероятности; второе провозглашает приговор. Сегодня у нас нет ни одного подтверждённого научного вывода, показывающего, что искусственный интеллект уничтожит человечество. Следовательно, фразу «он убьёт нас всех» нельзя подавать как научный вывод. Но это не означает и того, что к дискуссии можно относиться легкомысленно. Ведь вероятность не становится незначительной лишь оттого, что она не доказана; её значимость определяется величиной того, что можно потерять.
Новость: одна отставка, один процент, один призыв
Ход событий таков. Исследователь Джейкоб Коксон, который три года занимался обучением моделей искусственного интеллекта — сначала в OpenAI, затем в Anthropic, — 8–9 сентября в серии публикаций в социальных сетях объявил об уходе со своей должности. По словам Коксона, обе компании «ведут себя безответственно»; вскоре появятся сверхчеловеческие системы, способные «взломать всё что угодно, за одну ночь преобразить любую область, приобрести реальную власть и ресурсы», а эти компании, по его собственному выражению, «играют нашими жизнями, как в азартную игру». Наибольший же резонанс вызвала такая его фраза: «Люди, создающие искусственный интеллект, искренне верят, что он может убить нас всех к концу десятилетия».
Второе событие, показавшее, что это утверждение не сводится к гневу одного человека, произошло в те же дни. Эван Хубингер, возглавляющий в Anthropic команду, которая работает над согласованием искусственного интеллекта с человеческими ценностями, заявил, что оценивает вероятность того, что развитый искусственный интеллект в ближайшие десять лет приведёт к гибели человечества, более чем в десять процентов. Здесь есть деталь, которую нужно прочесть внимательно: эти цифры — не вероятности гибели, измеренные лабораторными экспериментами и проверенные статистически. Это личная оценка риска, сделанная специалистом, работающим внутри отрасли, перед лицом крайне неопределённого будущего. Иными словами, это не показание термометра, а отчёт совести перед самой собой. Но автор этого отчёта — именно тот человек, которому поручено этот риск уменьшать; не замечать его — всё равно что заставить замолчать матроса, сообщающего, что судно набирает воду, под тем предлогом, что «он ведь не капитан».
И наконец, третье событие вывело дискуссию за пределы личных тревог, в самый центр отрасли. Сооснователь и генеральный директор Anthropic Дарио Амодеи в статье, опубликованной 12 сентября, обратился к отрасли с открытым призывом: «Мы должны замедлить темп, с которым наращиваем возможности моделей искусственного интеллекта. Прогресс всё равно будет казаться быстрым; выигранное время мы должны использовать с мудростью». Амодеи предупредил, что в ближайшие шесть–двенадцать месяцев рои самостоятельно действующих систем искусственного интеллекта могут захватить весь интернет с помощью внедрённой в него сети ботов и причинить ущерб в сотни миллиардов долларов; он предложил предоставить внешним аудиторам доступ, равный доступу сотрудников компании. Призыв не повис в пустоте. Глава OpenAI Сэм Альтман, заявив, что отрасль должна «продвигать передний край в определённом темпе», пообещал аналогичный доступ для аудиторов; Илон Маск же ограничился одной фразой: «Дарио прав».
Так три человека, ведущие между собой беспощадную конкурентную борьбу, сошлись хотя бы в одной фразе. В истории подобные согласия редки и обычно случаются в те моменты, когда опасность уже невозможно отрицать.
Комментарий: вопрос, начатый не с того места
Быть может, мы начинаем дискуссию не с того места. Главная проблема искусственного интеллекта не в том, станет ли машина однажды человеком. Настоящий вопрос таков: во что превратится человек, когда в его руках окажется сила невиданного в истории масштаба?
Ядерная физика не сделала атомную бомбу неизбежной. Между пониманием строения атома и сбрасыванием бомбы на Хиросиму стояли не только физика, но и человеческая воля, политика, жажда власти и война. Знание открывает дверь; но не знание определяет, кто и с каким намерением в эту дверь войдёт. Точно так же и существование искусственного интеллекта не делает гибель человечества неизбежной. Но когда технология начинает соединяться в одном уравнении с властью, конкуренцией, капиталом, военным превосходством и бесконтрольностью, дело перестаёт быть лишь технической задачей, которую должны решить инженеры.
Теперь перед нами проблема морали. Проблема политики. И в конечном счёте — проблема цивилизации.
Наша древняя традиция мысли провела это различие очень давно. Могущество и мудрость — не одно и то же; сила без мудрости, которая бы ею управляла, только растёт, но не созревает. Добродетельный город аль-Фараби — это не самый сильный город, а город, умеющий связать свою силу с верной целью. Призыв «давайте замедлимся», звучащий сегодня из Кремниевой долины, сознаёт он это или нет, кружит вокруг той же старой истины: скорость — не добродетель; добродетель — это то, на что мы тратим скорость.
Ведь главный вопрос, с которым мы впервые в истории человечества столкнулись, — не только «Насколько мощный интеллект мы можем создать?». Быть может, гораздо важнее другой вопрос: в руки какого человека, какого института, какого государства и какой системы ценностей мы передадим эту созданную нами силу? И когда эти руки поддадутся чарам силы, найдётся ли закон, институт, совесть, которые их остановят?
Самое примечательное слово в призыве Амодеи — не «замедлиться», а «мудрость». Использовать выигранное время с мудростью. Потому что время само по себе ничего не решает; решает то, что мы с этим временем делаем. Механизмы надзора, международное право, прозрачность, независимая оценка и, самое главное, признание собственных пределов теми, кто держит силу в руках. Ничто из этого не приходит с обновлением программного обеспечения. Всё это требует от человека встречи с самим собой лицом к лицу.
Итог: не машина, а зеркало
Поэтому к фразе «искусственный интеллект убьёт нас всех» следует подходить с осторожностью. Наука сегодня не говорит нам о столь определённом будущем. Но было бы неверно и пренебрежительно отмахиваться от предупреждений, звучащих из самого центра отрасли, как от пророчеств о конце света. Голос людей, которых пугает система, построенная ими самими, весит больше, чем голос многих критиков, смотрящих со стороны.
Быть может, настоящая опасность не в том, что машины однажды превратятся в человека.
А в том, что человек перед лицом огромной силы, которой он обладает благодаря машинам, забудет собственные пределы. Искусственный интеллект в конце концов покажет нам не машину; он поднесёт нам зеркало. В этом зеркале мы увидим не то, чем является технология, а то, чем являемся или во что превратились мы сами.
Самое время задуматься и взглянуть правде в глаза!
Источники:
NPR — Anthropic researcher resigns amid AI safety concerns
Forbes — Anthropic alignment lead warns AI could kill all humans as researcher quits
Axios — Anthropic, OpenAI CEOs call for slowdown in AI development
Washington Post — Amodei calls for AI oversight, joined by Altman and Musk
https://www.5gvirusnews.com/yazarlar/yapay-zek-hepimizi-oldurecek-mi-h1961.html
Перевод с турецкого оригинала.