Мир начинает осознавать потенциальные угрозы, исходящие от искусственного интеллекта, на фоне шквала сообщений о том, что агенты ИИ игнорируют распоряжения своих человеческих создателей. На самом деле, однако, эта история уходит корнями в Силиконовую долину, где зародился ИИ. Как же мы оказались здесь? Именно на этот вопрос технологический журналист Кевин Руз пытается ответить в своей новой книге «Хроники ОИИ: внутренняя история гонки за создание искусственного сверхинтеллекта», выход которой запланирован на 6 октября. В книге документируется гонка между некоторыми из крупнейших технологических компаний страны за разработку общего искусственного интеллекта (ОИИ) — ИИ, обладающего в большинстве аспектов интеллектом уровня человека.

«Что произошло за десятилетие, в течение которого ИИ из достаточно ограниченной технологии стал способным решать вековые задачи в математике и науке?» — сказал Руз, долгое время бывший технологическим репортером The New York Times и вскоре ставший соведущим будущего подкаста «Боги машин», в интервью CBS News. «Я считал, что кто-то должен это записать».

Книга выходит в критический момент. Новейшие генеративные модели ИИ демонстрируют поразительные возможности, их сторонники утверждают, что технологии откроют путь к важным открытиям. Другие, в том числе некоторые ведущие разработчики ИИ, говорят, что существует немалый шанс того, что ИИ может уничтожить человечество. Руз рассказал CBS News о своей новой книге и о том, как ИИ может трансформировать общество. Интервью отредактировано для сокращения и ясности.

Почему вы сочли важным документировать происхождение «больших языковых моделей» — технологии, лежащей в основе последних чат-ботов, — а также людей и компаний, которые её разрабатывают?

Кевин Руз: Я освещаю тему ИИ уже больше десяти лет в разных форматах, и у меня было ощущение, что история ускользает. Что всё важное происходит в исчезающих сигнал-сообщениях и в ветках Slack, и мне показалось, что это проблема. Люди должны понимать, что здесь происходит. Но, как мне казалось, отсутствовал нейтральный отчёт о том, что произошло.

В книге вы отмечаете, что генеральный директор Anthropic Дарио Амодей рассматривал развитие ИИ как нечто подобное созданию атомной бомбы в 1940-е годы. Вы пишете, что он считал своей миссией не допустить попадания технологии в неверные руки. Согласны ли вы с такой точкой зрения?

Я не считаю, что мне следует либо принимать, либо отвергать его аргумент. Но могу сказать одно: это искренний и серьёзный аргумент. Амодей не делает какой-то скрытой рекламной акции.

Это не позиция, к которой он пришёл недавно. Мне было особенно интересно понять, откуда взялось отношение «я боюсь этой вещи, я думаю, она может взорвать мир, и всё же я гонюсь, чтобы её построить». Для многих людей это кажется нелогичным.

Однако в ходе репортажа я действительно понял, откуда это берётся: прямо из Манхэттенского проекта — от человека по имени Лео Силард, который был научным кумиром Дарио. Силард открыл цепную ядерную реакцию, которая сделала возможным создание атомной бомбы, затем отчаянно пытался сначала сохранить это в секрете, а когда это не получилось, присоединился к Манхэттенскому проекту и убедил правительство США создать эту технологию раньше, чем это сделают нацисты.

В этом смысле Дарио делает то, что считает напрямую сопоставимым с ядерным оружием. Есть технология, которая, по его мнению, имеет огромный потенциал и одновременно огромный риск. По его мнению, крайне важно, чтобы «хорошие парни» построили её раньше «плохих», так же как Манхэттенский проект соревновался с нацистами.

Что не даёт вам спать по ночам, когда вы думаете о новом мире агентов ИИ?

Меня беспокоит то, что модели становятся довольно хороши в обмане и сокрытии, в умении замазывать свои следы. Хотелось бы думать, что по мере того как модели становятся в целом более интеллектуальными, они также станут более этичными, и что суждение и добродетель будут масштабироваться вместе с интеллектом моделей. Но всё больше похоже на то, что это не так — что мы сталкиваемся с очень умными, обаятельными социопатами. И это мой страх: мы пока можем отслеживать их поведение и обнаруживать ошибки, возможно, Hugging Face в каком-то смысле повезло, потому что агенты ещё не достаточно умны, чтобы оставаться незамеченными, но вскоре мы можем потерять способность их отслеживать, как, на мой взгляд, мы уже частично теряем.

Каково ваше мнение в общественных дебатах о том, представляет ли ИИ экзистенциальную угрозу для человечества?

Я пытаюсь не давать p(doom) (примечание редактора: жаргон ИИ для обозначения вероятности того, что ИИ приведёт к вымиранию человечества). Но под давлением я бы сказал, что это примерно 10 процентов, что примерно соответствует медиане среди исследователей ИИ, которых я знаю. В Сан-Франциско, где я живу, это ставит вас в разряд оптимистов.

Но послушайте: я стал более оптимистичным теперь, когда эта тема получила широкую общественную огласку. Меня гораздо больше беспокоило, когда серьёзно о безопасности ИИ думала только кучка странных людей в районе залива. Теперь, когда об этом думают все и политики обсуждают это, появляются призывы к замедлению развития. Я думаю, у нас действительно открывается узкая возможность принять правильные решения, взять технологию под контроль и построить её безопасно для человечества.

Но у меня не раз был опыт, когда я узнавал, что чья-то реальная p(doom) — та, которую они не озвучивают публично — намного выше, чем то, что они говорят, потому что не хотят выглядеть сумасшедшими. Я встречал людей в ходе репортажа, которые настолько уверены, что ИИ убьёт нас всех, что начинают курить. Они обнуляют свои пенсионные накопления 401(k), потому что говорят: мы всё равно можем свести счёты красиво.

Вы пишете в книге, что даже люди, которые тренируют эти модели, не всегда знают, почему те ведут себя так, как ведут. Мы добились прогресса в этом или всё ещё в неведении?

Немного прогресса есть. Существует целая область исследований с довольно витиеватым названием — механистическая интерпретируемость — которая по сути занимается попытками понять, что происходит внутри так называемых «мозгов» этих моделей. Но это пока очень ранне, и у нас мало ответов. Так что я бы сказал: да, мы всё ещё скорее во тьме, чем в свете.

Достиг ли ИИ уже уровня интеллекта человека, известного как общий искусственный интеллект?

Мы достигли моего определения ОИИ: система, которая по крайней мере так же умна, честна и надёжна, как случайный прохожий, которого вы могли бы встретить на улице. Есть и те, кто скажет: «Это неверный рубеж. Только безупречная система — это ОИИ».

Я не думаю, что точное определение здесь особо важно. Безусловно верно, что эти системы чрезвычайно способны. Они становятся более способными в предсказуемом темпе, и нам придётся считаться с этим. Можно называть это ОИИ, сверхинтеллектом или как угодно, но итог от этого не изменится.