Машины благодатной любви: Будущее ИИ от биологии до политики

Я много думаю и говорю о рисках мощного ИИ. Компания, генеральным директором которой я являюсь, Anthropic, проводит много исследований о том, как уменьшить эти риски. Из-за этого люди иногда делают вывод, что я пессимист или "пророк гибели", который считает, что ИИ будет преимущественно плохим или опасным. Я так не считаю.

На самом деле, одна из главных причин, почему я фокусируюсь на рисках, заключается в том, что они являются единственным, что стоит между нами и тем, что я вижу как фундаментально позитивное будущее. Я думаю, что большинство людей недооценивают, насколько радикальной может быть позитивная сторона ИИ, так же как я считаю, что большинство людей недооценивают, насколько плохими могут быть риски.

В этом эссе я пытаюсь очертить, как может выглядеть эта позитивная сторона - как может выглядеть мир с мощным ИИ, если все пойдет правильно. Конечно, никто не может знать будущее с какой-либо уверенностью или точностью, и последствия мощного ИИ, вероятно, будут еще более непредсказуемыми, чем прошлые технологические изменения, поэтому все это неизбежно будет состоять из предположений. Но я стремлюсь к по крайней мере образованным и полезным предположениям, которые передают суть того, что произойдет, даже если большинство деталей окажутся неправильными. Я включаю много деталей в основном потому, что считаю, что конкретное видение делает больше для продвижения дискуссии, чем сильно осторожное и абстрактное.

Однако сначала я хотел бы кратко объяснить, почему я и Anthropic не так много говорили о позитивных сторонах мощного ИИ, и почему мы, вероятно, продолжим в целом много говорить о рисках. В частности, я сделал этот выбор из желания:

Максимизировать влияние. Базовое развитие технологии ИИ и многие (не все) ее преимущества кажутся неизбежными (если только риски не сорвут все) и в основном управляются мощными рыночными силами. С другой стороны, риски не являются предопределенными, и наши действия могут значительно изменить их вероятность.

Избежать восприятия как пропаганды. Когда компании по ИИ говорят о всех удивительных преимуществах ИИ, это может выглядеть как пропаганда или попытка отвлечь внимание от недостатков. Я также считаю, что как принцип, это плохо для вашей души тратить слишком много времени на "разговоры о своей книге".

Избежать грандиозности. Меня часто отталкивает то, как много публичных фигур, говорящих о рисках ИИ (не говоря уже о руководителях компаний по ИИ), говорят о мире после AGI, будто их миссия - единолично привести его, как пророк ведет свой народ к спасению. Я считаю, что опасно рассматривать компании как односторонне формирующие мир, и опасно рассматривать практические технологические цели в по сути религиозных терминах.

Избежать "научно-фантастического" багажа. Хотя я считаю, что большинство людей недооценивают позитивную сторону мощного ИИ, небольшое сообщество людей, обсуждающих радикальное будущее ИИ, часто делает это в чрезмерно "научно-фантастическом" тоне (включая, например, загруженные разумы, исследование космоса или общие киберпанковские настроения).

Я считаю, что это заставляет людей менее серьезно относиться к утверждениям и наделяет их определенной нереальностью. Чтобы было ясно, проблема не в том, возможны или вероятны ли описанные технологии (основное эссе обсуждает это подробно) - скорее, "настроение" коннотативно привносит много культурного багажа и невысказанных предположений о том, какое будущее является желательным, как будут развиваться различные общественные проблемы и т.д.

В результате часто получается что-то похожее на фантазию для узкой субкультуры, которая отталкивает большинство людей. Тем не менее, несмотря на все вышеуказанные беспокойства, я действительно считаю важным обсуждать, как может выглядеть хороший мир с мощным ИИ, пытаясь при этом избежать вышеупомянутых ловушек. На самом деле, я считаю, что критически важно иметь действительно вдохновляющее видение будущего, а не просто план борьбы с пожарами. Многие последствия мощного ИИ являются конфронтационными или опасными, но в конце всего этого должно быть что-то, за что мы боремся, какой-то позитивный результат, где всем станет лучше, что-то, что объединит людей, чтобы подняться над своими разногласиями и противостоять вызовам, которые ждут впереди. Страх - это один вид мотиватора, но этого недостаточно: нам нужна также надежда.

Список позитивных применений мощного ИИ чрезвычайно длинный (и включает робототехнику, производство, энергетику и многое другое), но я сосредоточусь на небольшом количестве областей, которые, на мой взгляд, имеют наибольший потенциал для непосредственного улучшения качества человеческой жизни.

Пять категорий, которые меня больше всего волнуют, это:

• Биология и физическое здоровье
• Нейронаука и психическое здоровье
• Экономическое развитие и бедность
• Мир и управление
• Работа и смысл

Мои прогнозы будут радикальными по большинству стандартов (кроме научно-фантастических "сингулярных" видений2), но я имею их в виду серьезно и искренне. Все, что я говорю, может очень легко оказаться неправильным (повторяя мою вышеуказанную мысль), но я по крайней мере попытался обосновать свои взгляды полуаналитической оценкой того, насколько может ускориться прогресс в различных областях и что это может означать на практике. Мне посчастливилось иметь профессиональный опыт как в биологии, так и в нейронауке, и я являюсь информированным любителем в области экономического развития, но я уверен, что многое напутаю. Одна вещь, которую написание этого эссе заставило меня осознать, это то, что было бы ценно собрать группу экспертов в различных областях (биологии, экономике, международных отношениях и других сферах), чтобы написать гораздо лучшую и более информированную версию того, что я создал здесь. Возможно, лучше всего рассматривать мои усилия здесь как начальный стимул для этой группы.

Основные предположения и рамки

Чтобы сделать это эссе более точным и обоснованным, полезно четко указать, что мы имеем в виду под мощным ИИ (то есть порог, с которого начинается отсчет 5-10 лет), а также изложить рамки для размышлений о последствиях такого ИИ после его появления.

Как будет выглядеть мощный ИИ (мне не нравится термин AGI)3, и когда (или если) он появится - это огромная тема сама по себе. Это то, о чем я публично обсуждал и мог бы написать совершенно отдельное эссе (я, наверное, сделаю это в какой-то момент). Очевидно, многие люди скептически относятся к тому, что мощный ИИ будет создан в ближайшее время, а некоторые скептически относятся к тому, что он вообще когда-либо будет создан. Я думаю, что это может произойти уже в 2026 году, хотя есть также пути, которыми это может занять гораздо больше времени. Но для целей этого эссе я хотел бы отложить эти вопросы в сторону, предположить, что это произойдет довольно скоро, и сосредоточиться на том, что произойдет через 5-10 лет после этого. Я также хочу предположить определение того, как такая система будет выглядеть, какие ее возможности и как она взаимодействует, хотя здесь есть место для разногласий.

Под мощным ИИ я имею в виду модель ИИ - вероятно, похожую по форме на сегодняшние LLM, хотя она может базироваться на другой архитектуре, может включать несколько взаимодействующих моделей и может быть обучена по-другому - со следующими свойствами:

С точки зрения чистого интеллекта4, она умнее лауреата Нобелевской премии в большинстве соответствующих областей - биологии, программировании, математике, инженерии, письме и т.д. Это означает, что она может доказывать нерешенные математические теоремы, писать чрезвычайно хорошие романы, писать сложные кодовые базы с нуля и т.д. Помимо того, что это просто "умная вещь, с которой можно поговорить", она имеет все "интерфейсы", доступные человеку, работающему виртуально, включая текст, аудио, видео, управление мышью и клавиатурой, а также доступ к интернету. Она может выполнять любые действия, коммуникации или удаленные операции, разрешенные этим интерфейсом, включая выполнение действий в интернете, получение или предоставление указаний людям, заказ материалов, управление экспериментами, просмотр видео, создание видео и т.д.

Она выполняет все эти задачи с, опять же, мастерством, превосходящим наиболее способных людей в мире. Она не просто пассивно отвечает на вопросы; вместо этого, ей можно давать задания, которые занимают часы, дни или недели, и затем она идет и выполняет эти задания автономно, так, как это делал бы умный сотрудник, запрашивая уточнения при необходимости. Она не имеет физического воплощения (кроме жизни на компьютерном экране), но может управлять существующими физическими инструментами, роботами или лабораторным оборудованием через компьютер; теоретически она даже может разрабатывать роботов или оборудование для собственного использования.

Ресурсы, использованные для обучения модели, могут быть перепризначены для запуска миллионов ее экземпляров (это соответствует прогнозируемым размерам кластеров до ~2027 года), и модель может усваивать информацию и генерировать действия примерно в 10-100 раз быстрее человека5. Однако она может быть ограничена временем отклика физического мира или программного обеспечения, с которым она взаимодействует. Каждая из этих миллионов копий может действовать независимо над несвязанными задачами, или при необходимости все могут работать вместе так же, как сотрудничали бы люди, возможно, с различными субпопуляциями, настроенными на особенно хорошее выполнение конкретных задач. Мы могли бы подытожить это как "страну гениев в центре обработки данных".

Очевидно, что такая сущность была бы способна решать очень сложные проблемы, очень быстро, но не тривиально понять, насколько быстро. Две "крайние" позиции кажутся мне ошибочными. Во-первых, вы можете подумать, что мир будет мгновенно трансформирован в масштабе секунд или дней ("Сингулярность"), поскольку высший интеллект строит сам себя и решает каждую возможную научную, инженерную и операционную задачу почти немедленно. Проблема в том, что существуют реальные физические и практические ограничения, например, на создание аппаратного обеспечения или проведение биологических экспериментов. Даже новая страна гениев столкнется с этими ограничениями. Интеллект может быть очень мощным, но это не волшебная пыль феи.

Во-вторых, и наоборот, вы можете считать, что технологический прогресс насыщен или ограничен реальными мировыми данными или социальными факторами, и что интеллект, лучший человеческого, добавит очень мало6. Это кажется мне одинаково неправдоподобным - я могу придумать сотни научных или даже социальных проблем, где большая группа действительно умных людей резко ускорила бы прогресс, особенно если они не ограничены анализом и могут делать вещи в реальном мире (что может наша постулированная страна гениев, включая управление или помощь командам людей).

Я думаю, что правда, вероятно, является какой-то грязной смесью этих двух крайних картин, чем-то, что варьируется в зависимости от задачи и области и очень тонкое в своих деталях. Я считаю, что нам нужны новые рамки, чтобы думать об этих деталях продуктивным способом.

Экономисты часто говорят о "факторах производства": таких вещах, как труд, земля и капитал. Фраза "предельные доходы от труда/земли/капитала" передает идею, что в данной ситуации данный фактор может быть ограничивающим или нет - например, военно-воздушные силы нуждаются как в самолетах, так и в пилотах, и наем большего количества пилотов не очень помогает, если у вас закончились самолеты. Я считаю, что в эпоху ИИ мы должны говорить о предельных доходах от интеллекта7, и пытаться выяснить, какие другие факторы дополняют интеллект и становятся ограничивающими факторами, когда интеллект очень высок. Мы не привыкли думать таким образом - спрашивать "насколько помогает быть умнее в этой задаче, и в каком временном масштабе?" - но это кажется правильным способом концептуализировать мир с очень мощным ИИ.

Мое предположение о списке факторов, которые ограничивают или дополняют интеллект, включает:

Скорость внешнего мира. Интеллектуальные агенты должны взаимодействовать с миром, чтобы достичь чего-то, а также чтобы учиться8. Но мир движется лишь с определенной скоростью. Клетки и животные функционируют с фиксированной скоростью, поэтому эксперименты на них занимают определенное время, которое может быть неуменьшаемым. То же самое касается аппаратного обеспечения, материаловедения, всего, что включает общение с людьми, и даже нашей существующей программной инфраструктуры. Кроме того, в науке часто нужно проводить много экспериментов последовательно, каждый из которых учится или строится на основе предыдущего. Все это означает, что скорость, с которой может быть завершен большой проект - например, разработка лекарства от рака - может иметь неуменьшаемый минимум, который не может быть уменьшен дальше, даже если интеллект продолжает расти.

Потребность в данных. Иногда сырых данных не хватает, и при их отсутствии больший интеллект не помогает. Сегодняшние физики-теоретики очень изобретательны и разработали широкий спектр теорий, но им не хватает данных, чтобы выбрать между ними, потому что данные с ускорителей частиц очень ограничены. Не понятно, смогли бы они делать намного лучше, если бы были сверхинтеллектуальными - кроме, возможно, ускорения строительства большего ускорителя.

Внутренняя сложность. Некоторые вещи по своей природе непредсказуемы или хаотичны, и даже самый мощный ИИ не может предсказать или распутать их существенно лучше, чем человек или компьютер сегодня. Например, даже невероятно мощный ИИ мог бы предсказать лишь маргинально дальше вперед в хаотической системе (такой как проблема трех тел) в общем случае9, по сравнению с сегодняшними людьми и компьютерами.

Ограничения от людей. Многие вещи нельзя сделать без нарушения законов, причинения вреда людям или нарушения устоев общества. Согласованный ИИ не захочет делать эти вещи (а если у нас несогласованный ИИ, мы возвращаемся к разговору о рисках). Многие человеческие общественные структуры неэффективны или даже активно вредны, но их трудно изменить, уважая такие ограничения, как юридические требования к клиническим испытаниям, готовность людей менять свои привычки или поведение правительств.

Примерами достижений, которые хорошо работают в техническом смысле, но чье влияние было существенно уменьшено правилами или необоснованными страхами, являются ядерная энергетика, сверхзвуковые полеты и даже лифты.

Физические законы. Это более жесткая версия первого пункта. Существуют определенные физические законы, которые кажутся непреложными. Невозможно путешествовать быстрее света. Пудинг не размешивается. Чипы могут иметь только определенное количество транзисторов на квадратный сантиметр, прежде чем они станут ненадежными. Вычисления требуют определенной минимальной энергии на стертый бит, ограничивая плотность вычислений в мире.

Существует еще одно различие, основанное на временных масштабах. То, что является жестким ограничением в краткосрочной перспективе, может стать более податливым для интеллекта в долгосрочной перспективе. Например, интеллект может быть использован для разработки новой экспериментальной парадигмы, которая позволяет нам изучать in vitro то, что раньше требовало экспериментов на живых животных, или для создания инструментов, необходимых для сбора новых данных (например, большего ускорителя частиц), или для поиска (в пределах этических ограничений) способов обойти ограничения, связанные с людьми (например, помочь улучшить систему клинических испытаний, помочь создать новые юрисдикции, где клинические испытания имеют меньше бюрократии, или улучшить саму науку, чтобы сделать человеческие клинические испытания менее необходимыми или дешевыми).

Таким образом, мы должны представить картину, где интеллект сначала сильно ограничен другими факторами производства, но со временем сам интеллект все больше обходит другие факторы, даже если они никогда полностью не растворяются (и некоторые вещи, как физические законы, являются абсолютными)10. Ключевой вопрос заключается в том, как быстро все это происходит и в каком порядке.

Имея в виду вышеуказанную структуру, я попытаюсь ответить на этот вопрос для пяти областей, упомянутых во введении.

1. Биология и здоровье. Биология, вероятно, является той областью, где научный прогресс имеет наибольший потенциал для непосредственного и однозначного улучшения качества человеческой жизни. За последнее столетие некоторые из древнейших человеческих недугов (такие как оспа) наконец были побеждены, но многие другие все еще остаются, и их преодоление было бы огромным гуманитарным достижением. Даже за пределами лечения болезней, биологическая наука в принципе может улучшить базовое качество человеческого здоровья, продлив здоровую продолжительность жизни человека, увеличив контроль и свободу над нашими собственными биологическими процессами и решив повседневные проблемы, которые мы сейчас считаем неизменными частями человеческого состояния.

На языке "ограничивающих факторов" из предыдущего раздела, главными проблемами прямого применения интеллекта к биологии являются данные, скорость физического мира и внутренняя сложность (на самом деле, все три связаны между собой). Человеческие ограничения также играют роль на более поздней стадии, когда речь идет о клинических испытаниях. Давайте рассмотрим их по очереди.

Эксперименты на клетках, животных и даже химических процессах ограничены скоростью физического мира: многие биологические протоколы включают культивирование бактерий или других клеток, или просто ожидание химических реакций, и это иногда может занять дни или даже недели, без очевидного способа ускорить это. Эксперименты на животных могут занимать месяцы (или больше), а эксперименты на людях часто занимают годы (или даже десятилетия для долгосрочных исследований результатов).

Несколько связано с этим, часто не хватает данных - не столько в количестве, сколько в качестве: всегда не хватает четких, однозначных данных, которые изолируют биологический эффект, который интересует, от других 10 000 смешивающих факторов, или которые вмешиваются причинно в данный процесс, или которые непосредственно измеряют какой-то эффект (в противовес выведению его последствий каким-то косвенным или шумным способом). Даже массивные, количественные молекулярные данные, такие как протеомические данные, которые я собирал, работая над методами масс-спектрометрии, являются шумными и многое пропускают (в каких типах клеток были эти белки? В какой части клетки? На какой фазе клеточного цикла?).

Частично ответственной за эти проблемы с данными является внутренняя сложность: если вы когда-нибудь видели диаграмму, показывающую биохимию человеческого метаболизма, вы знаете, что очень трудно изолировать эффект любой части этой сложной системы, и еще труднее вмешаться в систему точным или предсказуемым способом. И наконец, кроме просто внутреннего времени, которое занимает проведение эксперимента на людях, фактические клинические испытания включают много бюрократии и нормативных требований, которые (по мнению многих людей, включая меня) добавляют ненужное дополнительное время и задерживают прогресс.

Учитывая все это, многие биологи давно скептически относятся к ценности ИИ и "больших данных" в биологии в целом. Исторически сложилось так, что математики, компьютерные ученые и физики, которые применяли свои навыки к биологии в течение последних 30 лет, были довольно успешными, но не имели того действительно трансформационного влияния, на которое изначально надеялись. Некоторый скептицизм был уменьшен благодаря большим и революционным прорывам, таким как AlphaFold (который только что заслуженно принес своим создателям Нобелевскую премию по химии) и AlphaProteo11, но все еще существует представление, что ИИ является (и будет продолжать быть) полезным лишь в ограниченном наборе обстоятельств. Общая формулировка такова: "ИИ может лучше анализировать ваши данные, но не может производить больше данных или улучшать качество данных. Мусор на входе - мусор на выходе".

Но я думаю, что эта пессимистическая перспектива неправильно думает об ИИ. Если наша основная гипотеза о прогрессе ИИ верна, то правильный способ думать об ИИ - это не как о методе анализа данных, а как о виртуальном биологе, который выполняет все задачи, которые выполняют биологи, включая проектирование и проведение экспериментов в реальном мире (путем управления лабораторными роботами или просто указаний людям, какие эксперименты проводить - как главный исследователь своим аспирантам), изобретение новых биологических методов или методов измерения и т.д. Именно ускорением всего процесса исследований ИИ может действительно ускорить биологию. Я хочу повторить это, потому что это самое распространенное недоразумение, которое возникает, когда я говорю о способности ИИ трансформировать биологию: я не говорю об ИИ лишь как об инструменте для анализа данных. В соответствии с определением мощного ИИ в начале этого эссе, я говорю об использовании ИИ для выполнения, управления и совершенствования почти всего, что делают биологи.

Чтобы быть более конкретным относительно того, откуда, по моему мнению, вероятно придет ускорение, удивительно большая часть прогресса в биологии происходит от действительно крошечного количества открытий, часто связанных с широкими инструментами измерения или методами12, которые позволяют точное, но обобщенное или программируемое вмешательство в биологические системы. Есть, возможно, ~1 такое большое открытие в год, и коллективно они, вероятно, движут >50% прогресса в биологии. Эти открытия настолько мощны именно потому, что они прорезают внутреннюю сложность и ограничения данных, непосредственно увеличивая наше понимание и контроль над биологическими процессами.

Несколько открытий на десятилетие позволили как основную часть нашего базового научного понимания биологии, так и двигали многие самые мощные медицинские методы лечения.

Некоторые примеры включают:

CRISPR: метод, который позволяет живое редактирование любого гена в живых организмах (замена любой произвольной генетической последовательности любой другой произвольной последовательностью). С момента разработки оригинальной техники были постоянные улучшения для нацеливания на конкретные типы клеток, повышения точности и уменьшения редактирования неправильного гена - все это необходимо для безопасного использования у людей.

Различные виды микроскопии для наблюдения за тем, что происходит на точном уровне: передовые световые микроскопы (с различными видами флуоресцентных техник, специальной оптикой и т.д.), электронные микроскопы, атомно-силовые микроскопы и т.д. Секвенирование и синтез генома, стоимость которых снизилась на несколько порядков за последние пару десятилетий.

Оптогенетические методы, которые позволяют заставить нейрон срабатывать, освещая его.

мРНК-вакцины, которые, в принципе, позволяют нам разрабатывать вакцину против чего угодно, а затем быстро адаптировать ее (мРНК-вакцины, конечно, стали известными во время COVID).

Клеточные терапии, такие как CAR-T, которые позволяют брать иммунные клетки из организма и "перепрограммировать" их для атаки, в принципе, на что угодно.

Концептуальные открытия, такие как микробная теория болезней или осознание связи между иммунной системой и раком13.

Я пытаюсь перечислить все эти технологии, потому что хочу сделать решающее утверждение о них: я думаю, что скорость их открытия может быть увеличена в 10 раз или больше, если бы было намного больше талантливых, творческих исследователей. Или, другими словами, я думаю, что отдача от интеллекта высока для этих открытий, и что все остальное в биологии и медицине в основном вытекает из них.

Почему я так думаю? Во-первых, из-за ответов на некоторые вопросы, которые мы должны привыкнуть задавать, когда пытаемся определить "отдачу от интеллекта". Во-первых, эти открытия обычно делаются крошечным количеством исследователей, часто одними и теми же людьми неоднократно, что свидетельствует о мастерстве, а не случайном поиске (последнее могло бы свидетельствовать о том, что длительные эксперименты являются ограничивающим фактором).

Во-вторых, они часто "могли быть сделаны" годами ранее, чем были сделаны: например, CRISPR был естественным компонентом иммунной системы бактерий, известным с 80-х годов, но понадобилось еще 25 лет, чтобы люди поняли, что его можно перепрофилировать для общего редактирования генов.

Они также часто задерживаются на многие годы из-за отсутствия поддержки со стороны научного сообщества для перспективных направлений (см. этот профиль изобретателя мРНК-вакцин; подобные истории очень распространены). В-третьих, успешные проекты часто являются неотшлифованными или они были второстепенными мыслями, которые люди изначально не считали перспективными, эти усилия не были массово финансируемыми. Это свидетельствует о том, что открытиями движут не просто массивная концентрация ресурсов, а изобретательность.

Наконец, хотя некоторые из этих открытий имеют "последовательную зависимость" (вам нужно сначала сделать открытие А, чтобы иметь инструменты или знания для осуществления открытия В) - что опять могло бы создавать экспериментальные задержки - многие, возможно, большинство, являются независимыми, что означает, что над многими из них можно работать одновременно параллельно.

И эти факты, и мой общий опыт как биолога, очень убедительно свидетельствуют о том, что есть сотни таких открытий, которые ждут осуществления, если бы ученые были умнее и лучше в установлении связей между огромным объемом биологических знаний, которыми обладает человечество (снова вспомните пример CRISPR). Успех AlphaFold/AlphaProteo в решении важных проблем намного эффективнее, чем людей, несмотря на десятилетия тщательно разработанного физического моделирования, предоставляет доказательство принципа (хотя и с узким инструментом в узкой области), которое должно указать путь вперед.

Таким образом, я предполагаю, что мощный ИИ мог бы по меньшей мере в 10 раз увеличить скорость этих открытий, давая нам следующие 50-100 лет биологического прогресса за 5-10 лет.14 Почему не в 100 раз? Возможно, это возможно, но тут и последовательная зависимость, и время экспериментов становятся важными: получение 100 лет прогресса за 1 год требует, чтобы многие вещи сразу пошли правильно, включая эксперименты на животных и такие вещи, как проектирование микроскопов или дорогих лабораторных объектов.

Я на самом деле открыт к (возможно, абсурдно звучащей) идее, что мы могли бы получить 1000 лет прогресса за 5-10 лет, но очень скептически отношусь к тому, что мы можем получить 100 лет за 1 год. Другой способ сказать это - я думаю, что есть неизбежная постоянная задержка: эксперименты и проектирование аппаратуры имеют определенную "задержку" и требуют итерации определенное "неуменьшаемое" количество раз, чтобы узнать вещи, которые нельзя логически вывести. Но массивный параллелизм может быть возможен поверх этого15.

А как насчет клинических испытаний? Хотя с ними связано много бюрократии и замедления, правда заключается в том, что многое (хотя и далеко не все!) в их медлительности в конечном счете происходит от необходимости тщательно оценивать лекарства, которые едва работают или работают неоднозначно. К сожалению, это касается большинства терапий сегодня: средний препарат от рака увеличивает выживаемость на несколько месяцев, при этом имея значительные побочные эффекты, которые нужно тщательно измерять (подобная история с лекарствами от болезни Альцгеймера). Это приводит к огромным исследованиям (для достижения статистической мощности) и сложным компромиссам, с которыми регулирующие органы обычно не очень хорошо справляются, опять же из-за бюрократии и сложности конкурирующих интересов.

Когда что-то работает действительно хорошо, это идет намного быстрее: существует ускоренный путь утверждения, и легкость утверждения намного больше, когда размеры эффектов больше. мРНК-вакцины для COVID были одобрены за 9 месяцев - намного быстрее, чем обычно. Однако, даже при этих условиях клинические испытания все еще слишком медленные - мРНК-вакцины, возможно, должны были быть одобрены за ~2 месяца. Но эти виды задержек (~1 год от начала до конца для лекарств) в сочетании с массивной параллелизацией и потребностью в некоторой, но не слишком большой итерации ("несколько попыток") очень совместимы с радикальной трансформацией за 5-10 лет. Еще оптимистичнее, возможно, что наука, которую поддерживает ИИ, уменьшит потребность в итерации в клинических испытаниях путем разработки лучших экспериментальных моделей на животных и клетках (или даже симуляций), которые точнее предсказывают, что произойдет у людей. Это будет особенно важно при разработке лекарств против процесса старения, который длится десятилетиями и где нам нужен более быстрый цикл итераций.

Наконец, на тему клинических испытаний и общественных барьеров стоит прямо отметить, что в некоторых отношениях биомедицинские инновации имеют необычно сильный опыт успешного внедрения, в отличие от некоторых других технологий16. Как упоминалось во введении, многие технологии усложняются социальными факторами, несмотря на то, что они хорошо работают технически. Это могло бы предположить пессимистическую перспективу относительно того, чего может достичь ИИ. Но биомедицина уникальна тем, что хотя процесс разработки лекарств чрезмерно громоздкий, после разработки они обычно успешно внедряются и используются.

Подытоживая вышесказанное, мой основной прогноз заключается в том, что биология и медицина, поддерживаемые ИИ, позволят нам сжать прогресс, которого биологи-люди достигли бы за следующие 50-100 лет, в 5-10 лет. Я буду называть это "сжатым 21 веком": идея заключается в том, что после разработки мощного ИИ мы за несколько лет сделаем весь прогресс в биологии и медицине, который мы бы сделали за все 21 столетие.

Хотя прогнозирование того, что мощный ИИ может сделать за несколько лет, остается по сути сложным и спекулятивным, есть определенная конкретика в вопросе "что люди могли бы сделать без помощи за следующие 100 лет?". Просто посмотрев на то, чего мы достигли в 20 веке, или экстраполировав из первых 2 десятилетий 21 века, или спросив, что нам дало бы "10 CRISPR'ов и 50 CAR-T", все это предлагает практические, обоснованные способы оценить общий уровень прогресса, который мы могли бы ожидать от мощного ИИ.

Ниже я пытаюсь составить список того, чего мы могли бы ожидать. Это не базируется на какой-либо строгой методологии и почти наверняка окажется неправильным в деталях, но пытается передать общий уровень радикализма, которого мы должны ожидать:

Надежное предотвращение и лечение почти всех17 естественных инфекционных заболеваний. Учитывая огромные достижения в борьбе с инфекционными заболеваниями в 20 веке, не радикально представить, что мы могли бы более-менее "закончить работу" в сжатом 21 веке. мРНК-вакцины и подобные технологии уже указывают путь к "вакцинам против чего угодно". Будут ли инфекционные заболевания полностью искоренены из мира (в отличие от только некоторых мест), зависит от вопросов бедности и неравенства, которые обсуждаются в разделе 3.

Устранение большинства видов рака. Показатели смертности от рака снижаются на ~2% в год в течение последних десятилетий; таким образом, мы на пути к устранению большинства видов рака в 21 веке при нынешнем темпе развития человеческой науки. Некоторые подтипы уже были в значительной мере вылечены (например, некоторые виды лейкемии с помощью CAR-T терапии), и я, возможно, даже больше воодушевлен очень селективными препаратами, которые нацелены на рак на его ранней стадии и предотвращают его рост. ИИ также сделает возможными режимы лечения, очень тонко адаптированные к индивидуализированному геному рака - это возможно и сегодня, но очень дорого с точки зрения времени и человеческой экспертизы, что ИИ должен позволить нам масштабировать. Кажется возможным снижение на 95% или более как смертности, так и заболеваемости. Тем не менее, рак чрезвычайно разнообразен и адаптивен, и, вероятно, является самым сложным из этих заболеваний для полного уничтожения. Не было бы удивительно, если бы ассортимент редких, сложных злокачественных новообразований сохранился.

Очень эффективное предотвращение и эффективное лечение генетических заболеваний. Значительно улучшенный скрининг эмбрионов, вероятно, сделает возможным предотвращение большинства генетических заболеваний, а какой-то более безопасный, надежный потомок CRISPR может вылечить большинство генетических заболеваний у существующих людей.

Однако, заболевания всего тела, которые поражают большую долю клеток, могут быть последними выжившими.

Предотвращение болезни Альцгеймера. У нас были большие трудности с пониманием того, что вызывает болезнь Альцгеймера (это как-то связано с бета-амилоидным белком, но фактические детали, кажется, очень сложны). Это кажется именно тем типом проблемы, которая может быть решена с помощью лучших инструментов измерения, которые изолируют биологические эффекты; поэтому я оптимистично настроен относительно способности ИИ решить ее. Есть хороший шанс, что в конечном итоге ее можно будет предотвратить относительно простыми вмешательствами, как только мы действительно поймем, что происходит. Однако, повреждения от уже существующей болезни Альцгеймера может быть очень трудно повернуть вспять.

Улучшенное лечение большинства других недугов. Это обобщающая категория для других недугов, включая диабет, ожирение, сердечные заболевания, аутоиммунные заболевания и другие. Большинство из них кажутся "легче" для решения, чем рак и болезнь Альцгеймера, и во многих случаях уже наблюдается резкое снижение. Например, смертность от сердечных заболеваний уже снизилась более чем на 50%, а простые вмешательства, такие как агонисты GLP-1, уже достигли огромного прогресса в борьбе с ожирением и диабетом.

Биологическая свобода. Последние 70 лет характеризовались достижениями в области контрацепции, фертильности, контроля веса и многого другого. Но я подозреваю, что биология, ускоренная ИИ, значительно расширит возможности: вес, физический вид, репродукция и другие биологические процессы будут полностью под контролем людей. Мы будем называть это под заголовком биологической свободы: идея, что каждый человек должен иметь возможность выбирать, кем он хочет стать, и жить своей жизнью так, как ему больше всего нравится. Конечно, будут важные вопросы относительно глобального равенства доступа; см. раздел 3.

Удвоение продолжительности жизни человека18. Это может показаться радикальным, но ожидаемая продолжительность жизни увеличилась почти в 2 раза в 20 веке (с ~40 лет до ~75), поэтому это "в тренде", что "сжатый 21" удвоит ее снова до 150. Очевидно, вмешательства, связанные с замедлением самого процесса старения, будут отличаться от тех, которые были необходимы в прошлом веке для предотвращения (в основном детской) преждевременной смерти от болезней, но масштаб изменений не является беспрецедентным19. Конкретно, уже существуют препараты, которые увеличивают максимальную продолжительность жизни у крыс на 25-50% с ограниченными побочными эффектами. И некоторые животные (например, некоторые виды черепах) уже живут 200 лет, поэтому люди явно не находятся на какой-то теоретической верхней границе.

На мой взгляд, самым важным, что нужно, могут быть надежные, не-Гудхартовские биомаркеры человеческого старения, поскольку это позволит быструю итерацию экспериментов и клинических испытаний. Как только продолжительность жизни человека достигнет 150 лет, мы можем достичь "скорости выхода", покупая достаточно времени, чтобы большинство тех, кто сейчас живет, смогли жить столько, сколько захотят, хотя, конечно, нет гарантии, что это биологически возможно.

Стоит взглянуть на этот список и подумать, насколько иным будет мир, если все это будет достигнуто через 7-12 лет от сегодня (что соответствовало бы агрессивному графику ИИ). Излишне говорить, что это было бы невообразимым гуманитарным триумфом, одновременным устранением большинства бед, которые преследовали человечество тысячелетиями. Многие мои друзья и коллеги воспитывают детей, и когда эти дети вырастут, я надеюсь, что любое упоминание о болезни будет звучать для них так же, как для нас звучат цинга, оспа или бубонная чума. Это поколение также получит пользу от повышенной биологической свободы и самовыражения, и, с удачей, также сможет жить столько, сколько захочет.

Трудно переоценить, насколько неожиданными будут эти изменения для всех, кроме небольшого сообщества людей, которые ожидали мощного ИИ. Например, тысячи экономистов и политических экспертов в США сейчас обсуждают, как сохранить платежеспособность Social Security и Medicare, и в более широком смысле, как сдержать рост расходов на здравоохранение (которые в основном потребляются людьми старше 70 лет и особенно теми, кто имеет терминальные заболевания, такие как рак). Ситуация для этих программ, вероятно, будет радикально улучшена, если все это произойдет20, поскольку соотношение трудоспособного населения к пенсионерам резко изменится. Без сомнения, эти проблемы будут заменены другими, такими как обеспечение широкого доступа к новым технологиям, но стоит подумать о том, насколько мир изменится, даже если биология будет единственной областью, которую успешно ускорит ИИ.

2. Нейронаука и разум. В предыдущем разделе я сосредоточился на физических заболеваниях и биологии в целом, и не охватил нейронауку или психическое здоровье. Но нейронаука является подразделом биологии, и психическое здоровье так же важно, как и физическое здоровье. На самом деле, если уж на то пошло, психическое здоровье влияет на благополучие человека еще более непосредственно, чем физическое здоровье. Сотни миллионов людей имеют очень низкое качество жизни из-за таких проблем, как зависимость, депрессия, шизофрения, низкофункциональный аутизм, ПТСР, психопатия21 или интеллектуальная недостаточность. Миллиарды других борются с повседневными проблемами, которые часто можно интерпретировать как намного более мягкие версии одного из этих серьезных клинических расстройств. И как и в случае с общей биологией, возможно, можно пойти дальше решения проблем и улучшить базовое качество человеческого опыта.

Основная структура, которую я изложил для биологии, одинаково применяется и к нейронауке. Отрасль движется вперед благодаря небольшому количеству открытий, часто связанных с инструментами для измерения или точного вмешательства - в списке выше оптогенетика была открытием в нейронауке, а недавно CLARITY и экспансионная микроскопия являются достижениями в том же духе, в дополнение к тому, что многие общие методы клеточной биологии непосредственно переносятся на нейронауку. Я думаю, что скорость этих достижений будет аналогично ускорена ИИ, и поэтому структура "100 лет прогресса за 5-10 лет" применяется к нейронауке так же, как и к биологии, и по тем же причинам. Как и в биологии, прогресс в нейронауке 20-го века был огромным - например, мы даже не понимали, как и почему нейроны срабатывают, до 1950-х годов. Таким образом, кажется разумным ожидать, что нейронаука, ускоренная ИИ, приведет к быстрому прогрессу в течение нескольких лет.

Есть одна вещь, которую мы должны добавить к этой базовой картине, а именно то, что некоторые вещи, которые мы узнали (или узнаем) о самом ИИ за последние несколько лет, вероятно, помогут продвинуть нейронауку, даже если она будет продолжать осуществляться только людьми. Интерпретируемость является очевидным примером: хотя биологические нейроны поверхностно работают совсем по-другому, чем искусственные нейроны (они общаются через спайки и часто скорость спайков, поэтому есть временной элемент, отсутствующий в искусственных нейронах, и ряд деталей, связанных с клеточной физиологией и нейротрансмиттерами, существенно модифицирует их работу), основной вопрос "как распределенные, обученные сети простых единиц, выполняющих комбинированные линейные/нелинейные операции, работают вместе для выполнения важных вычислений" является одинаковым, и я сильно подозреваю, что детали индивидуальной коммуникации нейронов будут абстрагированы в большинстве интересных вопросов о вычислениях и схемах22. Как только один пример этого, вычислительный механизм, открытый исследователями интерпретируемости в системах ИИ, недавно был повторно открыт в мозге мышей.

Намного легче проводить эксперименты на искусственных нейронных сетях, чем на реальных (последнее часто требует разрезания мозга животных), поэтому интерпретируемость может стать инструментом для улучшения нашего понимания нейронауки. Кроме того, мощные ИИ, вероятно, сами смогут разрабатывать и применять этот инструмент лучше, чем люди.

Но помимо интерпретируемости, то, что мы узнали из ИИ о том, как учатся интеллектуальные системы, должно (хотя я не уверен, что это уже произошло) вызвать революцию в нейронауке.

Когда я работал в нейронауке, многие люди сосредотачивались на том, что я бы сейчас считал неправильными вопросами о обучении, потому что концепция гипотезы масштабирования / горького урока еще не существовала.

Идея о том, что простая целевая функция плюс много данных может привести к невероятно сложному поведению, делает более интересным понимание целевых функций и архитектурных предубеждений и менее интересным понимание деталей возникающих вычислений.

Я не очень внимательно следил за отраслью в последние годы, но у меня есть смутное ощущение, что вычислительные нейроученые все еще не полностью усвоили этот урок. Мое отношение к гипотезе масштабирования всегда было "ага - это объяснение, на высоком уровне, того, как работает интеллект и как он так легко эволюционировал", но я не думаю, что это взгляд среднего нейроученого, частично потому, что гипотеза масштабирования как "секрет интеллекта" не полностью принята даже в рамках ИИ.

Я думаю, что нейроученые должны пытаться сочетать это базовое понимание с особенностями человеческого мозга (биофизические ограничения, эволюционная история, топология, детали моторных и сенсорных входов/выходов), чтобы попытаться разгадать некоторые ключевые загадки нейронауки. Некоторые, вероятно, уже это делают, но я подозреваю, что этого еще недостаточно, и что нейроученые ИИ смогут более эффективно использовать этот подход для ускорения прогресса.

Я ожидаю, что ИИ ускорит нейронаучный прогресс в четырех различных направлениях, которые все вместе могут помочь вылечить психические заболевания и улучшить функционирование:

Традиционная молекулярная биология, химия и генетика. Это по сути та же история, что и общая биология в разделе 1, и ИИ может ускорить ее с помощью тех же механизмов. Существует много лекарств, которые модулируют нейротрансмиттеры для изменения функции мозга, влияют на бдительность или восприятие, изменяют настроение и т.д., и ИИ может помочь нам изобрести еще много таких. ИИ, вероятно, также может ускорить исследования генетической основы психических заболеваний. Точное нейронное измерение и вмешательство. Это способность измерять, что делают многие отдельные нейроны или нейронные схемы, и вмешиваться, чтобы изменить их поведение. Оптогенетика и нейронные зонды - это технологии, способные как измерять, так и вмешиваться в живые организмы, и ряд очень передовых методов (таких как молекулярные тикер-ленты для считывания схем срабатывания большого количества отдельных нейронов) также были предложены и кажутся возможными в принципе.

Передовая вычислительная нейронаука. Как отмечалось выше, как конкретные знания, так и общий подход современного ИИ, вероятно, могут быть плодотворно применены к вопросам системной нейронауки, включая, возможно, раскрытие реальных причин и динамики сложных заболеваний, таких как психоз или расстройства настроения.

Поведенческие вмешательства. Я не очень упоминал об этом, учитывая акцент на биологической стороне нейронауки, но психиатрия и психология, конечно, разработали широкий репертуар поведенческих вмешательств в течение 20-го века; логично предположить, что ИИ мог бы ускорить их также, как разработку новых методов, так и помощь пациентам придерживаться существующих методов. В более широком смысле, идея "ИИ-коуча", который всегда помогает вам быть лучшей версией себя, который изучает ваши взаимодействия и помогает вам научиться быть более эффективным, кажется очень перспективной. Я предполагаю, что эти четыре направления прогресса, работая вместе, как и с физическими заболеваниями, будут на пути к лечению или предотвращению большинства психических заболеваний в следующие 100 лет, даже если бы ИИ не был вовлечен - и поэтому могут быть разумно завершены за 5-10 лет, ускоренных ИИ. Конкретно, мое предположение о том, что произойдет, это что-то вроде:

Большинство психических заболеваний, вероятно, можно вылечить. Я не эксперт по психиатрическим заболеваниям (мое время в нейронауке было потрачено на создание зондов для изучения небольших групп нейронов), но я предполагаю, что такие заболевания, как ПТСР, депрессия, шизофрения, зависимость и т.д., могут быть разгаданы и очень эффективно лечиться с помощью какой-то комбинации четырех вышеуказанных направлений. Ответ, вероятно, будет какой-то комбинацией "что-то пошло не так биохимически" (хотя это может быть очень сложно) и "что-то пошло не так с нейронной сетью, на высоком уровне". То есть, это вопрос системной нейронауки - хотя это не умаляет влияния поведенческих вмешательств, обсужденных выше. Инструменты для измерения и вмешательства, особенно у живых людей, кажутся вероятными привести к быстрой итерации и прогрессу. Состояния, которые очень "структурные", могут быть более сложными, но не невозможными. Есть некоторые доказательства того, что психопатия связана с очевидными нейроанатомическими различиями - что некоторые области мозга просто меньше или менее развиты у психопатов. Также считается, что психопатам не хватает эмпатии с раннего возраста; что бы ни было другим в их мозгу, оно, вероятно, всегда было таким. То же самое может быть верно для некоторых интеллектуальных недостатков и, возможно, других состояний.

Реструктуризация мозга звучит сложно, но это также кажется задачей с высокой отдачей от интеллекта. Возможно, есть какой-то способ побудить взрослый мозг к более раннему или более пластичному состоянию, где его можно перестроить. Я очень неуверен, насколько это возможно, но мой инстинкт - быть оптимистичным относительно того, что ИИ может изобрести здесь. Кажется возможным эффективное генетическое предотвращение психических заболеваний.

Большинство психических заболеваний частично наследуются, и исследования ассоциаций по всему геному начинают достигать успеха в идентификации соответствующих факторов, которые часто бывают многочисленными. Вероятно, будет возможно предотвратить большинство этих заболеваний с помощью скрининга эмбрионов, аналогично истории с физическими заболеваниями. Одно отличие заключается в том, что психиатрические заболевания с большей вероятностью являются полигенными (много генов вносят свой вклад), поэтому из-за сложности существует повышенный риск ненамеренного отбора против позитивных черт, которые коррелируют с заболеванием. Странно, однако, что в последние годы исследования GWAS, кажется, предполагают, что эти корреляции могли быть преувеличены. В любом случае, нейронаука, ускоренная ИИ, может помочь нам разобраться в этих вещах. Конечно, скрининг эмбрионов на сложные признаки поднимает ряд общественных вопросов и будет спорным, хотя я предполагаю, что большинство людей поддержали бы скрининг на серьезные или изнурительные психические заболевания. Будут решены также повседневные проблемы, которые мы не считаем клиническими заболеваниями. Большинство из нас имеют повседневные психологические проблемы, которые обычно не считаются достигающими уровня клинического заболевания. Некоторые люди быстро гневаются, другие имеют проблемы с концентрацией внимания или часто сонливы, некоторые боязливы или тревожны, или плохо реагируют на изменения.

Сегодня уже существуют препараты, которые помогают, например, с бдительностью или концентрацией (кофеин, модафинил, риталин), но, как и во многих других предыдущих областях, возможно намного большее. Вероятно, существует еще много таких препаратов, которые не были открыты, и могут также существовать совершенно новые способы вмешательства, такие как целевая световая стимуляция (см. оптогенетику выше) или магнитные поля. Учитывая, сколько лекарств мы разработали в 20-м веке, которые настраивают когнитивные функции и эмоциональное состояние, я очень оптимистично настроен относительно "сжатого 21-го", где каждый может заставить свой мозг вести себя немного лучше и иметь более насыщенный повседневный опыт. Базовый опыт человека может быть намного лучше. Делая еще один шаг дальше, многие люди переживали чрезвычайные моменты откровения, творческого вдохновения, сострадания, удовольствия, трансцендентности, любви, красоты или медитативного спокойствия. Характер и частота этих переживаний сильно отличаются от человека к человеку и в пределах одного человека в разное время, и иногда также могут быть вызваны различными наркотиками (хотя часто с побочными эффектами).

Все это свидетельствует о том, что "пространство того, что возможно испытать" очень широко и что большая доля жизни людей могла бы состоять из этих чрезвычайных моментов. Вероятно, также возможно улучшить различные когнитивные функции в целом. Это, возможно, нейронаучная версия "биологической свободы" или "продленной продолжительности жизни". Одна тема, которая часто появляется в научно-фантастических изображениях ИИ, но которую я намеренно не обсуждал здесь, - это "загрузка разума", идея захвата паттерна и динамики человеческого мозга и воплощения их в программном обеспечении. Эта тема могла бы быть предметом отдельного эссе сама по себе, но достаточно сказать, что хотя я думаю, что загрузка почти наверняка возможна в принципе, на практике она сталкивается со значительными технологическими и общественными вызовами, даже с мощным ИИ, которые, вероятно, выводят ее за пределы 5-10-летнего окна, которое мы обсуждаем.

Подытоживая, нейронаука, ускоренная ИИ, вероятно, значительно улучшит лечение или даже вылечит большинство психических заболеваний, а также значительно расширит "когнитивную и психическую свободу" и когнитивные и эмоциональные способности человека. Это будет настолько же радикальным, как и улучшения физического здоровья, описанные в предыдущем разделе. Возможно, мир не будет видимо отличаться снаружи, но мир, который переживают люди, станет намного лучшим и более гуманным местом, а также местом, предлагающим большие возможности для самореализации. Я также подозреваю, что улучшение психического здоровья смягчит многие другие общественные проблемы, включая те, что кажутся политическими или экономическими.

3. Экономическое развитие и бедность Предыдущие два раздела посвящены разработке новых технологий, которые лечат болезни и улучшают качество человеческой жизни. Однако очевидный вопрос с гуманитарной точки зрения: "будут ли все иметь доступ к этим технологиям?"

Одно дело разработать лекарство от болезни, другое дело - искоренить болезнь из мира. Более широко, многие существующие медицинские вмешательства еще не применены везде в мире, и то же самое касается (не медицинских) технологических усовершенствований в целом.

Другими словами, уровень жизни во многих частях мира все еще отчаянно низкий: ВВП на душу населения составляет ~$2,000 в Африке к югу от Сахары по сравнению с ~$75,000 в Соединенных Штатах. Если ИИ еще больше увеличит экономический рост и качество жизни в развитом мире, мало что делая для помощи развивающемуся миру, мы должны рассматривать это как ужасную моральную неудачу и пятно на настоящих гуманитарных победах в предыдущих двух разделах. В идеале, мощный ИИ должен помочь развивающемуся миру догнать развитый мир, даже когда он революционизирует последним.

Я не настолько уверен, что ИИ может решить проблемы неравенства и экономического роста, как я уверен, что он может изобретать фундаментальные технологии, потому что технология имеет такие очевидные высокие отдачи от интеллекта (включая способность обходить сложности и отсутствие данных), тогда как экономика включает много ограничений от людей, а также большую дозу внутренней сложности. Я несколько скептически отношусь к тому, что ИИ мог бы решить известную "проблему социалистического расчета"23, и я не думаю, что правительства будут (или должны) передавать свою экономическую политику такой сущности, даже если бы она могла это сделать. Есть также проблемы, как-то как убедить людей принимать лечение, которое является эффективным, но к которому они могут относиться с подозрением.

Вызовы, стоящие перед развивающимся миром, еще больше усложняются распространенной коррупцией как в частном, так и в государственном секторах. Коррупция создает замкнутый круг: она усиливает бедность, а бедность, в свою очередь, порождает еще больше коррупции. Планы экономического развития, управляемые ИИ, должны учитывать коррупцию, слабые институты и другие очень человеческие вызовы.

Тем не менее, я вижу значительные причины для оптимизма. Болезни были искоренены, и многие страны перешли от бедных к богатым, и очевидно, что решения, связанные с этими задачами, демонстрируют высокую отдачу от интеллекта (несмотря на человеческие ограничения и сложность). Поэтому ИИ, вероятно, может выполнять их лучше, чем это делается сейчас. Могут также быть целевые вмешательства, которые обходят человеческие ограничения и на которых ИИ мог бы сосредоточиться. Что еще важнее, мы должны попытаться. Как компании по ИИ, так и политики развитого мира должны внести свой вклад, чтобы обеспечить, что развивающийся мир не останется в стороне; моральный императив слишком велик. Поэтому в этом разделе я продолжу давать оптимистический сценарий, но помните везде, что успех не гарантирован и зависит от наших коллективных усилий.

Ниже я делаю некоторые предположения о том, как, по моему мнению, могут развиваться вещи в развивающемся мире в течение 5-10 лет после разработки мощного ИИ:

Распространение медицинских вмешательств. Область, где я, возможно, наиболее оптимистичен, - это распространение медицинских вмешательств по всему миру. Болезни фактически были искоренены масштабными кампаниями: оспа была полностью ликвидирована в 1970-х годах, а полиомиелит и дракункулез почти искоренены с менее чем 100 случаями в год. Математически сложное эпидемиологическое моделирование играет активную роль в кампаниях по искоренению болезней, и кажется очень вероятным, что системы ИИ умнее человека могут выполнять эту работу лучше, чем люди. Логистику распространения также, вероятно, можно значительно оптимизировать. Одна вещь, которую я узнал как ранний донор GiveWell, заключается в том, что некоторые благотворительные организации здравоохранения намного эффективнее других; надежда заключается в том, что усилия, ускоренные ИИ, будут еще эффективнее. Кроме того, некоторые биологические достижения фактически значительно упрощают логистику распространения: например, малярию трудно искоренить, потому что она требует лечения каждый раз, когда болезнь контрактируется; вакцина, которую нужно вводить только один раз, делает логистику намного проще (и такие вакцины против малярии фактически сейчас разрабатываются). Возможны даже более простые механизмы распространения: некоторые болезни в принципе можно искоренить, нацеливаясь на их животных носителей, например, выпуская комаров, инфицированных бактерией, которая блокирует их способность переносить болезнь (которые затем инфицируют всех других комаров), или просто используя генетические приводы для уничтожения комаров. Это требует одного или нескольких централизованных действий, а не скоординированной кампании, которая должна индивидуально лечить миллионы.

В целом, я думаю, что 5-10 лет - это разумный срок для того, чтобы хорошая часть (может быть, 50%) преимуществ для здоровья, управляемых ИИ, распространилась даже на беднейшие страны мира. Хорошей целью могло бы быть, чтобы развивающийся мир через 5-10 лет после мощного ИИ был по крайней мере значительно здоровее, чем развитый мир сегодня, даже если он продолжает отставать от развитого мира. Конечно, для достижения этого понадобятся огромные усилия в области глобального здравоохранения, филантропии, политической адвокации и многих других усилий, с которыми должны помочь как разработчики ИИ, так и политики.

Экономический рост. Может ли развивающийся мир быстро догнать развитый мир не только в здравоохранении, но и в экономике в целом?

Для этого есть некоторые прецеденты: в последние десятилетия 20-го века несколько восточноазиатских экономик достигли устойчивых темпов реального роста ВВП ~10% в год, что позволило им догнать развитый мир. Человеческие экономические планировщики принимали решения, которые привели к этому успеху, не путем прямого контроля над целыми экономиками, а путем нажатия нескольких ключевых рычагов (таких как промышленная политика экспортно-ориентированного роста и сопротивление соблазну полагаться на богатство природных ресурсов); правдоподобно, что "ИИ-министры финансов и центральные банкиры" могли бы повторить или превзойти это 10% достижение. Важный вопрос заключается в том, как заставить правительства развивающихся стран принять их, уважая принцип самоопределения - некоторые могут быть энтузиастами в отношении этого, но другие, вероятно, будут скептически настроены. С оптимистичной стороны, многие из медицинских вмешательств, упомянутых в предыдущем пункте, вероятно, органически увеличат экономический рост: искоренение СПИДа/малярии/паразитических червей будет иметь трансформационный эффект на производительность, не говоря уже об экономических выгодах, которые некоторые нейронаучные вмешательства (такие как улучшение настроения и концентрации) будут иметь как в развитом мире, так и в развивающемся мире. Наконец, не медицинские технологии, ускоренные ИИ (такие как энергетические технологии, транспортные дроны, улучшенные строительные материалы, лучшая логистика и распределение и т.д.) могут просто проникнуть в мир естественным путем; например, даже мобильные телефоны быстро проникли в Африку к югу от Сахары через рыночные механизмы, без необходимости филантропических усилий.

С более негативной стороны, хотя ИИ и автоматизация имеют много потенциальных преимуществ, они также создают вызовы для экономического развития, особенно для стран, которые еще не индустриализировались. Поиск способов обеспечить, чтобы эти страны все еще могли развиваться и улучшать свою экономику в эпоху растущей автоматизации, является важным вызовом, который должны решить экономисты и политики. В целом, мечта-сценарий - возможно, цель, к которой следует стремиться - это 20% годовой темп роста ВВП в развивающемся мире, с 10% от каждого из решений, управляемых ИИ, и естественного распространения технологий, ускоренных ИИ, включая, но не ограничиваясь здравоохранением. Если это будет достигнуто, это приведет Африку к югу от Сахары к нынешнему ВВП на душу населения Китая за 5-10 лет, подняв большую часть остального развивающегося мира до уровней, превышающих нынешний ВВП США. Опять же, это мечта-сценарий, а не то, что происходит по умолчанию: это нечто, над чем все мы должны работать вместе, чтобы сделать более вероятным.

Продовольственная безопасность24. Достижения в технологии выращивания культур, такие как лучшие удобрения и пестициды, большая автоматизация и более эффективное использование земли, резко увеличили урожайность культур в течение 20-го века, спасая миллионы людей от голода. Генетическая инженерия в настоящее время еще больше улучшает многие культуры. Поиск еще большего количества способов сделать это - а также сделать сельскохозяйственные цепочки поставок еще эффективнее - мог бы дать нам вторую Зеленую революцию, управляемую ИИ, помогая сократить разрыв между развивающимся миром и развитым миром.

Смягчение последствий изменения климата.

Изменение климата будет ощущаться намного сильнее в развивающемся мире, препятствуя его развитию. Мы можем ожидать, что ИИ приведет к усовершенствованию технологий, которые замедляют или предотвращают изменение климата, от удаления углерода из атмосферы и технологий чистой энергии до выращенного в лаборатории мяса, которое уменьшает нашу зависимость от углеродно-интенсивного промышленного животноводства. Конечно, как обсуждалось выше, технология - не единственное, что ограничивает прогресс в борьбе с изменением климата - как и со всеми другими вопросами, обсужденными в этом эссе, важны человеческие общественные факторы. Но есть веские причины думать, что исследования, усиленные ИИ, дадут нам средства сделать смягчение последствий изменения климата намного менее дорогим и разрушительным, делая многие возражения недействительными и освобождая развивающиеся страны для большего экономического прогресса.

Неравенство внутри стран. Я в основном говорил о неравенстве как о глобальном явлении (которое, я думаю, является его важнейшим проявлением), но, конечно, неравенство также существует внутри стран. С передовыми медицинскими вмешательствами и особенно радикальным увеличением продолжительности жизни или когнитивными средствами улучшения, безусловно, будут обоснованные опасения, что эти технологии "только для богатых". Я более оптимистично настроен в отношении неравенства внутри стран, особенно в развитом мире, по двум причинам. Во-первых, рынки функционируют лучше в развитом мире, и рынки обычно хорошо справляются со снижением стоимости высокоценных технологий со временем25.

Во-вторых, политические институты развитого мира более чувствительны к своим гражданам и имеют большую государственную способность выполнять программы универсального доступа - и я ожидаю, что граждане будут требовать доступа к технологиям, которые так радикально улучшают качество жизни. Конечно, это не является предопределенным, что такие требования будут успешными - и это еще одно место, где мы коллективно должны делать все возможное, чтобы обеспечить справедливое общество. Существует отдельная проблема неравенства богатства (в отличие от неравенства доступа к жизненно важным и жизнеулучшающим технологиям), которая кажется более сложной и которую я обсуждаю в разделе 5.

Проблема отказа. Одно беспокойство как в развитом, так и в развивающемся мире - это люди, которые отказываются от преимуществ, предоставляемых ИИ (подобно антипрививочному движению или луддитским движениям в целом). Могут возникнуть плохие циклы обратной связи, когда, например, люди, которые наименее способны принимать хорошие решения, отказываются именно от тех технологий, которые улучшают их способности принимать решения, что приводит ко все большему разрыву и даже созданию дистопического подкласса (некоторые исследователи утверждают, что это подорвет демократию, тему, которую я подробнее обсуждаю в следующем разделе). Это снова наложит моральное пятно на позитивные достижения ИИ. Это сложная проблема для решения, поскольку я не думаю, что этично принуждать людей, но мы можем по крайней мере попытаться повысить научное понимание людей - и, возможно, сам ИИ может помочь нам в этом. Один обнадеживающий знак заключается в том, что исторически антитехнологические движения были больше лаем, чем укусом: критиковать современные технологии популярно, но большинство людей в конечном итоге принимает их, по крайней мере когда речь идет об индивидуальном выборе. Отдельные лица, как правило, принимают большинство технологий здоровья и потребительских технологий, тогда как технологии, которые действительно тормозятся, как-то ядерная энергетика, как правило, являются коллективными политическими решениями.

В целом, я оптимистично настроен в отношении быстрого распространения биологических достижений ИИ среди людей в развивающемся мире. Я надеюсь, хотя и не уверен, что ИИ также может обеспечить беспрецедентные темпы экономического роста и позволить развивающемуся миру по крайней мере превзойти то, где сейчас находится развитый мир. Я обеспокоен проблемой "отказа" как в развитом мире, так и в развивающемся мире, но подозреваю, что она со временем угаснет, и что ИИ может помочь ускорить этот процесс. Это не будет идеальный мир, и те, кто отстает, не полностью догонят, по крайней мере не в первые несколько лет. Но при сильных усилиях с нашей стороны мы можем заставить вещи двигаться в правильном направлении - и быстро. Если мы это сделаем, мы сможем сделать по крайней мере начальный вклад в обещания достоинства и равенства, которые мы должны каждому человеку на земле.

4. Мир и управление. Предположим, что все в первых трех разделах идет хорошо: болезни, бедность и неравенство значительно уменьшаются, а базовый уровень человеческого опыта существенно повышается. Из этого не следует, что все основные причины человеческих страданий решены. Люди все еще являются угрозой друг для друга. Хотя существует тенденция к тому, что технологическое совершенствование и экономическое развитие ведут к демократии и миру, это очень слабая тенденция, с частыми (и недавними) отступлениями. В начале 20-го века люди думали, что они оставили войну позади; затем пришли две мировые войны. Тридцать лет назад Фрэнсис Фукуяма писал о "Конце истории" и окончательном триумфе либеральной демократии; это еще не произошло. Двадцать лет назад политики США верили, что свободная торговля с Китаем заставит его либерализоваться по мере того, как он будет становиться богаче; это очень не произошло, и теперь мы, кажется, движемся ко второй холодной войне с возрожденным авторитарным блоком. И правдоподобные теории предполагают, что интернет-технологии могут фактически давать преимущество авторитаризму, а не демократии, как изначально считалось (например, в период "Арабской весны"). Кажется важным попытаться понять, как мощный ИИ будет пересекаться с этими вопросами мира, демократии и свободы.

К сожалению, я не вижу никаких сильных причин считать, что ИИ будет преимущественно или структурно продвигать демократию и мир, так же, как я думаю, что он структурно будет продвигать здоровье человека и облегчать бедность. Человеческий конфликт является соревновательным, и ИИ в принципе может помочь как "хорошим парням", так и "плохим парням". Если уж на то пошло, некоторые структурные факторы кажутся тревожными: ИИ, кажется, позволит намного лучшую пропаганду и наблюдение, оба основных инструмента в арсенале автократа. Поэтому именно от нас как отдельных актеров зависит склонить вещи в правильном направлении: если мы хотим, чтобы ИИ способствовал демократии и индивидуальным правам, мы должны бороться за этот результат. Я чувствую это еще сильнее, чем в отношении международного неравенства: триумф либеральной демократии и политической стабильности не гарантирован, возможно, даже не вероятен, и потребует больших жертв и преданности со стороны всех нас, как это часто было в прошлом.

Я рассматриваю этот вопрос как имеющий две части: международный конфликт и внутреннюю структуру наций. На международном уровне кажется очень важным, чтобы демократии имели преимущество на мировой арене, когда будет создан мощный ИИ. ИИ-усиленный авторитаризм кажется слишком ужасным, чтобы его можно было рассматривать, поэтому демократии должны иметь возможность устанавливать условия, при которых мощный ИИ будет введен в мир, как для того, чтобы избежать преимущества авторитарных режимов, так и для предотвращения нарушений прав человека в авторитарных странах.

Моя текущая догадка относительно наилучшего способа сделать это - это "стратегия согласия"26, в которой коалиция демократий стремится получить четкое преимущество (даже если временное) в мощном ИИ путем обеспечения его цепочки поставок, быстрого масштабирования и блокирования или задержки доступа противников к ключевым ресурсам, таким как чипы и оборудование для полупроводников. Эта коалиция с одной стороны использовала бы ИИ для достижения надежного военного превосходства (палка), а с другой стороны предлагала бы распространить преимущества мощного ИИ (морковка) на все более широкую группу стран в обмен на поддержку стратегии коалиции по продвижению демократии (это было бы немного аналогично "Атомам для мира"). Коалиция стремилась бы получить поддержку все большей части мира, изолируя наших худших противников и в конечном итоге ставя их в позицию, где они лучше согласятся на ту же сделку, что и остальной мир: отказаться от конкуренции с демократиями, чтобы получить все преимущества и не бороться с высшим противником.

Если мы сможем все это сделать, у нас будет мир, в котором демократии лидируют на мировой арене и имеют экономическую и военную силу, чтобы избежать подрыва, завоевания или саботажа со стороны автократий, и могут использовать свое преимущество в ИИ для достижения длительного превосходства. Это оптимистично может привести к "вечному 1991 году" - миру, где демократии имеют преимущество и мечты Фукуямы реализуются. Опять же, это будет очень трудно достичь, и в частности потребует тесного сотрудничества между частными компаниями по ИИ и демократическими правительствами, а также чрезвычайно мудрых решений относительно баланса между морковкой и палкой.

Даже если все это пойдет хорошо, остается вопрос борьбы между демократией и автократией внутри каждой страны. Очевидно, трудно предсказать, что произойдет здесь, но у меня есть некоторый оптимизм, что при условии глобальной среды, в которой демократии контролируют самый мощный ИИ, тогда ИИ может фактически структурно способствовать демократии везде. В частности, в этой среде демократические правительства могут использовать свой высший ИИ для победы в информационной войне: они могут противодействовать операциям влияния и пропаганде со стороны автократий и даже могут создать глобально свободную информационную среду, предоставляя каналы информации и услуги ИИ таким образом, что автократии не имеют технической возможности блокировать или мониторить. Вероятно, не нужно доставлять пропаганду, только противодействовать злонамеренным атакам и разблокировать свободный поток информации. Хотя и не немедленно, равные условия такого рода имеют хороший шанс постепенно склонить глобальное управление к демократии по нескольким причинам.

Во-первых, повышение качества жизни в разделах 1-3 должно, при прочих равных условиях, способствовать демократии: исторически оно это делало, по крайней мере до определенной степени. В частности, я ожидаю, что улучшение психического здоровья, благосостояния и образования увеличат демократию, поскольку все три негативно коррелируют с поддержкой авторитарных лидеров. В целом, люди хотят больше самовыражения, когда их другие потребности удовлетворены, а демократия, среди прочего, является формой самовыражения. И наоборот, авторитаризм процветает на страхе и возмущении.

Во-вторых, есть хороший шанс, что свободная информация действительно подрывает авторитаризм, если авторитары не могут ее цензурировать. И нецензурированный ИИ также может предоставить отдельным лицам мощные инструменты для подрыва репрессивных правительств. Репрессивные правительства выживают, отказывая людям в определенном виде общих знаний, не давая им понять, что "император голый". Например, Срджа Попович, который помог свергнуть правительство Милошевича в Сербии, много писал о техниках психологического лишения авторитариев их власти, о том, как сломать чары и объединить поддержку против диктатора. Сверхчеловечески эффективная версия Поповича с ИИ (навыки которого кажутся такими, что имеют высокую отдачу от интеллекта) в кармане каждого, которую диктаторы бессильны заблокировать или цензурировать, могла бы создать попутный ветер для диссидентов и реформаторов по всему миру.

Чтобы повторить еще раз, это будет долгая и затяжная борьба, где победа не гарантирована, но если мы разработаем и построим ИИ правильно, это может по крайней мере быть борьба, где сторонники свободы везде имеют преимущество.

Как и с нейронаукой и биологией, мы также можем спросить, как вещи могут быть "лучше нормальных" - не просто как избежать автократии, но как сделать демократии лучше, чем они есть сегодня. Даже внутри демократий несправедливость случается все время. Общества верховенства права дают обещание своим гражданам, что все будут равны перед законом и все имеют право на основные права человека, но очевидно, что люди не всегда получают эти права на практике. То, что это обещание даже частично выполняется, делает его чем-то, чем можно гордиться, но может ли ИИ помочь нам сделать лучше?

Например, может ли ИИ улучшить нашу правовую и судебную систему, сделав решения и процессы более беспристрастными? Сегодня люди в основном беспокоятся в правовых или судебных контекстах, что системы ИИ будут причиной дискриминации, и эти опасения важны и требуют защиты. В то же время, жизнеспособность демократии зависит от использования новых технологий для улучшения демократических институтов, а не просто реагирования на риски. По-настоящему зрелая и успешная реализация ИИ имеет потенциал уменьшить предвзятость и быть справедливее для всех.

На протяжении веков правовые системы сталкивались с дилеммой, что закон стремится быть беспристрастным, но по своей сути является субъективным и поэтому должен интерпретироваться предвзятыми людьми.

Попытка сделать закон полностью механическим не сработала, потому что реальный мир сложен и не всегда может быть охвачен в математических формулах. Вместо этого правовые системы полагаются на пресловуто неточные критерии, такие как "жестокое и необычное наказание" или "абсолютно без социальной ценности", которые люди затем интерпретируют - и часто делают это предвзято, благосклонно или произвольно. "Умные контракты" в криптовалютах не революционизировали право, потому что обычный код недостаточно умен, чтобы решать многие интересные вопросы. Но ИИ может быть достаточно умным для этого: это первая технология, способная делать широкие, нечеткие суждения повторяемым и механическим способом.

Я не предлагаю буквально заменить судей системами ИИ, но комбинация беспристрастности со способностью понимать и обрабатывать запутанные, реальные ситуации ощущается так, будто она должна иметь некоторые серьезные позитивные применения в праве и правосудии. По крайней мере такие системы могли бы работать рядом с людьми как помощь в принятии решений. Прозрачность была бы важна в любой такой системе, и зрелая наука об ИИ могла бы ее обеспечить: процесс обучения таких систем мог бы быть широко изучен, а передовые методы интерпретации могли бы быть использованы для того, чтобы заглянуть внутрь конечной модели и оценить ее на предмет скрытых предубеждений, способом, который просто невозможен с людьми.

Такие инструменты ИИ также могли бы использоваться для мониторинга нарушений фундаментальных прав в судебном или полицейском контексте, делая конституции более самоисполняющимися.

В подобном ключе ИИ мог бы использоваться как для агрегации мнений, так и для достижения консенсуса среди граждан, решая конфликты, находя общую основу и ища компромисс. Некоторые ранние идеи в этом направлении были начаты проектом вычислительной демократии, включая сотрудничество с Anthropic. Более информированное и вдумчивое гражданство, очевидно, укрепило бы демократические институты.

Существует также четкая возможность использования ИИ для помощи в предоставлении государственных услуг - таких как медицинские льготы или социальные услуги - которые в принципе доступны для всех, но их на практике часто серьезно не хватает, и хуже в одних местах, чем в других. Это включает медицинские услуги, DMV, налоги, социальное обеспечение, обеспечение соблюдения строительных норм и т.д. Наличие очень вдумчивого и информированного ИИ, работа которого заключается в том, чтобы дать вам все, на что вы имеете законное право от правительства, способом, который вы можете понять - и который также помогает вам соблюдать часто запутанные государственные правила - было бы большим делом. Увеличение государственной способности как помогает выполнить обещание равенства перед законом, так и укрепляет уважение к демократическому управлению. Плохо реализованные услуги в настоящее время являются основным фактором цинизма в отношении правительства27.

Все это несколько расплывчатые идеи, и, как я сказал в начале этого раздела, я далеко не настолько уверен в их осуществимости, как я уверен в достижениях в биологии, нейронауке и преодолении бедности. Они могут быть нереалистично утопическими. Но важно иметь амбициозное видение, быть готовым мечтать о большом и пробовать вещи. Видение ИИ как гаранта свободы, индивидуальных прав и равенства перед законом - это слишком мощное видение, чтобы не бороться за него. Полития 21-го века, усиленная ИИ, могла бы быть как более сильным защитником индивидуальной свободы, так и маяком надежды, который помогает сделать либеральную демократию формой правления, которую весь мир хочет принять.

5. Работа и смысл. Даже если все в предыдущих четырех разделах пойдет хорошо - не только мы облегчим болезни, бедность и неравенство, но либеральная демократия станет доминирующей формой правления, а существующие либеральные демократии станут лучшими версиями себя - по крайней мере один важный вопрос все еще остается. "Это прекрасно, что мы живем в таком технологически развитом мире, а также справедливом и достойном", - мог бы возразить кто-то, "но с ИИ, что делает все, как люди будут иметь смысл? Кстати, как они вообще выживут экономически?"

Я думаю, что этот вопрос сложнее других. Я не имею в виду, что я обязательно более пессимистичен в отношении него, чем в отношении других вопросов (хотя я действительно вижу проблемы). Я имею в виду, что он более расплывчатый и его труднее предсказать заранее, потому что он касается макроскопических вопросов о том, как организовано общество, которые, как правило, решаются только со временем и децентрализованно. Например, исторические общества охотников-собирателей могли представить, что жизнь бессмысленна без охоты и различных видов связанных с охотой религиозных ритуалов, и представили бы, что наше хорошо накормленное технологическое общество лишено цели. Они также могли бы не понять, как наша экономика может обеспечить всех, или какую функцию люди могут полезно выполнять в механизированном обществе.

Тем не менее, стоит сказать хотя бы несколько слов, помня, что краткость этого раздела не следует воспринимать как признак того, что я не воспринимаю эти вопросы серьезно - наоборот, это признак отсутствия четких ответов.

Что касается вопроса смысла, я думаю, что это очень вероятно ошибка считать, что задачи, которые вы выполняете, бессмысленны просто потому, что ИИ мог бы выполнить их лучше. Большинство людей не являются лучшими в мире в чем-то, и это, кажется, их особенно не беспокоит. Конечно, сегодня они все еще могут вносить свой вклад через сравнительное преимущество и могут получать смысл от экономической ценности, которую они производят, но люди также очень любят деятельность, которая не производит никакой экономической ценности. Я провожу много времени играя в видеоигры, плавая, гуляя на улице и разговаривая с друзьями, и все это не генерирует никакой экономической ценности. Я могу провести день, пытаясь стать лучше в видеоигре или быстрее ездить на велосипеде в гору, и мне на самом деле не важно, что кто-то где-то намного лучше в этих вещах. В любом случае я думаю, что смысл в основном происходит от человеческих отношений и связей, а не от экономического труда. Люди действительно хотят чувства достижения, даже чувства конкуренции, и в пост-ИИ мире будет вполне возможно провести годы, пытаясь выполнить какое-то очень сложное задание со сложной стратегией, подобно тому, как люди сегодня начинают исследовательские проекты, пытаются стать голливудскими актерами или основывают компании28. Факты, что (а) ИИ где-то в принципе мог бы выполнить это задание лучше, и (б) это задание больше не является экономически вознаграждаемым элементом глобальной экономики, кажутся мне не очень важными.

Экономическая часть на самом деле кажется мне более сложной, чем часть о смысле. Под "экономической" в этом разделе я имею в виду возможную проблему, что большинство или все люди могут быть не в состоянии значительно способствовать достаточно развитой экономике, управляемой ИИ. Это более макро проблема, чем отдельная проблема неравенства, особенно неравенства в доступе к новым технологиям, которую я обсуждал в разделе 3.

Во-первых, в краткосрочной перспективе я соглашаюсь с аргументами, что сравнительное преимущество будет продолжать делать людей релевантными и на самом деле увеличит их производительность, и может даже в некоторых отношениях выровнять поле игры между людьми.

Пока ИИ лишь на 90% лучше человека в данной работе, другие 10% приведут к тому, что люди станут высоко рычаговыми, увеличивая компенсацию и на самом деле создавая много новых человеческих рабочих мест, дополняющих и усиливающих то, в чем ИИ хорош, так что "10%" расширяются, чтобы продолжать нанимать почти всех.

На самом деле, даже если ИИ может делать 100% вещей лучше людей, но остается неэффективным или дорогим в некоторых задачах, или если ресурсные вклады для людей и ИИ значительно отличаются, тогда логика сравнительного преимущества продолжает применяться. Одна область, где люди, вероятно, сохранят относительное (или даже абсолютное) преимущество в течение значительного времени, - это физический мир. Таким образом, я думаю, что человеческая экономика может продолжать иметь смысл даже немного за пределами того момента, когда мы достигнем "страны гениев в центре обработки данных".

Однако я думаю, что в долгосрочной перспективе ИИ станет настолько широко эффективным и настолько дешевым, что это больше не будет применяться. В этот момент наша нынешняя экономическая структура больше не будет иметь смысла, и возникнет потребность в более широкой общественной дискуссии о том, как должна быть организована экономика.

Хотя это может звучать безумно, фактом является то, что цивилизация успешно пережила большие экономические изменения в прошлом: от охоты-собирательства к земледелию, от земледелия к феодализму и от феодализма к индустриализму. Я подозреваю, что потребуется что-то новое и более странное, и что это что-то, чего никто сегодня не сделал хорошую работу по предсказанию. Это может быть так просто, как большой универсальный базовый доход для всех, хотя я подозреваю, что это будет лишь небольшой частью решения. Это могла бы быть капиталистическая экономика систем ИИ, которые затем распределяют ресурсы (огромные количества, поскольку общий экономический пирог будет гигантским) людям на основе какой-то вторичной экономики того, что системы ИИ считают разумным вознаграждать в людях (на основе какого-то суждения, в конечном счете производного от человеческих ценностей).

Возможно, экономика работающая на очках Whuffie. Или, возможно, люди продолжат быть экономически ценными каким-то способом, не предвиденным обычными экономическими моделями. Все эти решения имеют тонны возможных проблем, и невозможно знать, будут ли они иметь смысл без многих итераций и экспериментов. И как и с некоторыми другими вызовами, нам, вероятно, придется бороться, чтобы получить хороший результат здесь: эксплуататорские или антиутопические направления также явно возможны и их нужно предотвратить. Можно было бы написать намного больше об этих вопросах, и я надеюсь сделать это в какой-то более поздний момент.

Подведение итогов

Через разнообразные темы выше я попытался изложить видение мира, который является как возможным, если все пойдет правильно с ИИ, так и намного лучшим, чем сегодняшний мир. Я не знаю, реалистичен ли этот мир, и даже если он является таковым, он не будет достигнут без огромного количества усилий и борьбы многих храбрых и преданных людей. Каждый (включая компании по ИИ!) должен будет внести свой вклад как для предотвращения рисков, так и для полной реализации преимуществ.

Но это мир, за который стоит бороться. Если все это действительно произойдет в течение 5-10 лет - победа над большинством болезней, рост биологической и когнитивной свободы, поднятие миллиардов людей из бедности для участия в новых технологиях, ренессанс либеральной демократии и прав человека - я подозреваю, что все, кто это наблюдает, будут удивлены эффектом, который это окажет на них. Я не имею в виду опыт личной выгоды от всех новых технологий, хотя это, безусловно, будет удивительным. Я имею в виду опыт наблюдения за материализацией долго удерживаемого набора идеалов перед нами всеми одновременно. Я думаю, что многие буквально будут тронуты до слез этим.

На протяжении написания этого эссе я заметил интересное напряжение. В одном смысле изложенное здесь видение является чрезвычайно радикальным: это не то, чего почти кто-то ожидает, что произойдет в следующем десятилетии, и многим это покажется абсурдной фантазией. Некоторые могут даже не считать это желательным; оно воплощает ценности и политические выборы, с которыми не все согласятся. Но в то же время есть что-то ослепительно очевидное - что-то предсказуемое - в этом, будто многие разные попытки представить хороший мир неизбежно приводят примерно сюда.

В романе Иэна М. Бэнкса "Игрок в игры"29 главный герой - член общества под названием Культура, которое основано на принципах, не очень отличных от тех, что я изложил здесь - путешествует в репрессивную, милитаристскую империю, в которой лидерство определяется соревнованием в сложной боевой игре. Однако игра настолько сложна, что стратегия игрока в ней, как правило, отражает их собственное политическое и философское мировоззрение. Главному герою удается победить императора в игре, показывая, что его ценности (ценности Культуры) представляют выигрышную стратегию даже в игре, разработанной обществом, основанным на безжалостной конкуренции и выживании сильнейших. Известный пост Скотта Александера имеет тот же тезис - что конкуренция является самоуничтожающей и имеет тенденцию приводить к обществу, основанному на сострадании и сотрудничестве. "Дуга моральной вселенной" - еще одна подобная концепция.

Я думаю, что ценности Культуры являются выигрышной стратегией, потому что они являются суммой миллиона мелких решений, которые имеют четкую моральную силу и которые имеют тенденцию объединять всех на одну сторону. Основные человеческие интуиции относительно справедливости, сотрудничества, любознательности и автономии трудно оспорить, и они являются кумулятивными таким образом, каким наши более разрушительные импульсы часто не являются. Легко аргументировать, что дети не должны умирать от болезней, если мы можем этому предотвратить, и легко из этого аргументировать, что все дети заслуживают на это право одинаково. Оттуда не трудно аргументировать, что мы все должны объединиться и применить наш интеллект для достижения этого результата. Мало кто не согласен, что люди должны быть наказаны за нападение или причинение вреда другим без необходимости, и оттуда не большой шаг до идеи, что наказания должны быть последовательными и систематическими для всех людей. Так же интуитивно понятно, что люди должны иметь автономию и ответственность за свою собственную жизнь и выбор. Эти простые интуиции, если довести их до логического завершения, в конечном итоге приводят к верховенству права, демократии и ценностям Просвещения. Если не неизбежно, то по крайней мере как статистическая тенденция, это то, куда человечество уже двигалось. ИИ просто предлагает возможность добраться туда быстрее - сделать логику более резкой, а пункт назначения более четким.

Тем не менее, это вещь трансцендентной красоты. У нас есть возможность сыграть небольшую роль в том, чтобы сделать это реальностью.

Благодарности Кевину Эсвельту, Парагу Маллику, Стюарту Ричи, Мэтту Иглесиасу, Эрику Бриньолфссону, Джиму Макклейву, Аллану Дафо и многим людям из Anthropic за просмотр черновиков этого эссе.

Победителям Нобелевской премии по химии 2024 года за то, что показали нам всем путь.

Примечания:

1. https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace ↩

2. Я предвижу, что реакция некоторого меньшинства людей будет "это довольно скромно". Я думаю, что эти люди должны, по выражению Twitter, "прикоснуться к траве". Но что еще важнее, скромность - это хорошо с общественной точки зрения. Я думаю, что есть лишь столько изменений, которые люди могут выдержать одновременно, и темп, который я описываю, вероятно, близок к пределам того, что общество может поглотить без крайней турбулентности. ↩

3. Я считаю AGI неточным термином, который набрал много научно-фантастического багажа и хайпа. Я предпочитаю "мощный ИИ" или "экспертный уровень науки и инженерии", что передает то, что я имею в виду, без хайпа. ↩

4. В этом эссе я использую "интеллект" для обозначения общей способности решать проблемы, которую можно применить в различных областях. Это включает такие способности, как мышление, обучение, планирование и творчество. Хотя я использую "интеллект" как сокращение на протяжении этого эссе, я признаю, что природа интеллекта является сложной и дискуссионной темой в когнитивной науке и исследованиях ИИ. Некоторые исследователи утверждают, что интеллект не является единой, унифицированной концепцией, а скорее сборкой отдельных когнитивных способностей. Другие утверждают, что существует общий фактор интеллекта (g-фактор), лежащий в основе различных когнитивных навыков. Это дебаты на другое время. ↩

5. Это примерно нынешняя скорость систем ИИ - например, они могут прочитать страницу текста за пару секунд и написать страницу текста, возможно, за 20 секунд, что в 10-100 раз быстрее, чем люди могут делать эти вещи. Со временем более крупные модели имеют тенденцию делать это медленнее, но более мощные чипы имеют тенденцию делать это быстрее; на сегодняшний день два эффекта примерно отменяют друг друга. ↩

6. Это может показаться нападением на соломенное чучело, но внимательные мыслители, такие как Тайлер Коуэн и Мэтт Иглесиас, выразили это как серьезное беспокойство (хотя я не думаю, что они полностью придерживаются этого взгляда), и я не думаю, что это безумно. ↩

7. Ближайшая экономическая работа, которая мне известна, для решения этого вопроса - это работы по "технологиям общего назначения" и "нематериальным инвестициям", которые служат дополнениями к технологиям общего назначения. ↩

8. Это обучение может включать временное, в контексте обучение, или традиционное обучение; оба будут ограничены скоростью физического мира. ↩

9. В хаотической системе малые ошибки накапливаются экспоненциально со временем, так что даже огромное увеличение вычислительной мощности приводит лишь к незначительному улучшению того, насколько далеко вперед возможно предсказать, и на практике ошибка измерения может еще больше ухудшить это. ↩

10. Еще один фактор, конечно, заключается в том, что сам мощный ИИ потенциально может быть использован для создания еще более мощного ИИ. Мое предположение заключается в том, что это может (на самом деле, вероятно, будет) происходить, но что его эффект будет меньшим, чем вы могли бы представить, именно из-за "уменьшения предельной отдачи от интеллекта", обсужденного здесь. Другими словами, ИИ продолжит становиться умнее быстро, но его эффект в конечном итоге будет ограничен неразумными факторами, и анализ этих факторов является наиболее важным для скорости научного прогресса помимо ИИ. ↩

11. Эти достижения были для меня вдохновением и, возможно, самым мощным существующим примером использования ИИ для трансформации биологии. ↩

12. "Прогресс в науке зависит от новых технологий, новых открытий и новых идей, вероятно, в таком порядке." - Сидни Бреннер ↩

13. Спасибо Парагу Маллику за предложение этого пункта. ↩

14. Я не хотел загромождать текст спекуляциями о том, какие конкретные будущие открытия могла бы сделать наука, поддерживаемая ИИ, но вот мозговой штурм некоторых возможностей: — Разработка лучших вычислительных инструментов, таких как AlphaFold и AlphaProteo — то есть, общая система ИИ ускоряет нашу способность создавать специализированные инструменты вычислительной биологии ИИ. — Более эффективный и селективный CRISPR. — Более продвинутые клеточные терапии. — Прорывы в материаловедении и миниатюризации, ведущие к лучшим имплантируемым устройствам. — Лучший контроль над стволовыми клетками, клеточной дифференциацией и дедифференциацией, и как результат способность регенерировать или перестраивать ткани. — Лучший контроль над иммунной системой: выборочно включать ее для борьбы с раком и инфекционными заболеваниями, и выборочно выключать ее для борьбы с аутоиммунными заболеваниями. ↩

15. ИИ, конечно, также может помочь быть умнее в выборе экспериментов для проведения: улучшение экспериментального дизайна, получение большего количества информации из первого раунда экспериментов, чтобы второй раунд мог сосредоточиться на ключевых вопросах, и так далее. ↩

16. Спасибо Мэтью Иглесиасу за предложение этого пункта. ↩

17. Быстро эволюционирующие заболевания, такие как мультирезистентные штаммы, которые по сути используют больницы как эволюционную лабораторию для постоянного улучшения своей устойчивости к лечению, могут быть особенно упорными для борьбы, и могут быть тем, что мешает нам достичь 100%. ↩

18. Заметьте, что может быть трудно узнать, что мы удвоили продолжительность жизни человека в течение 5-10 лет. Хотя мы, возможно, достигли этого, мы можем еще не знать этого в рамках времени исследования. ↩

19. Это одно место, где я готов, несмотря на очевидные биологические различия между лечением заболеваний и замедлением самого процесса старения, вместо этого посмотреть с большего расстояния на статистическую тенденцию и сказать "даже если детали разные, я думаю, что человеческая наука, вероятно, найдет способ продолжить эту тенденцию; в конце концов, плавные тенденции в чем-либо сложном обязательно состоят из добавления очень разнородных компонентов. ↩

20. В качестве примера, мне сказали, что увеличение роста производительности на год на 1% или даже 0,5% было бы трансформационным в прогнозах, связанных с этими программами. Если идеи, рассмотренные в этом эссе, осуществятся, прибыли производительности могут быть намного больше этого. ↩

21. СМИ любят изображать высокостатусных психопатов, но средний психопат, вероятно, является человеком с плохими экономическими перспективами и плохим контролем над импульсами, который в результате проводит значительное время в тюрьме. ↩

22. Я думаю, что это несколько аналогично тому факту, что многие, хотя, вероятно, не все результаты, которые мы узнаем из интерпретации, продолжали бы быть актуальными, даже если бы некоторые архитектурные детали наших текущих искусственных нейронных сетей, такие как механизм внимания, были изменены или заменены каким-то образом. ↩

23. Я подозреваю, что это немного похоже на классическую хаотическую систему - обремененную неуменьшаемой сложностью, которой нужно управлять в основном децентрализованным способом. Хотя, как я говорю позже в этом разделе, более скромные вмешательства могут быть возможны. Контраргумент, выдвинутый мне экономистом Эриком Бриньолфссоном, заключается в том, что крупные компании (такие как Walmart или Uber) начинают иметь достаточно централизованных знаний, чтобы понимать потребителей лучше, чем любой децентрализованный процесс мог бы, возможно, заставляя нас пересмотреть взгляды Хайека о том, кто имеет лучшие локальные знания. ↩

24. Спасибо Кевину Эсвельту за предложение этого пункта. ↩

25. Например, мобильные телефоны изначально были технологией для богатых, но быстро стали очень дешевыми, с улучшениями год за годом, происходящими настолько быстро, чтобы нивелировать любое преимущество покупки "роскошного" мобильного телефона, и сегодня большинство людей имеют телефоны похожего качества. ↩

26. Это название будущей статьи от RAND, которая излагает примерно ту стратегию, которую я описываю. ↩

27. Когда средний человек думает о государственных учреждениях, он, вероятно, думает о своем опыте с DMV, IRS, medicare или подобными функциями. Сделать эти опыты более позитивными, чем они есть сейчас, кажется мощным способом борьбы с чрезмерным цинизмом. ↩

28. Действительно, в мире, управляемом ИИ, диапазон таких возможных вызовов и проектов будет намного шире, чем сегодня. ↩

29. Я нарушаю свое собственное правило не делать это с научной фантастикой, но мне было трудно не ссылаться на нее хотя бы немного. Правда в том, что научная фантастика является одним из наших единственных источников масштабных экспериментов мысли о будущем; я думаю, что это говорит о чем-то плохом, что она так сильно переплетена с определенной узкой субкультурой. ↩

Источник