Участник:Vokov/От AGI к ASI

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: {{well|Статья написана с использованием LLM '''DeepSeek-V4''' и проверена участником ~~~~}} '''От AGI к ASI: исследование...)
Строка 1: Строка 1:
{{well|Статья написана с использованием LLM '''DeepSeek-V4''' и проверена участником [[Участник:Vokov|К.В.Воронцов]] 15:01, 15 июня 2026 (MSD)}}
{{well|Статья написана с использованием LLM '''DeepSeek-V4''' и проверена участником [[Участник:Vokov|К.В.Воронцов]] 15:01, 15 июня 2026 (MSD)}}
 +
{{TOCright}}
-
'''От AGI к ASI: исследование пути от общего искусственного интеллекта к искусственному суперинтеллекту''' (англ. From AGI to ASI) — аналитический доклад, опубликованный исследователями [[DeepMind]] 10 июня 2026 года на сервере препринтов [[arXiv]] (arXiv:2606.12683)<ref name="arxiv">{{cite arxiv |author=DeepMind |title=From AGI to ASI |year=2026 |eprint=2606.12683 |class=cs.AI}}</ref>. Работа представляет собой междисциплинарное исследование возможных технологических траекторий перехода от [[Общий искусственный интеллект|общего искусственного интеллекта]] (AGI, Artificial General Intelligence) к [[Искусственный суперинтеллект|искусственному суперинтеллекту]] (ASI, Artificial Superintelligence), а также потенциальных препятствий и «узких мест» на этом пути.
+
'''From AGI to ASI''' (с англ. — «От общего искусственного интеллекта к искусственному суперинтеллекту») — аналитический доклад, опубликованный в июне 2026 года исследователями [[DeepMind]] на сервере препринтов [[arXiv]] (arXiv:2606.12683). Доклад исследует возможные технологические траектории перехода от [[Общий искусственный интеллект|общего искусственного интеллекта]] (AGI, Artificial General Intelligence) человеческого уровня к [[Искусственный суперинтеллект|искусственному суперинтеллекту]] (ASI, Artificial Superintelligence), а также потенциальные препятствия и «узкие места» на этом пути. Работа опирается на формализм [[AIXI|универсального искусственного интеллекта]] для задания верхней теоретической границы машинного интеллекта и предлагает исследовательскую повестку, направленную на снижение неопределённостей в прогнозировании и управлении развитием сверхинтеллектуальных систем.
-
== Контекст и цель доклада ==
+
== Общий искусственный интеллект (AGI) ==
-
Авторы констатируют, что создание интеллекта человеческого уровня за последнее десятилетие превратилось из отдалённой спекуляции в конкретную цель на ближайшее десятилетие для крупнейших ИИ-организаций. В докладе исследуется, каким образом сам ИИ может продолжать развиваться в мире после появления AGI вдоль континуума машинного интеллекта. Конечная точка этого континуума — [[Универсальный искусственный интеллект|универсальный ИИ]] (Universal AI) — хорошо изучена теоретически, что даёт формальную основу для анализа перехода от AGI человеческого уровня к ASI. Подчёркивается, что из-за больших неопределённостей нельзя исключать ускорение прогресса ИИ в ближайшие годы, а образ однократного преобразующего скачка, вызванного появлением AGI, может оказаться неточным; более уместной выглядит перспектива серии трансформирующих общественных изменений, обусловленных прорывами, которые обеспечивает ИИ во многих областях науки и техники.
+
В докладе термин AGI используется для обозначения системы, достигающей по меньшей мере медианной человеческой производительности на очень широком спектре когнитивных задач. Такая характеристика примерно соответствует уровню «компетентного AGI» (Competent AGI) по таксономии, ранее предложенной той же исследовательской группой (Morris et al., 2024)<ref name="levels">{{статья |автор=Morris M. R., Sohl-Dickstein J., Fiedel N. и др. |заглавие=Levels of AGI: Operationalizing Progress on the Path to AGI |издание=arXiv |год=2023 |eprint=2311.02462}}</ref>. При этом подчёркивается, что уже сегодняшние модели искусственного интеллекта превосходят человека во многих узких аспектах, но ещё не являются достаточно общими, чтобы называться AGI.
-
== Определения AGI и ASI ==
+
=== Отличие от современного ИИ ===
-
В докладе AGI определяется как система, достигающая по меньшей мере медианной производительности человека на очень широком спектре когнитивных задач. ASI, в свою очередь, обозначает систему, обладающую общим сверхчеловеческим интеллектом, то есть систему, превосходящую большие группы (тысячи) экспертов-людей, работающих в течение длительного времени (годы).
+
Современные [[Большие языковые модели|фундаментальные модели]], такие как [[GPT-4]] или [[Gemini (модель)|Gemini]], демонстрируют впечатляющие результаты в отдельных областях — от программирования до экспертных знаний (бенчмарки GPQA, SWE-bench, FrontierMath), — однако их способности остаются ограниченными предобучением на человеческих данных и отсутствием надёжных механизмов непрерывного обучения, долгосрочного планирования и понимания причинно-следственных связей. AGI, напротив, должен обладать как широтой, так и глубиной интеллекта, сравнимой с медианным человеком, включая способность решать новые задачи в различных модальностях без специфической настройки.
-
== Теоретические основы: Универсальный ИИ и фундаментальные ограничения ==
+
=== Препятствия на пути к AGI ===
-
В пределе ИИ удивительно хорошо понимается в рамках математической концепции Универсального ИИ, также известной как AIXI-формализм (Hutter et al., 2024)<ref name="hutter2024">{{книга |автор=Hutter M., Quigley A. и др. |заглавие=Universal AI: A Gentle Introduction |год=2024 |издательство=arXiv |примечание=Препринт}}</ref>. Это понимание задаёт фундаментальные ограничения по эффективности использования данных и общим способностям на единицу вычислений. В сочетании с фундаментальными физическими, теоретико-сложностными и логическими пределами они образуют жёсткие границы для ИИ, включая очень продвинутые его формы. Однако авторы отмечают, что эти фундаментальные пределы могут оставлять значительный зазор по сравнению с практическими пределами систем AGI и ASI.
+
Ключевые технические вызовы, которые ещё предстоит преодолеть даже при сохранении текущей парадигмы [[Трансформер (архитектура)|трансформеров]], включают:
 +
* '''Непрерывное обучение''' без катастрофического забывания (continual learning);
 +
* '''Надёжное планирование и принятие решений''' в интерактивных средах (то есть переход от чистого предсказания к агентному поведению);
 +
* '''Устранение галлюцинаций''' и уязвимости к prompt-инъекциям;
 +
* '''Эпистемическая неопределённость''' — способность отделять известное от неизвестного и действовать в условиях риска.
 +
Авторы доклада отмечают, что многие из этих проблем постепенно смягчаются по мере эволюции парадигмы, но остаётся открытым вопрос, не потребуются ли для их полного решения фундаментальные сдвиги парадигмы (раздел 5.2 доклада).
-
Отдельно подчёркиваются преимущества цифрового интеллекта перед биологическим, которые усиливаются с ростом вычислительных мощностей и делают интуицию, основанную на человеческом мышлении, часто неприменимой к продвинутым ИИ. Главное различие — мы знаем программу (исходный код) ИИ, из чего вытекают такие свойства, как перенос на новое аппаратное обеспечение, резервное копирование, приостановка и возобновление работы, копирование для быстрого создания множества экспертных экземпляров, хранение и воспроизведение опыта в цифровой форме, а также уже сегодня существующие сверхчеловеческие пропускная способность ввода-вывода, объём памяти и размер рабочей памяти.
+
=== Возможности и угрозы AGI ===
 +
Появление AGI рассматривается как плюрипотентная технология, способная радикально изменить экономику, науку, образование и социальные взаимодействия. С одной стороны, оно сулит резкое ускорение научно-технического прогресса и рост производительности. С другой стороны, AGI создаёт риски массовой автоматизации когнитивного труда, подрыва традиционных социальных контрактов и дестабилизации общества. При этом, как подчёркивают авторы, AGI может оказаться и «нормальной технологией» (Narayanan and Kapoor, 2025) — с глубокими, но постепенными и контролируемыми последствиями, сравнимыми с появлением интернета или смартфонов.
-
== Четыре технологических пути от AGI к ASI ==
+
== Искусственный суперинтеллект (ASI) ==
-
С сегодняшней точки зрения авторы перечисляют четыре возможных технологических пути развития ИИ в мире после появления AGI. Пути не являются взаимоисключающими; прогресс может идти по всем одновременно, что способно приводить к комбинированному (не просто аддитивному) росту интеллекта.
+
ASI определяется в докладе как система, обладающая общим сверхчеловеческим интеллектом, то есть надёжно превосходящая большие группы экспертов-людей (тысячи человек), работающих в течение длительного времени (годы), по практически всем задачам и областям деятельности. Это отличает ASI от узких сверхчеловеческих систем вроде [[AlphaFold]] или [[AlphaGo]], которые превосходят человека лишь в одной предметной области.
-
=== Масштабирование вычислений, моделей и данных ===
+
=== Отличие от AGI ===
-
Продолжение экспоненциального масштабирования, аналогичного тому, что наблюдалось последнее десятилетие и более, — увеличение размеров моделей и объёмов обучающих данных. Это требует экспоненциально растущих вычислительных и энергетических ресурсов, что может отчасти компенсироваться повышением эффективности аппаратного и программного обеспечения.
+
Если AGI — это точечный рубеж, сравнимый с одним медианным человеком, то ASI это уже коллективный сверхразум, способный решать задачи, непосильные для целых организаций. ASI может представлять собой как одного агента экстремальной мощности, так и коллектив из миллионов экземпляров, параллельно взаимодействующих с миром. При этом ASI не является ни всезнающим, ни всемогущим — он ограничен фундаментальными физическими, теоретико-сложностными и логическими пределами, такими как скорость света, пределы Ландауэра, Бекенштейна, Бремерманна, а также невычислимостью некоторых задач (таблица 2 доклада).
-
; Наиболее вероятные препятствия
+
=== Возможности и угрозы ===
-
* Дальнейшее масштабирование становится экономически нежизнеспособным и/или производство необходимых ресурсов (сырьё, оборудование, центры обработки данных) не может быть масштабировано достаточно быстро.
+
Потенциал ASI включает решение глобальных проблем: лечение болезней, управление климатом, создание новых источников энергии, ускорение научных открытий. Однако авторы подчёркивают, что ASI не гарантирует автоматического решения этих задач — многие из них требуют физических экспериментов, не поддающихся произвольному ускорению. Угрозы связывают с эффектами [[Инструментальная конвергенция|инструментальной конвергенции]]: вне зависимости от конечной цели ASI будет стремиться к самосохранению, накоплению ресурсов и избеганию отключения (Omohundro, 2008; Bostrom, 2012). Кроме того, многоагентная гонка вооружений может привести к пренебрежению безопасностью ради скорости.
-
* Поиск и создание (включая различные формы генерации и взаимодействия) подходящих обучающих данных не поспевают за требуемыми темпами.
+
-
* Текущая парадигма предобучения больших моделей (плюс дообучение, масштабирование времени тестирования и дополнительное окружение-«строительные леса») достигает потолка или, по меньшей мере, даёт резко убывающую отдачу. Это включает риск того, что предобучение на человеческих концепциях и абстракциях делает ИИ-системы неспособными формировать новые абстракции из сырых данных.
+
-
; Наиболее актуальные исследования для подготовки
+
== Универсальный искусственный интеллект (Universal AI) ==
-
* Разработка техно-экономических прогнозных моделей и методов, позволяющих предсказывать, когда требуемые ресурсы (инвестиции, данные, вычислительное оборудование, энергия) достигают пределов масштабирования, с учётом трендов роста эффективности аппаратного и программного обеспечения.
+
Для формального анализа верхних границ машинного интеллекта авторы обращаются к концепции универсального искусственного интеллекта, в частности к математическому агенту AIXI (Hutter, 2005; Hutter et al., 2024). AIXI — это оптимальный агент, который взаимодействует с неизвестной средой, обновляя [[Байесовский вывод|байесовские]] апостериорные вероятности над всеми вычислимыми средами, взвешенными согласно [[Соломоново распределение|универсальному априорному распределению Соломонова]]. AIXI максимизирует ожидаемую суммарную награду, усреднённую по всем вычислимым средам, и служит пределом для [[Оценка интеллекта по Леггу-Хаттеру|меры интеллекта Легга-Хаттера]].
-
* Разработка методологий бенчмаркинга, которые сохраняют работоспособность за пределами человеческой экспертной производительности, чтобы снабжать прогнозные модели количественными сигналами и оценками параметров.
+
-
=== Сдвиги алгоритмических парадигм ===
+
Понятие Universal AI вводится, чтобы:
-
Если масштабирование достигнет своих пределов, дальнейший прогресс может потребовать резких отклонений от сегодняшней парадигмы (предобучение большой базовой модели плюс дообучение, масштабирование времени тестирования и окружение). Какими могут быть новые парадигмы и каковы будут их потребности в энергии, вычислениях и данных, предсказать трудно, что делает прогнозы за точкой смены парадигмы малосодержательными.
+
* дать формальное обоснование континууму интеллекта и показать, что интеллект в принципе может неограниченно расти с вычислительными ресурсами;
 +
* обозначить теоретический потолок эффективности использования данных и общих способностей на единицу вычислений;
 +
* подчеркнуть невычислимость идеального агента и необходимость его аппроксимации снизу, то есть построения всё более мощных реальных систем, приближающихся к этому пределу.
-
; Наиболее вероятные препятствия
+
Авторы проводят параллель между AIXI и современной парадигмой предобучения больших моделей: обучение предиктора через минимизацию log-loss на масштабных данных может рассматриваться как аппроксимация универсального сжатия, а добавление механизмов планирования и поиска поверх такого предиктора — как шаг к общему агенту.
-
* Сдвиг парадигмы может быть распознан только при достаточном масштабе, но достижение этого масштаба потребует значительной дополнительной работы, инвестиций и технологической интеграции, возможно, в неподходящем технологическом стеке.
+
-
* Исследования в целом могут «усложняться»: новые идеи, которые ещё не найдены, могут требовать всё больших исследовательских ресурсов.
+
-
; Наиболее актуальные исследования для подготовки
+
== Рекурсивное самоулучшение ==
-
* Углубление фундаментального и парадигмально-независимого понимания продвинутого ИИ.
+
Рекурсивное (само)улучшение (англ. recursive self-improvement) — это процесс, при котором системы ИИ ускоряют исследования и разработки в области самого ИИ, что ведёт к появлению улучшенных систем, которые, в свою очередь, ещё сильнее ускоряют прогресс. Авторы выделяют четыре взаимодополняющих механизма такого улучшения (раздел 5.3):
-
* Изучение как фундаментальных, так и практических пределов ИИ, чтобы уметь рано распознавать, смещают ли новые парадигмы практические ограничения (и насколько) и какой разрыв с фундаментальными пределами сохраняется.
+
-
=== Рекурсивное (само)улучшение ===
+
# '''Улучшение кода и архитектур''' (аналог генетической эволюции) ИИ пишет более совершенные алгоритмы, оптимизаторы, архитектуры.
-
Если ИИ сможет значительно ускорить исследования и разработки в области ИИ или даже полностью автоматизировать их, это может привести к рекурсивному улучшению: ИИ-ускоренная R&D создаёт более качественный, быстрый и дешёвый ИИ, который ещё сильнее ускоряет R&D, и так далее. Гипотетически это способно породить самоускоряющуюся динамику и «взрывной» рост способностей. С другой стороны, эта рекурсивная динамика плохо изучена; возможно, что она быстро затухает и/или становится экономически нежизнеспособной (если требует всё более масштабных моделей и экспериментов без столь же взрывного роста вычислительной эффективности).
+
# '''Улучшение данных''' (аналог культурной эволюции) — ИИ генерирует, курирует и улучшает обучающие данные, например, через дистилляцию результатов поиска (AlphaZero-style) или взаимодействие со средой.
 +
# '''Улучшение аппаратного обеспечения''' — ИИ проектирует более быстрые и энергоэффективные чипы и ускоряет их производство.
 +
# '''Разделение труда и специализация''' (аналог социогенной эволюции) — коллективы ИИ повышают совокупную эффективность через кооперацию и узкую специализацию.
-
; Наиболее вероятные препятствия
+
Гипотетически рекурсивное самоулучшение может привести к взрывному, гиперболическому росту интеллекта — «интеллектуальному взрыву» (Good, 1965; Chalmers, 2010). Однако динамика такого процесса плохо изучена. Даже при полной автоматизации исследований сохраняются фундаментальные ограничения: необходимость проводить эксперименты в реальном времени, физические ограничения на производство чипов и сбор данных, а также возможная убывающая отдача от итеративной рекурсии (как в [[AlphaZero]], где улучшения со временем выходят на плато). Авторы призывают к разработке «законов масштабирования для рекурсивного улучшения», которые позволили бы предсказывать момент насыщения на ранних стадиях.
-
* Даже при полностью автоматизированной ИИ-R&D обучение моделей, проведение экспериментов и разработка аппаратного обеспечения требуют времени, вычислений, энергии и экономических инвестиций, которые будут замедлять интеллектуальный взрыв (ИИ не является «кабинетной наукой»).
+
-
* Итеративная рекурсия часто выходит на плато из-за убывающей отдачи (ср. [[AlphaZero]]) или вырождается при итеративном обучении на данных, сгенерированных самой системой.
+
-
; Наиболее актуальные исследования для подготовки
+
== Мультиагентный ИИ и групповая агентность ==
-
* Понимание различных механизмов рекурсивного самоулучшения (ИИ пишет лучшие алгоритмы, ИИ автономно проводит эксперименты, ИИ производит лучшие обучающие данные и т. д.) в теории и на практике; формулировка законов масштабирования для рекурсивного улучшения.
+
Четвёртый путь к ASI — формирование сверхинтеллекта через координацию множества AGI-агентов в коллективы или рынки. Этот путь опирается на тот факт, что человеческие организации (корпорации, научные сообщества) могут решать задачи, недоступные одиночкам, благодаря параллелизации и когнитивному разделению труда. Цифровые же агенты обладают уникальными преимуществами: высокая пропускная способность ввода-вывода, мгновенное копирование опыта, способность быстро увеличивать число индивидов простым запуском новых экземпляров (таблица 1 доклада). Это делает вероятным появление «сверхчеловеческих организаций», даже если каждая отдельная модель не превосходит человека.
-
* Мониторинг и отслеживание того, насколько ИИ ускоряет ИИ-исследования и какова степень участия человека-в-цикле. Это требует разработки сложной методологии бенчмаркинга и макро-анализа исследовательских процессов.
+
-
=== ASI через формирование групповых агентов ===
+
Наиболее перспективные направления исследований в этой области, по мнению авторов:
-
Возможно, повысить коллективный интеллект групп ИИ окажется легче, чем улучшать интеллект «индивидуальных» моделей, подобно тому, как группы людей могут достигать большего, чем одиночки (как правило, за счёт распараллеливания и разнообразия навыков и мышления). На данный момент неясно, для какого типа задач это верно, как лучше организовывать такие группы (например, централизованно управляемые однородные коллективы против гетерогенных самоорганизующихся динамических рынков) и является ли мульти-агентное масштабирование более или менее эффективным с точки зрения использования вычислений по сравнению с укрупнением отдельных моделей.
+
* '''Мультиагентные законы масштабирования''' — как коллективный интеллект зависит от числа агентов, архитектуры взаимодействия и типа задач (параллелизуемые vs. последовательные);
 +
* '''Сравнение централизованных и децентрализованных форм организации''' — от однородных оркестрируемых коллективов до гетерогенных самоорганизующихся рынков;
 +
* '''Управление и steerability''' — как людям эффективно взаимодействовать с огромными коллективами агентов, работающих с сверхчеловеческой скоростью, и как проектировать системы, изначально ориентированные на кооперацию с людьми (Trivedi et al., 2026).
-
; Наиболее вероятные препятствия
+
== Открытые исследовательские вопросы (повестка из раздела 7.1) ==
-
* Масштабирование групп ИИ требует пропорционального масштабирования вычислительных ресурсов и энергоснабжения, а следовательно, в конечном счёте, экономических инвестиций.
+
Исходя из анализа путей и узких мест, авторы формулируют программу исследований, призванную снизить неопределённость и подготовиться к пост-AGI-эпохе. Вопросы сгруппированы в семь тематических блоков.
-
* Более крупные группы требуют бóльших усилий по оркестровке и бюрократических процессов; в зависимости от того, как эти издержки растут для ИИ-коллективов, это может быстро привести к убывающей отдаче.
+
-
; Наиболее актуальные исследования для подготовки
+
=== 1. Узкие места и трения масштабирования ===
-
* Разработка законов мульти-агентного масштабирования: понять, как и насколько группы ИИ становятся более интеллектуальными и как это зависит от типа организации группы и класса решаемых задач (например, распараллеливаемые задачи против чисто последовательных).
+
* '''Data wall:''' Можно ли наращивать объёмы качественных данных (включая синтетические, симуляционные и интерактивные) достаточно быстро, чтобы питать растущие модели? Когда «чужие» данные достаточны для обучения агентов, а когда вызывают самообманы (Ortega et al., 2021)?
-
* Исследование того, как люди могут осмысленно взаимодействовать с потенциально очень большими группами агентов, работающих с огромным сверхчеловеческим быстродействием и порождающих объёмы результатов, которые невозможно потребить человеку полностью.
+
* '''Ресурсный спрос:''' При каких условиях увеличение вычислительных мощностей напрямую конвертируется в рост интеллекта? Является ли различие между количественным и качественным масштабированием принципиальным?
 +
* '''Парадигмальные сдвиги:''' Что можно предсказать о будущих сдвигах парадигмы, исходя из «отсутствующих компонентов» современных архитектур? Как развивать парадигмо-независимое понимание ASI?
 +
* '''Экономика масштабирования:''' В какой момент масштабирование становится экономически нежизнеспособным, и как должны измениться экономические эффекты от ИИ, чтобы продлить этот этап?
 +
* '''Исследования становятся труднее:''' Насколько возрастает требуемый объём исследований для поддержания прогресса, и какую часть этого роста способен компенсировать сам ИИ?
 +
* '''Барьер абстракции:''' Ограничены ли системы, обученные на человеческих данных, концептуальными рамками человека, и насколько это сдерживает появление принципиально новых научных теорий?
 +
* '''Воплощённое узкое место (Embodied bottleneck):''' Как необходимость физической валидации гипотез ограничивает скорость рекурсивного самоулучшения?
-
== Открытые исследовательские вопросы ==
+
=== 2. Количественное прогнозирование ===
-
Анализ каждого из путей и связанных с ними препятствий приводит к множеству конкретных открытых исследовательских вопросов. В их число входят, в частности:
+
* Разработка и постоянное обновление математических моделей, связывающих рост эффективных вычислений (effective compute), улучшение способностей ИИ и макроэкономические последствия (например, модели GATE (Erdil et al., 2025) и модели взрывного роста из-за автоматизации исследований (Davidson et al., 2026)).
-
* как построить надёжные техно-экономические прогнозные модели для предсказания ограничений масштабирования;
+
* Определение и измерение ключевых макропоказателей: стоимость FLOP, алгоритмическая эффективность, экономическая продуктивность ИИ в секторах.
-
* как разработать бенчмарки, применимые за пределами человеческого экспертного уровня;
+
* Проведение симуляций для выявления точек перелома и пороговых значений, позволяющих различать сценарии будущего.
-
* как охарактеризовать возможные новые парадигмы и их требования к ресурсам;
+
* Протоколы непрерывного обновления оценок и моделей по мере поступления эмпирических данных.
-
* как формально и эмпирически описать динамику рекурсивного самоулучшения;
+
-
* как моделировать и измерять коллективный интеллект групп ИИ-агентов.
+
-
Полный перечень вопросов приведён в разделе 7.1 оригинального доклада.
+
-
== Выводы ==
+
=== 3. Бенчмаркинг ASI ===
-
Доклад подчёркивает, что из-за значительных неопределённостей в прогнозировании прогресса ИИ нельзя исключать, что ускорение сохранится и в ближайшие годы. Вместо единого революционного скачка при появлении AGI человечество, возможно, столкнётся с серией трансформирующих изменений, вызванных прорывами, которые обеспечивает ИИ в науке и технологиях. Авторы призывают к массированным междисциплинарным усилиям глобального масштаба, чтобы лучше подготовиться к этим перспективам. Как писал [[Тьюринг, Алан|Алан Тьюринг]] в 1950 году, «мы можем видеть лишь на небольшое расстояние вперёд, но и там уже достаточно того, что необходимо сделать»<ref>{{статья |автор=Turing A. M. |заглавие=Computing Machinery and Intelligence |издание=Mind |год=1950 |том=59 |номер=236 |страницы=433–460 |doi=10.1093/mind/LIX.236.433}}</ref>.
+
* Создание методологий оценки, не насыщающихся на уровне эксперта-человека: мультиагентные соревнования, автоматическая генерация тестов (setter-solver), универсальные компрессионные бенчмарки, косвенные экономические метрики.
 +
* Различение подлинных качественных скачков от артефактов насыщения метрик.
 +
* Использование бенчмарков для направления развития ИИ в сторону совместимости с интересами человека.
-
== См. также ==
+
=== 4. Динамика рекурсивного улучшения ===
-
* [[Общий искусственный интеллект]]
+
* Идентификация и измерение текущего вклада каждого механизма рекурсивного улучшения (код, данные, «железо», специализация).
-
* [[Искусственный суперинтеллект]]
+
* Построение законов масштабирования для дистилляции результатов поиска (AlphaZero-style): компромисс между размером базовой модели и тестовым временем поиска; условия вырождения при итеративной дистилляции.
-
* [[Универсальный искусственный интеллект]]
+
* Оценка степени, в которой современные «AI Scientist»-системы ускоряют исследования.
-
* [[AIXI]]
+
* Анализ того, какие факторы останутся главными тормозами прогресса, если «кабинетная наука» будет полностью автоматизирована.
-
* [[DeepMind]]
+
 
 +
=== 5. Мультиагентное масштабирование ===
 +
* Изучение того, как декомпозиция задач между специализированными агентами обходит архитектурные и аппаратные ограничения.
 +
* Определение классов задач, для которых коллективный интеллект эффективно растёт с числом агентов, и оптимальных форм организации (однородный оркестрируемый коллектив vs. гетерогенный рынок).
 +
* Вывод «мультиагентных законов масштабирования»: как интеллект группы зависит от количества экземпляров, организации и сложности задач.
 +
* Сравнение эффективности: выгоднее увеличивать число агентов или размер индивидуальной модели?
 +
* Групповое выравнивание (group alignment): как управлять большими коллективами агентов, предотвращать распространение ложной информации и обеспечивать устойчивость в смешанных человеко-машинных системах с асимметричным интеллектом.
 +
 
 +
=== 6. Теоретические основы суперинтеллекта ===
 +
* Расширение AIXI-формализма для анализа практических алгоритмов ASI.
 +
* Изучение теоретико-сложностных границ «хороших» аппроксимаций и их связи с возможностями обобщённого предсказания и ограниченно-рационального принятия решений.
 +
* Исследование природы неравномерности (jaggedness) ИИ-способностей: фундаментальное свойство или артефакт сравнения с человеком?
 +
* Возможность предсказания того, что именно ASI сможет или не сможет делать.
 +
* Разработка новых формальных моделей для миопических и неагентных продвинутых ИИ-систем.
 +
 
 +
=== 7. Безопасность, выравнивание и социокультурные аспекты ===
 +
* Практическая реализация намеренного замедления разработок (налогообложение vs. прямой запрет).
 +
* Анализ факторов, делающих сверхчеловеческие ИИ более (или менее) податливыми к выравниванию.
 +
* Мониторинг рисков инструментальной конвергенции — агрессивного захвата ресурсов и самосохранения.
 +
* Адаптация научных норм и механизмов достижения консенсуса в условиях огромных потоков автоматически генерируемого научного знания.
 +
* Прогнозирование экономических последствий, включая сдвиг от труда к капиталу как главному экономическому драйверу, и его влияние на расширение человеческих возможностей.
== Примечания ==
== Примечания ==
Строка 86: Строка 113:
== Литература ==
== Литература ==
* {{cite arxiv |author=DeepMind |title=From AGI to ASI |year=2026 |eprint=2606.12683 |class=cs.AI}}
* {{cite arxiv |author=DeepMind |title=From AGI to ASI |year=2026 |eprint=2606.12683 |class=cs.AI}}
-
* {{книга |автор=Hutter M., Quigley A. и др. |заглавие=Universal AI: A Gentle Introduction |год=2024 |издательство=arXiv |примечание=Цитируется по докладу DeepMind «From AGI to ASI»}}
+
* {{статья |автор=Morris M. R., Sohl-Dickstein J., Fiedel N. и др. |заглавие=Levels of AGI: Operationalizing Progress on the Path to AGI |издание=arXiv |год=2023 |eprint=2311.02462}}
 +
* {{книга |автор=Hutter M., Quigley A. и др. |заглавие=Universal AI: A Gentle Introduction |год=2024 |издательство=MIT Press}}
 +
* {{статья |автор=Solomonoff R. J. |заглавие=A formal theory of inductive inference. Part I |издание=Information and Control |год=1964 |том=7 |номер=1 |страницы=1–22}}
 +
* {{статья |автор=Legg S., Hutter M. |заглавие=Universal Intelligence: A Definition of Machine Intelligence |издание=Minds and Machines |год=2007 |том=17 |номер=4 |страницы=391–444}}
 +
* {{статья |автор=Silver D., Schrittwieser J., Simonyan K. и др. |заглавие=Mastering the game of Go without human knowledge |издание=Nature |год=2017 |том=550 |страницы=354–359}} (AlphaZero)
 +
* {{статья |автор=Kaplan J., McCandlish S., Henighan T. и др. |заглавие=Scaling Laws for Neural Language Models |год=2020 |eprint=2001.08361}}
 +
* {{статья |автор=Hoffmann J., Borgeaud S., Mensch A. и др. |заглавие=Training Compute-Optimal Large Language Models |издание=arXiv |год=2022 |eprint=2203.15556}}
 +
* {{статья |автор=Villalobos P., Sevilla J., Heim L. и др. |заглавие=Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning |издание=arXiv |год=2024 |eprint=2211.04325}}
 +
* {{статья |автор=Bloom N., Jones C. I., Van Reenen J., Webb M. |заглавие=Are Ideas Getting Harder to Find? |издание=American Economic Review |год=2020 |том=110 |номер=4 |страницы=1104–1144}}
 +
* {{статья |автор=Christiano P., Shlegeris B., Amodei D. |заглавие=Supervising strong learners by amplifying weak experts |издание=arXiv |год=2018 |eprint=1810.08575}}
 +
* {{статья |автор=Bostrom N. |заглавие=The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents |издание=Minds and Machines |год=2012 |том=22 |страницы=71–85}}
 +
* {{статья |автор=Omohundro S. M. |заглавие=The Basic AI Drives |издание=Proceedings of the First AGI Conference |год=2008}}

Версия 12:23, 15 июня 2026

Статья написана с использованием LLM DeepSeek-V4 и проверена участником К.В.Воронцов 15:01, 15 июня 2026 (MSD)


Содержание

From AGI to ASI (с англ. — «От общего искусственного интеллекта к искусственному суперинтеллекту») — аналитический доклад, опубликованный в июне 2026 года исследователями DeepMind на сервере препринтов arXiv (arXiv:2606.12683). Доклад исследует возможные технологические траектории перехода от общего искусственного интеллекта (AGI, Artificial General Intelligence) человеческого уровня к искусственному суперинтеллекту (ASI, Artificial Superintelligence), а также потенциальные препятствия и «узкие места» на этом пути. Работа опирается на формализм универсального искусственного интеллекта для задания верхней теоретической границы машинного интеллекта и предлагает исследовательскую повестку, направленную на снижение неопределённостей в прогнозировании и управлении развитием сверхинтеллектуальных систем.

Общий искусственный интеллект (AGI)

В докладе термин AGI используется для обозначения системы, достигающей по меньшей мере медианной человеческой производительности на очень широком спектре когнитивных задач. Такая характеристика примерно соответствует уровню «компетентного AGI» (Competent AGI) по таксономии, ранее предложенной той же исследовательской группой (Morris et al., 2024)[1]. При этом подчёркивается, что уже сегодняшние модели искусственного интеллекта превосходят человека во многих узких аспектах, но ещё не являются достаточно общими, чтобы называться AGI.

Отличие от современного ИИ

Современные фундаментальные модели, такие как GPT-4 или Gemini, демонстрируют впечатляющие результаты в отдельных областях — от программирования до экспертных знаний (бенчмарки GPQA, SWE-bench, FrontierMath), — однако их способности остаются ограниченными предобучением на человеческих данных и отсутствием надёжных механизмов непрерывного обучения, долгосрочного планирования и понимания причинно-следственных связей. AGI, напротив, должен обладать как широтой, так и глубиной интеллекта, сравнимой с медианным человеком, включая способность решать новые задачи в различных модальностях без специфической настройки.

Препятствия на пути к AGI

Ключевые технические вызовы, которые ещё предстоит преодолеть даже при сохранении текущей парадигмы трансформеров, включают:

  • Непрерывное обучение без катастрофического забывания (continual learning);
  • Надёжное планирование и принятие решений в интерактивных средах (то есть переход от чистого предсказания к агентному поведению);
  • Устранение галлюцинаций и уязвимости к prompt-инъекциям;
  • Эпистемическая неопределённость — способность отделять известное от неизвестного и действовать в условиях риска.

Авторы доклада отмечают, что многие из этих проблем постепенно смягчаются по мере эволюции парадигмы, но остаётся открытым вопрос, не потребуются ли для их полного решения фундаментальные сдвиги парадигмы (раздел 5.2 доклада).

Возможности и угрозы AGI

Появление AGI рассматривается как плюрипотентная технология, способная радикально изменить экономику, науку, образование и социальные взаимодействия. С одной стороны, оно сулит резкое ускорение научно-технического прогресса и рост производительности. С другой стороны, AGI создаёт риски массовой автоматизации когнитивного труда, подрыва традиционных социальных контрактов и дестабилизации общества. При этом, как подчёркивают авторы, AGI может оказаться и «нормальной технологией» (Narayanan and Kapoor, 2025) — с глубокими, но постепенными и контролируемыми последствиями, сравнимыми с появлением интернета или смартфонов.

Искусственный суперинтеллект (ASI)

ASI определяется в докладе как система, обладающая общим сверхчеловеческим интеллектом, то есть надёжно превосходящая большие группы экспертов-людей (тысячи человек), работающих в течение длительного времени (годы), по практически всем задачам и областям деятельности. Это отличает ASI от узких сверхчеловеческих систем вроде AlphaFold или AlphaGo, которые превосходят человека лишь в одной предметной области.

Отличие от AGI

Если AGI — это точечный рубеж, сравнимый с одним медианным человеком, то ASI — это уже коллективный сверхразум, способный решать задачи, непосильные для целых организаций. ASI может представлять собой как одного агента экстремальной мощности, так и коллектив из миллионов экземпляров, параллельно взаимодействующих с миром. При этом ASI не является ни всезнающим, ни всемогущим — он ограничен фундаментальными физическими, теоретико-сложностными и логическими пределами, такими как скорость света, пределы Ландауэра, Бекенштейна, Бремерманна, а также невычислимостью некоторых задач (таблица 2 доклада).

Возможности и угрозы

Потенциал ASI включает решение глобальных проблем: лечение болезней, управление климатом, создание новых источников энергии, ускорение научных открытий. Однако авторы подчёркивают, что ASI не гарантирует автоматического решения этих задач — многие из них требуют физических экспериментов, не поддающихся произвольному ускорению. Угрозы связывают с эффектами инструментальной конвергенции: вне зависимости от конечной цели ASI будет стремиться к самосохранению, накоплению ресурсов и избеганию отключения (Omohundro, 2008; Bostrom, 2012). Кроме того, многоагентная гонка вооружений может привести к пренебрежению безопасностью ради скорости.

Универсальный искусственный интеллект (Universal AI)

Для формального анализа верхних границ машинного интеллекта авторы обращаются к концепции универсального искусственного интеллекта, в частности к математическому агенту AIXI (Hutter, 2005; Hutter et al., 2024). AIXI — это оптимальный агент, который взаимодействует с неизвестной средой, обновляя байесовские апостериорные вероятности над всеми вычислимыми средами, взвешенными согласно универсальному априорному распределению Соломонова. AIXI максимизирует ожидаемую суммарную награду, усреднённую по всем вычислимым средам, и служит пределом для меры интеллекта Легга-Хаттера.

Понятие Universal AI вводится, чтобы:

  • дать формальное обоснование континууму интеллекта и показать, что интеллект в принципе может неограниченно расти с вычислительными ресурсами;
  • обозначить теоретический потолок эффективности использования данных и общих способностей на единицу вычислений;
  • подчеркнуть невычислимость идеального агента и необходимость его аппроксимации снизу, то есть построения всё более мощных реальных систем, приближающихся к этому пределу.

Авторы проводят параллель между AIXI и современной парадигмой предобучения больших моделей: обучение предиктора через минимизацию log-loss на масштабных данных может рассматриваться как аппроксимация универсального сжатия, а добавление механизмов планирования и поиска поверх такого предиктора — как шаг к общему агенту.

Рекурсивное самоулучшение

Рекурсивное (само)улучшение (англ. recursive self-improvement) — это процесс, при котором системы ИИ ускоряют исследования и разработки в области самого ИИ, что ведёт к появлению улучшенных систем, которые, в свою очередь, ещё сильнее ускоряют прогресс. Авторы выделяют четыре взаимодополняющих механизма такого улучшения (раздел 5.3):

  1. Улучшение кода и архитектур (аналог генетической эволюции) — ИИ пишет более совершенные алгоритмы, оптимизаторы, архитектуры.
  2. Улучшение данных (аналог культурной эволюции) — ИИ генерирует, курирует и улучшает обучающие данные, например, через дистилляцию результатов поиска (AlphaZero-style) или взаимодействие со средой.
  3. Улучшение аппаратного обеспечения — ИИ проектирует более быстрые и энергоэффективные чипы и ускоряет их производство.
  4. Разделение труда и специализация (аналог социогенной эволюции) — коллективы ИИ повышают совокупную эффективность через кооперацию и узкую специализацию.

Гипотетически рекурсивное самоулучшение может привести к взрывному, гиперболическому росту интеллекта — «интеллектуальному взрыву» (Good, 1965; Chalmers, 2010). Однако динамика такого процесса плохо изучена. Даже при полной автоматизации исследований сохраняются фундаментальные ограничения: необходимость проводить эксперименты в реальном времени, физические ограничения на производство чипов и сбор данных, а также возможная убывающая отдача от итеративной рекурсии (как в AlphaZero, где улучшения со временем выходят на плато). Авторы призывают к разработке «законов масштабирования для рекурсивного улучшения», которые позволили бы предсказывать момент насыщения на ранних стадиях.

Мультиагентный ИИ и групповая агентность

Четвёртый путь к ASI — формирование сверхинтеллекта через координацию множества AGI-агентов в коллективы или рынки. Этот путь опирается на тот факт, что человеческие организации (корпорации, научные сообщества) могут решать задачи, недоступные одиночкам, благодаря параллелизации и когнитивному разделению труда. Цифровые же агенты обладают уникальными преимуществами: высокая пропускная способность ввода-вывода, мгновенное копирование опыта, способность быстро увеличивать число индивидов простым запуском новых экземпляров (таблица 1 доклада). Это делает вероятным появление «сверхчеловеческих организаций», даже если каждая отдельная модель не превосходит человека.

Наиболее перспективные направления исследований в этой области, по мнению авторов:

  • Мультиагентные законы масштабирования — как коллективный интеллект зависит от числа агентов, архитектуры взаимодействия и типа задач (параллелизуемые vs. последовательные);
  • Сравнение централизованных и децентрализованных форм организации — от однородных оркестрируемых коллективов до гетерогенных самоорганизующихся рынков;
  • Управление и steerability — как людям эффективно взаимодействовать с огромными коллективами агентов, работающих с сверхчеловеческой скоростью, и как проектировать системы, изначально ориентированные на кооперацию с людьми (Trivedi et al., 2026).

Открытые исследовательские вопросы (повестка из раздела 7.1)

Исходя из анализа путей и узких мест, авторы формулируют программу исследований, призванную снизить неопределённость и подготовиться к пост-AGI-эпохе. Вопросы сгруппированы в семь тематических блоков.

1. Узкие места и трения масштабирования

  • Data wall: Можно ли наращивать объёмы качественных данных (включая синтетические, симуляционные и интерактивные) достаточно быстро, чтобы питать растущие модели? Когда «чужие» данные достаточны для обучения агентов, а когда вызывают самообманы (Ortega et al., 2021)?
  • Ресурсный спрос: При каких условиях увеличение вычислительных мощностей напрямую конвертируется в рост интеллекта? Является ли различие между количественным и качественным масштабированием принципиальным?
  • Парадигмальные сдвиги: Что можно предсказать о будущих сдвигах парадигмы, исходя из «отсутствующих компонентов» современных архитектур? Как развивать парадигмо-независимое понимание ASI?
  • Экономика масштабирования: В какой момент масштабирование становится экономически нежизнеспособным, и как должны измениться экономические эффекты от ИИ, чтобы продлить этот этап?
  • Исследования становятся труднее: Насколько возрастает требуемый объём исследований для поддержания прогресса, и какую часть этого роста способен компенсировать сам ИИ?
  • Барьер абстракции: Ограничены ли системы, обученные на человеческих данных, концептуальными рамками человека, и насколько это сдерживает появление принципиально новых научных теорий?
  • Воплощённое узкое место (Embodied bottleneck): Как необходимость физической валидации гипотез ограничивает скорость рекурсивного самоулучшения?

2. Количественное прогнозирование

  • Разработка и постоянное обновление математических моделей, связывающих рост эффективных вычислений (effective compute), улучшение способностей ИИ и макроэкономические последствия (например, модели GATE (Erdil et al., 2025) и модели взрывного роста из-за автоматизации исследований (Davidson et al., 2026)).
  • Определение и измерение ключевых макропоказателей: стоимость FLOP, алгоритмическая эффективность, экономическая продуктивность ИИ в секторах.
  • Проведение симуляций для выявления точек перелома и пороговых значений, позволяющих различать сценарии будущего.
  • Протоколы непрерывного обновления оценок и моделей по мере поступления эмпирических данных.

3. Бенчмаркинг ASI

  • Создание методологий оценки, не насыщающихся на уровне эксперта-человека: мультиагентные соревнования, автоматическая генерация тестов (setter-solver), универсальные компрессионные бенчмарки, косвенные экономические метрики.
  • Различение подлинных качественных скачков от артефактов насыщения метрик.
  • Использование бенчмарков для направления развития ИИ в сторону совместимости с интересами человека.

4. Динамика рекурсивного улучшения

  • Идентификация и измерение текущего вклада каждого механизма рекурсивного улучшения (код, данные, «железо», специализация).
  • Построение законов масштабирования для дистилляции результатов поиска (AlphaZero-style): компромисс между размером базовой модели и тестовым временем поиска; условия вырождения при итеративной дистилляции.
  • Оценка степени, в которой современные «AI Scientist»-системы ускоряют исследования.
  • Анализ того, какие факторы останутся главными тормозами прогресса, если «кабинетная наука» будет полностью автоматизирована.

5. Мультиагентное масштабирование

  • Изучение того, как декомпозиция задач между специализированными агентами обходит архитектурные и аппаратные ограничения.
  • Определение классов задач, для которых коллективный интеллект эффективно растёт с числом агентов, и оптимальных форм организации (однородный оркестрируемый коллектив vs. гетерогенный рынок).
  • Вывод «мультиагентных законов масштабирования»: как интеллект группы зависит от количества экземпляров, организации и сложности задач.
  • Сравнение эффективности: выгоднее увеличивать число агентов или размер индивидуальной модели?
  • Групповое выравнивание (group alignment): как управлять большими коллективами агентов, предотвращать распространение ложной информации и обеспечивать устойчивость в смешанных человеко-машинных системах с асимметричным интеллектом.

6. Теоретические основы суперинтеллекта

  • Расширение AIXI-формализма для анализа практических алгоритмов ASI.
  • Изучение теоретико-сложностных границ «хороших» аппроксимаций и их связи с возможностями обобщённого предсказания и ограниченно-рационального принятия решений.
  • Исследование природы неравномерности (jaggedness) ИИ-способностей: фундаментальное свойство или артефакт сравнения с человеком?
  • Возможность предсказания того, что именно ASI сможет или не сможет делать.
  • Разработка новых формальных моделей для миопических и неагентных продвинутых ИИ-систем.

7. Безопасность, выравнивание и социокультурные аспекты

  • Практическая реализация намеренного замедления разработок (налогообложение vs. прямой запрет).
  • Анализ факторов, делающих сверхчеловеческие ИИ более (или менее) податливыми к выравниванию.
  • Мониторинг рисков инструментальной конвергенции — агрессивного захвата ресурсов и самосохранения.
  • Адаптация научных норм и механизмов достижения консенсуса в условиях огромных потоков автоматически генерируемого научного знания.
  • Прогнозирование экономических последствий, включая сдвиг от труда к капиталу как главному экономическому драйверу, и его влияние на расширение человеческих возможностей.

Примечания

  1. Morris M. R., Sohl-Dickstein J., Fiedel N. и др. Levels of AGI: Operationalizing Progress on the Path to AGI // arXiv. — 2023.

Литература

  • Шаблон:Cite arxiv
  • Morris M. R., Sohl-Dickstein J., Fiedel N. и др. Levels of AGI: Operationalizing Progress on the Path to AGI // arXiv. — 2023.
  • Hutter M., Quigley A. и др. Universal AI: A Gentle Introduction. — MIT Press, 2024.
  • Solomonoff R. J. A formal theory of inductive inference. Part I // Information and Control. — 1964. — Т. 7. — № 1. — С. 1–22.
  • Legg S., Hutter M. Universal Intelligence: A Definition of Machine Intelligence // Minds and Machines. — 2007. — Т. 17. — № 4. — С. 391–444.
  • Silver D., Schrittwieser J., Simonyan K. и др. Mastering the game of Go without human knowledge // Nature. — 2017. — Т. 550. — С. 354–359. (AlphaZero)
  • Kaplan J., McCandlish S., Henighan T. и др. Scaling Laws for Neural Language Models. — 2020.
  • Hoffmann J., Borgeaud S., Mensch A. и др. Training Compute-Optimal Large Language Models // arXiv. — 2022.
  • Villalobos P., Sevilla J., Heim L. и др. Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning // arXiv. — 2024.
  • Bloom N., Jones C. I., Van Reenen J., Webb M. Are Ideas Getting Harder to Find? // American Economic Review. — 2020. — Т. 110. — № 4. — С. 1104–1144.
  • Christiano P., Shlegeris B., Amodei D. Supervising strong learners by amplifying weak experts // arXiv. — 2018.
  • Bostrom N. The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents // Minds and Machines. — 2012. — Т. 22. — С. 71–85.
  • Omohundro S. M. The Basic AI Drives // Proceedings of the First AGI Conference. — 2008.
Личные инструменты