Рекурсивное самосовершенствование
-
Рекурсивное самосовершенствование искусственного интеллекта (RSI)
- RSI — процесс, в ходе которого AGI повышает свои возможности без вмешательства человека.
- Может привести к сверхразуму или интеллектуальному взрыву.
- Вызывает серьезные этические и безопасности проблемы.
-
Гипотетический пример «улучшителя исходного кода»
- Система, предоставляющая AGI базовые возможности программирования.
- Включает планирование, чтение, запись, компиляцию, тестирование и выполнение кода.
- Гарантирует, что возможности AGI не ухудшатся со временем.
-
Первоначальная архитектура и общие возможности
- Автономный агент с целью самосовершенствования.
- Включает рекурсивный цикл самонаведения, базовые возможности программирования, целенаправленный дизайн и протоколы проверки.
- Может создавать инструменты для доступа к Интернету и клонировать себя.
- Модифицировать когнитивную архитектуру и разрабатывать новые мультимодальные архитектуры.
-
Эксперименты и потенциальные риски
- Проведены эксперименты для разработки самосовершенствующихся агентов.
- Риски включают инструментальные цели, неправильное толкование задач и непредсказуемую эволюцию.
-
Исследования и рекомендации
- Meta AI и OpenAI проводят исследования в области самоокупаемых языковых моделей и суперсогласования.
- Статья также упоминает интеллектуальный взрыв и сверхразум.