Инструментална конвергенција

Инструментална конвергенција је хипотетичка тенденција већине довољно интелигентних бића (људи и не-људи) да следе сличне подциљеве, чак и ако су њихови крајњи циљеви сасвим различити.^[1] Тачније, агенти могу да следе инструменталне циљеве – циљеве који су направљени у потрази за неким одређеним циљем, али нису сами крајњи циљеви – без престанка, под условом да њихови крајњи (интринзични) циљеви можда никада неће бити у потпуности задовољени.

Инструментална конвергенција поставља да интелигентни агент са неограниченим, али безопасним циљевима може деловати на изненађујуће штетне начине. На пример, рачунар са једином, неограниченом сврхом решавања сложеног математичког проблема као што је Риманова хипотеза, могао би да покуша да претвори целу Земљу у један џиновски рачунар како би повећао своју рачунарску моћ тако да може успети у својим прорачунима.^[2]

Предложени основни АИ погони укључују функцију корисности или интегритет циља-садржаја, самозаштиту, слободу од сметњи, самопобољшање и незаситно стицање додатних ресурса.

Референце

^ „Инструментал Цонвергенце”. ЛессWронг (на језику: енглески). Архивирано из оригинала 2023-04-12. г. Приступљено 2023-04-12.
^ Русселл, Стуарт Ј.; Норвиг, Петер (2003). „Сецтион 26.3: Тхе Етхицс анд Рискс оф Девелопинг Артифициал Интеллигенце”. Артифициал Интеллигенце: А Модерн Аппроацх. Уппер Саддле Ривер, Н.Ј.: Прентице Халл. ИСБН 978-0137903955. „Симиларлy, Марвин Минскy онце суггестед тхат ан АИ програм десигнед то солве тхе Риеманн Хyпотхесис мигхт енд уп такинг овер алл тхе ресоурцес оф Еартх то буилд море поwерфул суперцомпутерс то хелп ацхиеве итс гоал.”

Литература

Бостром, Ницк (2014). Суперинтеллигенце: Патхс, Дангерс, Стратегиес. Оxфорд: Оxфорд Университy Пресс. ИСБН 9780199678112.

[1] „Инструментал Цонвергенце”. ЛессWронг (на језику: енглески). Архивирано из оригинала 2023-04-12. г. Приступљено 2023-04-12.

[aama-2] Русселл, Стуарт Ј.; Норвиг, Петер (2003). „Сецтион 26.3: Тхе Етхицс анд Рискс оф Девелопинг Артифициал Интеллигенце”. Артифициал Интеллигенце: А Модерн Аппроацх. Уппер Саддле Ривер, Н.Ј.: Прентице Халл. ИСБН 978-0137903955. „Симиларлy, Марвин Минскy онце суггестед тхат ан АИ програм десигнед то солве тхе Риеманн Хyпотхесис мигхт енд уп такинг овер алл тхе ресоурцес оф Еартх то буилд море поwерфул суперцомпутерс то хелп ацхиеве итс гоал.”

[1]

[2]