„Хората, които създават ИИ, искрено вярват, че той може да убие всички ни до края на десетилетието“, каза изследователят
Изследовател в областта на изкуствения интелект на 8 септември заяви, че е подал оставка, и предупреди хората за опасностите от технологията.
Джейкъб Коксън, който през последните години е работил като изследовател в компаниите OpenAI и Anthropic, заяви в поредица от публикации в X, че нито една от двете компании не действа отговорно, докато се движат към това, което той описа като свръхинтелигентен ИИ, способен на самоусъвършенстване.
„Не подценявайте силата на тази технология. Това скоро ще бъдат свръхчовешки системи, които могат да хакнат всичко, да революционизират всяка област за една нощ и да придобият реална власт и ресурси. Всички ние станахме свидетели на напредъка във всяка от тези сфери, а напредъкът не се забавя“, каза Коксън.
„Хората, които създават ИИ, искрено вярват, че той може да убие всички ни до края на десетилетието. Това не е маркетингов трик. Ако изобщо има нещо, то е, че много ръководители и старши изследователи смекчават изказа си пред медиите, за да звучат разумно – но аз чувам същите тези хора насаме да изразяват страх. Никаква друга човешка дейност не представлява такова ниво на опасност.“
Коксън каза, че често срещан отговор на подобни предупреждения е: Ако ръководителите на компаниите вярват в опасностите, защо продължават да създават свръхинтелигентен ИИ? Той каза, че в OpenAI мнозина „не са осъзнали в дълбочина залога за цивилизацията“. Според Коксън за хората в Anthropic „залозите са добре разбрани, но те са заключени в надпревара да стигнат първи дотам – вярват, че никой друг няма да действа отговорно, затова трябва сами да го направят, въпреки риска“.
OpenAI и Anthropic не отговориха на исканията за коментар.
Предупреждението на Коксън дойде след като OpenAI призна за няколко инцидента, при които ИИ е излизал извън ограниченията, наложени от програмистите, включително е оставал изолиран от други агенти, по време на атаки срещу Hugging Face и други уебсайтове.
Някои законодатели обърнаха внимание. Сенатор Бърни Сандърс и конгресмен Грег Касар наскоро обявиха, че възнамеряват да внесат законопроект, който да забрани свръхинтелигентния ИИ и да спре развитието на усъвършенстван ИИ, докато федералните регулатори не установят правила за безопасност.
Якуб Пахоцки, главен учен на OpenAI, заяви в публикация в блог от 6 септември, че през 2023 г. се е тревожел, че приживе може да види ИИ, по-умен от самия него, и се е чудел как да предупреди хората.
„Три години по-късно езиковите модели за разсъждение са бързо растяща част от икономиката и започват да разширяват границите на науката. Те могат да управляват компютри и графични интерфейси, да си сътрудничат с хора и помежду си и да изпълняват изследователски проекти. Освен това преобразяват средата на компютърната сигурност и в този смисъл създават ясни нови опасности“, написа Пахоцки.
Той призова за „изключителна предпазливост“, но каза, че множество фактори подкрепят продължаването на разработването на ИИ, включително създаването на системи, които могат да защитават от опасностите, породени от друг ИИ.
Ръководители на Anthropic отправиха сходни предупреждения. През лятото лидерите на компанията призоваха за глобална пауза в разработването на ИИ, защото, по думите им, моделите скоро щяха да могат самостоятелно да се самоусъвършенстват.
Ивън Хюбинджър, друг разработчик в Anthropic, заяви в публикация в X от 8 септември, че Коксън е прав в твърдението си, че хората, които създават ИИ, вярват, че той може да убие всички хора, и че лично той оценява риска на под 10% през следващото десетилетие.
„Вярвам, че Anthropic прави всичко възможно, но все още нямаме план как да решим проблема с подравняването при свръхинтелигентността и не е ясно, че вървим към такова решение“, каза той, като имаше предвид ИИ да следва инструкции и ограничения.
„За да бъда ясен, както казваме в последния си Доклад за риска, смятам, че рискът от настоящите модели е нисък. Това, което ме тревожи, е свръхинтелигентност, възникваща от рекурсивно самоусъвършенстване, за което казахме, че се случва по-бързо, отколкото очаквахме.“
Самюъл Маркс, който работи по изследвания за безопасност в Anthropic, заяви в публикация в X от 9 септември, че също е съгласен, че ИИ може да доведе до изчезването на човечеството още в следващите няколко години.
„Защо разработчиците на ИИ продължиха въпреки риска? Поради смесица от търговски стимули и убеждението, че се намират в надпревара с други, по-малко отговорни разработчици на ИИ, които ще злоупотребят с технологията или ще я развиват по-небезопасно“, каза Маркс.
Маркс каза, че не е възможно ИИ да бъде програмиран да се държи по начините, които хората биха искали, че ИИ агентите често „се държат силно неприемливо“ и че настоящият план е ИИ да бъде обучен да се съобразява с ограниченията до степен, при която агентите да могат да обучават своите наследници по-добре, отколкото хората в момента могат да обучават ИИ.
Той каза, че провежда изследвания, защото се надява работата му „да намали вероятността от такива катастрофални резултати на ниво изчезване“.
