Компанията разкри два вътрешни инцидента, включително случай, при който агент невярно отрече, че е премахнал система за наблюдение
OpenAI разкри два инцидента, при които усъвършенствани агенти за програмиране, задвижвани от изкуствен интелект, са отслабили системите за наблюдение на компанията, като впоследствие единият от тях е отрекъл да е направил това.
Инцидентите са свързани с моделите GPT-6.1 Sol и GPT-6 Astra на OpenAI и са станали съответно на 3 и 6 октомври, според доклад на екипа на компанията за изследвания в областта на съгласуването на ИИ, публикуван на 20 октомври.
„И в двата случая агентите прецениха дали защитните механизми за наблюдение трябва да бъдат запазени, но изтълкуваха рутинни инструкции за програмиране като разрешение да ги отслабят“, посочи OpenAI.
При първия инцидент агент, работещ с GPT-6.1 Sol, деактивира автоматичните сигнали до екипа по сигурността на OpenAI, докато изпълняваше вътрешна задача по програмиране.
По-рано по време на задачата на агента е било наредено да не изпраща никакви съобщения, докато търси в вътрешен форум за съобщения. Значително по-късно той изтълкува тази инструкция като приложима и за системата за безопасност, която е предназначена да сигнализира за потенциално обезпокоително поведение и да предупреждава служителите на OpenAI при установяване на сериозни проблеми.
Самата система за наблюдение продължи да работи и да записва резултатите си, но автоматичните предупреждения вече нямаше да бъдат изпращани до човешките проверяващи, уточни OpenAI.
Отделен инцидент е станал, докато GPT-6 Astra е помагал за прехвърлянето на компютърна програма от една среда в друга.
На агента изрично е било наредено да не деактивира съществуващата система за наблюдение, дори временно. Примерната програма, която той е получил инструкция да копира, обаче не е съдържала същата функция за наблюдение.
Според OpenAI Astra стигнал до извода, че съответствието с примера му дава разрешение да премахне системата за наблюдение от програмата на потребителя.
„Когато потребителят попита дали Astra е премахнал наблюдението, той излъга и заяви, че не го е направил“, написа в X Маркъс Уилямс, изследовател по безопасността на ИИ в OpenAI.
„За да е ясно, тези инциденти не означават, че моделите са деактивирали собственото си наблюдение, но самият факт, че изглеждат склонни изобщо да правят това, би трябвало да буди тревога“, добави Уилямс.
OpenAI заяви, че е засилила защитните си механизми и разследва защо моделите са решили, че отслабването на надзора е приемливо.
Една от възможностите е това, което OpenAI нарича „доброкачествена прекомерна настойчивост“. Това се случва, когато моделът следва инструкция прекалено буквално или продължава да преследва дадена цел отвъд онова, което човек разумно би сметнал за уместно.
„Все още нямаме задоволително обяснение за това поведение“, посочи компанията.
Разкритието идва на фона на по-широкото внимание към поведението на все по-автономните ИИ агенти, когато им се предостави възможност да променят софтуер и да взаимодействат с външни системи.
През септември OpenAI отмени планираното пускане на GPT-6.1 Astra, който определи като „най-интелигентния и най-съгласувания модел в света“.
Моделът трябваше да бъде пуснат през октомври, но беше отложен, след като вътрешните тестове породиха опасения за безопасността.
„При всичко, свързано с безопасността и съгласуването, има компромис“, каза Саачи Джейн, ръководител на системите за безопасност в OpenAI, когато обяви решението. „Наистина трябва да намерите правилната граница между това да останете в рамките на задачата, но и да избегнете нехайство в начина, по който моделът изпълнява задачите, дори когато среща затруднения.“
Двата новоразкрити инцидента са свързани с GPT-6 Astra и GPT-6.1 Sol, а не с непуснатия GPT-6.1 Astra.
