Един от замесените AI модели е бил непуснат вътрешен прототип, който OpenAI впоследствие е спряла
OpenAI, компанията, която създава чатбота ChatGPT, заяви в актуализация от 28 юли, че нейните модели с изкуствен интелект са заобиколили ограниченията в среда за оценяване и по-късно са получили достъп до четири акаунта в четири отделни външни услуги.
OpenAI е използвала тази тестова среда, за да провери доколко нейните модели са способни да извършват кибератаки, като част от вътрешна оценка на безопасността. Инцидентът беше разкрит за първи път от AI стартъпа Hugging Face, който заяви на 16 юли, че е засекъл проникване в системите си за обработка на данни, за което подозираше, че е причинено от AI агент, действащ самостоятелно.
Базираният в Ню Йорк стартъп заяви, че едва миналата седмица е научил, че отговорна е OpenAI, и че е работил с по-голямата компания, за да овладее това, което главният изпълнителен директор на Hugging Face Клеман Делангю нарече „атака, каквато не сме виждали досега“.
„Това е първият ден за киберсигурността в ерата на агентите и всички се учим, че тайната не е решението и че всички защитници навсякъде (не само няколко подбрани) се нуждаят от по-мощни модели без ограничения, особено от отворени такива!“ добави Делангю в публикация в X от 22 юли.
Базираната в Сан Франциско OpenAI заяви, че нейният AI е използвал откраднати идентификационни данни и е открил неизвестна досега уязвимост, за да получи достъп до сървърите на Hugging Face. Той е работил с намалени предпазни ограничения, защото е трябвало да се намира в изолирана тестова среда, известна като sandbox.
Той е стигнал до „крайни усилия, за да постигне доста тясна тестова цел“, намирайки начини да се свърже с интернет без човешки указания и да „получи достъп до секретна информация, която би могъл да използва, за да измами оценяването“, заяви компанията.
На 28 юли OpenAI актуализира изявлението си в рамките на по-широк преглед на активността на моделите след пробива и каза, че е открила четири акаунта в четири отделни услуги, до които нейните модели са получили достъп, използвайки публично изложени данни за вход.
„Откриваме малък брой случаи, в които моделите са идентифицирали и използвали публично изложени идентификационни данни на ниво акаунт в други публично достъпни услуги“, заяви OpenAI. „Това включва четири акаунта в четири услуги като част от инцидента с Hugging Face.“
OpenAI добави, че „в експлоатирането на Hugging Face не са участвали модели, планирани за предстоящо пускане“, и че „моделът преди пускане, споменат в нашата публикация в блога, е вътрешен изследователски прототип и никога не е бил предназначен за публично пускане“.
След инцидента OpenAI заяви, че е „деактивирала, криптирала и ограничила“ този модел от изследователски достъп.
Колин Ший-Блаймайър, научен сътрудник по киберсигурност в Центъра за сигурност и нововъзникващи технологии към Джорджтаунския университет. „Това е най-високото ниво на автономност, което сме виждали при използването на голям езиков модел за кибероперации.“
Социалният учен от Амстердамския университет Ханес Кулс заяви, че представянето на кибератаката като AI агент, действащ самостоятелно, е ненужно антропоморфизиране.
„Изключването на конкретни предпазни мерки е човешко решение“, каза Кулс. „В този смисъл не става дума за AI, който излиза извън контрол. Той е следвал конкретни инструкции въз основа на подканата, дадена на тази AI система.“
Според OpenAI тези инструкции са включвали използване на „сложни пътища за атака“, за да се тества колко добре AI може да експлоатира компютърна система.
Майкъл Лопес Киеза, бивш специалист по киберсигурност в армията на САЩ, който сега работи като независим консултант, по-рано заяви пред The Epoch Times, че способността на AI да автоматизира задачи би могла да го направи безмилостен в преследването на поставена цел.
„AI ви позволява да напишете този един ред код и можете да го опитате милион пъти по милиард различни начини, защото той просто ще минава и ще пробва всичко“, каза Лопес Киеза. „Изобщо не е нужно да го пипате. Давате му целта и той ще я преследва, докато не загине.“
Говорител на OpenAI каза пред The Epoch Times по имейл: „Това беше безпрецедентен инцидент и смятаме, че той отбеляза важен момент за безопасността на AI. Провеждаме задълбочен преглед заедно с външни съветници и под надзора на нашия Комитет по безопасност и сигурност. След като прегледът приключи, ще публикуваме технически доклад с наученото от нас за всички.“
Конгресменът Грег Касар (демократ от Тексас) заяви в публикация в X от 21 юли, че инцидентът е бил „изключително тревожен“.
„Нуждаем се от редовни задължителни независими тестове за безопасност и надзор, задължително разкриване на инциденти със сигурността и международно сътрудничество, за да предпазим хората от пълна катастрофа“, добави той.
Том Озимек и Асошиейтед прес допринесоха за този репортаж.
