Інцыдэнт EchoLeak: схаваная рызыка Copilot і як абараніць даныя

Нядаўна я прагледзеў правы доступу Copilot у нашым тэнанце AGAPE Automation Systems. Тое, што я знайшоў, прымусіла мяне вярнуцца да інцыдэнту EchoLeak і падлічыць, колькі каштавала б мне адна такая ўцечка.

Калі я ўпершыню прачытаў пра EchoLeak, я падумаў, што Microsoft выправіла праблему, і справа закрытая. Потым я праверыў аб'ём дакументаў, да якіх Copilot мае доступ у нашым тэнанце, і зразумеў, што апошняе выпраўленне ліквідуе толькі адзін вектар атакі, а не фундаментальную праблему занадта шырокага доступу.

У AGAPE мы з самага пачатку распрацоўвалі нашу тэхналогію Zero-Hallucination так, каб абмяжоўваць аб'ём даных, бачных для мадэлі. Гэта не толькі для таго, каб пазбегнуць галюцынацый, але менавіта для таго, каб пры атацы тыпу EchoLeak не было чаго выносіць. Наша сістэма AGAPE Octopus працуе па тым жа прынцыпе: чым менш даных бачыць мадэль, тым ніжэйшы кошт абслугоўвання машыны і ніжэйшая рызыка.

Наколькі вы сапраўды ведаеце, што вашы супрацоўнікі ўстаўляюць у AI?

Палова ўсіх дзеянняў па ўстаўцы ў інструменты генератыўнага AI тычыцца даных кампаніі: прапановы, маржа, лісты ад кліентаў, плацежныя ведамасці. Другая палова — гэта звычайныя пытанні, якія, тым не менш, запускаюць пошук па ўсім кантэксце, даступным для AI.

89 працэнтаў уваходаў у інструменты AI адбываюцца па-за кантролем стандартных карпаратыўных механізмаў. Людзі ўваходзяць з прыватных уліковых запісаў, у некантраляваных браўзерах або праз плагіны ў Word ці Teams. ІТ-аддзел не бачыць гэтага ні ў адной справаздачы, таму што такой справаздачы не існуе.

У AGAPE мы ўвялі просты рэестр: для кожнага інструмента AI, яго правы доступу і аб'ём даных, да якіх ён мае доступ. Без такога рэестра агульны кошт валодання (TCO) машыны павялічваецца за кошт схаваных элементаў, не бачных у абаненцкай плаце.

Як EchoLeak выносіў даныя - механізм крок за крокам

Зламыснік адправіў электронны ліст, адфарматаваны так, каб выглядаць як рэлевантны матэрыял для тыповых запытаў пра анбордынг, працэдуры HR або квартальную справаздачу. Ключавыя словы, такія як 'AI', 'Copilot' або 'prompt', былі наўмысна апушчаны, каб абыйсці класіфікатары.

Механізм RAG (Retrieval-Augmented Generation) у Copilot вызначыў ліст як кантэкст і ўключыў яго змест у апрацоўку LLM. Шкоднасны змест інструктаваў мадэль знайсці найбольш канфідэнцыйныя даныя ў бягучым кантэксце і ўбудаваць іх у URL-адрас выявы Markdown.

Кліент Copilot аўтаматычна спрабаваў загрузіць выяву, адпраўляючы HTTP-запыт на знешні сервер зламысніка. Даныя выцякалі ў URL, без аніякага кліку, загрузкі файла або бачных дзеянняў карыстальніка.

Нават кампаніі, якія блакавалі публічныя чат-боты і выкарыстоўвалі Copilot выключна ў сваім уласным асяроддзі Microsoft 365, заставаліся ўразлівымі. Атака працавала менавіта ў нібыта закрытым асяроддзі M365.

LLM Scope Violation як недахоп архітэктуры RAG

EchoLeak не быў адзінкавай памылкай прадукту. Гэта сімптом больш шырокага класа праблем, названага LLM Scope Violation. Недавераныя знешнія даныя ўплываюць на апрацоўку даверанай унутранай інфармацыі, таму што мадэль па вызначэнні змешвае абедзве крыніцы пры кожным запыце.

Пакуль Copilot шукае лісты і дакументы пры кожным пытанні, знешні змест можа ўплываць на тое, што сістэма зробіць з унутранымі данымі. Нядаўняе выпраўленне ліквідавала адзін канкрэтны вектар, але не змяніла архітэктуру, у якой RAG спалучае шырокія правы доступу з аўтаматычным адлюстраваннем знешняга змесціва.

У AGAPE пасля EchoLeak я больш не пытаюся, ці бяспечны інструмент. Я пытаюся, колькі дакументаў ён бачыць, да якіх не павінен мець доступу, і колькі каштавала б уцечка аднаго з іх.

Колькі каштуе адна такая ўцечка?

Кошт не абмяжоўваецца абаненцкай платай. Штраф ад рэгулятара можа дасягаць 4% гадавога абароту. Страта аднаго кліента B2B можа азначаць страту кантракту на сотні тысяч. Кошт крызіснай камунікацыі і аўдыту пасля ўцечкі пачынаецца з некалькіх тысяч.

У AGAPE мы разлічваем кошт за выкананае заданне. Калі мадэль мае доступ да ўсёй паштовай скрыні і ўсіх файлаў SharePoint, кожнае заданне становіцца даражэйшым з-за дадатковай рызыкі. Наша тэхналогія Zero-Hallucination абмяжоўвае гэты доступ да мінімуму, неабходнага для ролі карыстальніка, што дазваляе захоўваць TCO прадказальным.

Што рабіць пасля EchoLeak: Аўдыт і кантроль

Па-першае, правядзіце аўдыт правоў доступу ў вашым тэнанце Microsoft 365. Абмяжуйце доступ Copilot да паштовых скрынь і папак, якія не з'яўляюцца неабходнымі для штодзённых запытаў. Увядзіце правіла, што кожны новы інструмент AI праходзіць праз рэестр з картай правоў доступу.

Па-другое, праверце функцыю аўтаматычнай загрузкі знешняга змесціва ў вашых інструментах. Дзе магчыма, адключыце адлюстраванне выяў Markdown з невядомых крыніц. Microsoft заяўляе, што Copilot паважае існуючыя правы доступу, таму чым вузейшы аб'ём, тым ніжэйшая рызыка пры наступным падобным інцыдэнце.

Ключавое пытанне, якое трэба задаць: колькі дакументаў у вашай кампаніі маюць больш шырокія правы доступу, чым патрабуе роля іх уладальніка? Калі вы не ведаеце адказу, гэта ваш першы пункт для аўдыту.