Як шкоднасны скрыпт скраў прыватную мадэль ШІ за 4 хвіліны

Шкоднаснага скрыпта, схаванага ў інструменце распрацоўніка, было дастаткова, каб скрасці прыватную мадэль ШІ з сервера кампаніі.

Сцэнар атакі ў ізаляваным асяроддзі

Я стварыў ізаляванае асяроддзе (sandbox), якое імітуе тыповую карпаратыўную сетку. Я заразіў асяроддзе шкоднасным пашырэннем для браўзера, каб вымераць і падлічыць наступствы. Падчас сімуляцыі я ўзнавіў гэту атаку. Прыватная мадэль ШІ знікла за 3 хвіліны 47 секунд.

Даныя эксфільтраваліся невялікімі пакетамі з дапамогай схаваных запытаў XHR, што дазволіла абысці класічныя брандмаўэры. Скрыпт выкарыстоўваў тэхніку prompt injection, прымушаючы выгрузіць вагі мадэлі і сістэмныя промты ў фармаце base64. Эксфільтрацыя даных адбывалася метадам "beaconing", каб пазбегнуць выяўлення.

Наступствы: фінансавыя, юрыдычныя і аперацыйныя

Я падлічыў патэнцыйныя наступствы такога інцыдэнту. Штраф паводле GDPR можа дасягаць 20 мільёнаў еўра або 4% ад глабальнага абароту кампаніі. Да гэтага дадаюцца прамыя фінансавыя страты, у гэтым выпадку 380 000 злотых на R&D і шэсць месяцаў працы каманды — усё страчана.

Калі мадэль апрацоўвае даныя кліентаў, юрыдычная і прафесійная адказнасць кладзецца непасрэдна на CTO і вядучых інжынераў.

Рашэнне: Архітэктура ізаляцыі

Многія CTO справядліва асцерагаюцца даваць знешнім арганізацыям доступ да ключавых сістэм, такіх як паштовы сервер, з-за рызыкі ўцечкі даных. Гэты ж прынцып безумоўна прымяняецца і да прыватнай мадэлі ШІ.

Таму ў AGAPE Automation Systems мы ўкараняем архітэктуру, заснаваную на ізаляцыі. Мы размяшчаем усю мадэль ШІ на знешніх, выдзеленых IP-кластарах. Няма ніякай фізічнай інтэграцыі з паштовымі серверамі кліента або доступу да асноўнай базы даных. Сувязь паміж асяроддзем распрацоўкі і серверамі ШІ забяспечваецца праз mTLS. На практыцы гэта архітэктура Zero-Hallucination, у якой атака тыпу prompt injection не мае магчымасці дасягнуць інфраструктуры кампаніі.

Як правяраць бяспеку: Аўдыт за 30 хвілін

ІТ-каманда можа правесці поўную праверку бяспекі інструментаў распрацоўніка за 30 хвілін. Працэс складаецца з трох 10-хвілінных блокаў:

1. Аўдыт кансолі браўзера на прадмет незвычайных логаў і скрыптоў.
2. Аналіз сеткавага трафіку за апошнія 7 дзён у пошуках анамалій.
3. Праверка цэласнасці пашырэнняў браўзера на адпаведнасць карпаратыўнаму спісу дазволеных (allow-list).

Сістэма абвестак павінна спрацоўваць пры выходным трафіку звыш 50 МБ у хвіліну на невядомыя IP-адрасы і пры выяўленні фраз, характэрных для атак prompt injection.

Ці правярала ваша ІТ-каманда апошнім часам інструменты распрацоўніка на прадмет бяспекі?