Чаму моўная мадэль хлусіць з поўнай упэўненасцю

Тэхнічны камітэт зацвердзіў укараненне сістэмы ШІ для выходнай камунікацыі. Лісты выходзяць рэгулярна, працэс выглядае аўтаматызаваным і эфектыўным. Аднак ніхто не ведае, што адзін з дзясятка паведамленняў утрымлівае памылковыя тэхнічныя даныя, якія гучаць як рэкамендацыя эксперта. Агенцтвы адпраўляюць лісты, якія гучаць як прымітыўны бот, якія нашы кліенты — цвёрдыя інжынеры і кіраўнікі тэхнічнага абслугоўвання — неадкладна адпраўляюць у спам. Праблема не ў тым, што ліст гучыць як бот. Праблема ў тым, што ён гучыць як эксперт, які памыляецца.

Гучнае выпадак юрыста, які працытаваў у судзе неіснуючыя рашэнні, згенераваныя ChatGPT, паказвае маштаб пагрозы. Мадэль прадставіла выдуманыя прысуды з поўнай упэўненасцю, а юрыст спаслаўся на іх у афіцыйным працэсуальным дакуменце. Калі сістэма ШІ можа згенераваць неіснуючыя судовыя рашэнні з такой упэўненасцю, з роўнай упэўненасцю яна згенеруе памылковыя тэхнічныя параметры прадукту, неіснуючыя сертыфікаты нормы або выдуманыя даведачныя даныя ў лісце да кіраўніка тэхнічнага абслугоўвання. Колькі такіх лістоў ужо адправіла ваша сістэма, перш чым хто-небудзь гэта заўважыў?

Механізм генерацыі токенаў як крыніца праблемы

Моўная мадэль не мае ўнутранага стану ведаў або няведання. Кожны токен ствараецца выключна на аснове размеркавання верагоднасці, атрыманага праз функцыю softmax з логітаў, без рэальнай праверкі фактаў. Логіт — гэта неапрацаваны вынік нейронавай сеткі, а softmax нармалізуе гэтыя значэнні, каб яны стваралі размеркаванне верагоднасці, якое сумуецца да адзінкі. Высокая верагоднасць токена азначае толькі статыстычную паслядоўнасць з навучальнымі данымі, а не адпаведнасць рэальнасці, што структурна перашкаджае мадэлі адрозніваць факты ад выдумак.

На практыцы гэта азначае, што ўпэўненасць адказу ШІ не карэлюе з яго правільнасцю. Калі мадэль генеруе паслядоўнасць, яна вылічвае поўныя размеркаванні для ўсяго слоўніка і выбірае токены ў адпаведнасці са стратэгіяй дэкадавання. Жартоўная дэкадаванне выбірае токен з найвышэйшай верагоднасцю на кожным кроку. Пошук прамянямі праглядае некалькі шляхоў адначасова, а тэмпература і параметры top-k і top-p кантралююць узровень творчасці мадэлі. Кожны з гэтых механізмаў непасрэдна ўплывае на рызыку галюцынацый. Мадэль вылічвае поўныя размеркаванні для ўсяго слоўніка на кожным кроку генерацыі — гэта адзіны ўнутраны сігнал, які яна мае, і ў ім няма інфармацыі аб адпаведнасці рэальнасці.

Нават калі карыстальнік просіць вербалізацыю ўзроўню ўпэўненасці, гэта заява вынікае з аптымізацыі моўнага стылю, а не з рэальнай каліброўкі ведаў, што робіць яе ненадзейным паказчыкам рызыкі. У класічнай статыстыцы каліброўка мадэлі азначае, што заяўлены ўзровень упэўненасці адлюстроўвае фактычную частату правільных адказаў — калі сістэма кажа 90 працэнтаў упэўненасці, то ў 90 выпадках са 100 яна мае рацыю. Гэта стандарт, да якога імкнецца кожная экспертная сістэма з сігналізацыяй нявызначанасці. У LLM вербалізаваная ўпэўненасць залежыць ад спосабу задання пытання, моцна залежыць ад прампту і патрабуе стараннай інжынерыі, каб мець які-небудзь сэнс як паказчык рызыкі.

У чым заключаецца аптымізацыя RLHF

Аптымізацыя працэсу RLHF (Reinforcement Learning from Human Feedback) у мадэлях LLM грунтуецца на больш эфектыўным зборы даных пра перавагі і стабілізацыі алгарытму. Для гэтага выкарыстоўваюцца такія бібліятэкі, як TRL (Transformer Reinforcement Learning), і структуры тыпу PEFT з тэхнікамі LoRA, якія дазваляюць запускаць працэс у шматкартавых асяродках (напрыклад, з выкарыстаннем OpenRLHF).

🐶 Самая простая аналогія: > Гэта працуе дакладна так, як дрэсіроўка маладога сабакі. Калі вы даяце сабаку каманду «сядзець», а ён сядае — вы даяце яму ласунак. Сабака хутка разумее, што за добрыя паводзіны ёсць узнагарода. У RLHF «ласункамі» для робата з'яўляюцца балы і пахвала ад людзей! Уплыў RLHF на тон адказу Аптымізацыя RLHF прыводзіць да таго, што мадэлі прымаюць цвёрды і карысны тон нават пры высокай энтрапіі размеркавання верагоднасці, маскіруючы адсутнасць праверкі фактаў. Мадэль, якая ўнутрана вагаецца паміж некалькімі токенамі з падобнай верагоднасцю, усё роўна будуе сказ, які гучыць як упэўненая рэкамендацыя эксперта — таму што так яна была навучана праз RLHF, таму што людзі, якія ацэньвалі адказы, аддавалі перавагу ўпэўненаму тону над вагальным. Гэты эфект павялічвае верагоднасць таго, што няправільныя даныя трапяць да жорсткіх атрымальнікаў B2B і неадкладна трапяць у спам.

Адсутнасць унутранага стану ведаю/не ведаю прыводзіць да таго, што мадэль выдае памылковыя адказы з такой жа ўпэўненасцю, як і правільныя, падвяргаючы кампаніі судовым пазовам і страце рэпутацыі да выяўлення памылкі. Я бачыў гэта шмат разоў у тэстах — мадэль генеруе памылковы тэхнічны параметр з такой жа ўпэўненасцю тону, як і правільны. Розніца не бачная ў тэксце — яна бачная ў размеркаванні токенаў. Класічныя экспертныя сістэмы, заснаваныя на правілах і базах ведаў, мелі ўбудаваны механізм сігналізацыі няведання — калі запыт выходзіў за межы базы ведаў, сістэма адказвала «няма даных» або «за межамі кампетэнцыі». Гэта быў фундаментальны элемент архітэктуры, а не дадатковая функцыя. LLM не мае эквівалента гэтага механізму — для кожнага прампту ён генеруе адказ, калі толькі не быў спецыяльна распрацаваны, каб не рабіць гэтага.

Даследаванні асацыяцый падпаслядоўнасцей паказваюць, што галюцынацыі не выпадковыя, а вынікаюць з прадказальных заканамернасцей у механізме генерацыі токенаў. Дэкодарныя трансформеры можна разглядаць як мадэлі, якія ўкладваюць падпаслядоўнасці — калі дадзеная падпаслядоўнасць мае ў навучальных даных моцныя асацыяцыі з пэўным тыпам адказу, мадэль ідзе за гэтай асацыяцыяй, ігнаруючы астатні кантэкст. Калі ў навучальных даных назва канкрэтнага тэхнічнага стандарту часта сустракаецца з пэўнымі параметрамі, мадэль можа дадаць гэтыя параметры да адказу, нават калі пытанне тычыцца іншай версіі стандарту або іншага прадукту. Алгарытм SAT дасягае на 26 працэнтаў вышэйшага каэфіцыента ўзнаўляльнасці галюцынацый, чым класічныя метады атрыбуцыі, выяўляючы канкрэтныя падпаслядоўнасці, якія выклікаюць памылкі ў адказах мадэляў. Гэтыя трыгерныя падпаслядоўнасці сістэматычна прыводзяць да галюцынацый у розных кантэкстах, што тлумачыць, чаму традыцыйныя эўрыстыкі, заснаваныя на адзінкавых верагоднасцях, церпяць няўдачу. Галюцынацыі — гэта не выпадковы шум, які можна ўсярэдніць, адправіўшы шмат лістоў — гэта сістэматычная памылка, выкліканая канкрэтнымі заканамернасцямі ўваходнага тэксту.

Поўная паслядоўнасць размеркаванняў як інструмент кантролю

Поўная паслядоўнасць размеркаванняў токенаў, якая называецца LLM Output Signature, можа выкарыстоўвацца незалежнымі дэтэктарамі для ідэнтыфікацыі галюцынацый з больш высокай эфектыўнасцю, чым простыя эўрыстыкі, заснаваныя на адзінкавых верагоднасцях. Простая эўрыстыка глядзіць толькі на верагоднасць выбранага токена на дадзеным кроку — гэта як ацэнка якасці інжынернага рашэння толькі па яго выніку, без разгляду працэсу. LOS глядзіць на поўную паслядоўнасць размеркаванняў для ўсіх крокаў генерацыі — як на верагоднасці фактычна выбраных токенаў (ATP), так і на форму ўсяго размеркавання на кожным кроку (TDS). Мадэлі ўвагі (LOS-Net) разглядаюць гэтую паслядоўнасць як уваходныя даныя і вучацца распазнаваць заканамернасці, характэрныя для галюцынацый — аналагічна таму, як сістэма IDS у кібербяспецы глядзіць не на асобны пакет, а на характарыстыку сеткавага трафіку. Гэты механізм паказвае канкрэтнае месца ў архітэктуры, дзе можна ўвесці кантроль без мадыфікацыі самой мадэлі. Калі я будаваў архітэктуру сістэмы выходнай камунікацыі для AGAPE, першае пытанне было — дзе ў патоку даных мы можам праверыць, ці ведае мадэль, што яна генеруе? Адказ ляжыць у поўнай паслядоўнасці размеркаванняў токенаў — не ў самім тэксце адказу.

Архітэктуры, заснаваныя на знешніх сігналах упэўненасці і human-in-the-loop, дазваляюць кантраляваць рызыку галюцынацый на ўзроўні патоку даных, а не ўнутры вагаў нейронавай сеткі. Такі падыход дае CTO адпраўную кропку для архітэктурных рашэнняў, якія абмяжоўваюць юрыдычную адказнасць. Арганізацыя, якая аналізуе поўную паслядоўнасць размеркаванняў токенаў і блакуе адказы перад адпраўкай кліенту, кантралюе рызыку галюцынацый на ўзроўні патоку даных — без мадыфікацыі самой мадэлі і без прыцягнення ўнутраных каманд распрацоўшчыкаў.

Наступствы для ўкаранення ў МСП

Укараненне ШІ без праверкі генеруе памылковыя выходныя даныя кліентам, наносіць шкоду рэпутацыі брэнда і падвяргае кампанію юрыдычнай адказнасці. Юрыдычная рызыка ўключае недакладную інфармацыю ў прапановах і выходнай камунікацыі, якая можа стаць падставай для прэтэнзій. EU AI Act уводзіць класіфікацыю высокай рызыкі і патрабаванні да дакументацыі для сістэм ШІ ў пэўных прымяненнях. Рызыка GDPR заключаецца ў тым, што аўтаматызаваная апрацоўка персанальных даных у выходнай камунікацыі патрабуе празрыстасці і магчымасці аспрэчвання рашэнняў. Сістэма ШІ, якая генеруе электронныя лісты без праверкі, можа парушыць прынцып мінімізацыі даных і патрабаванне DPIA. Рэпутацыйная рызыка азначае, што жорсткі інжынер або кіраўнік тэхнічнага абслугоўвання, які атрымае ліст з няправільнымі тэхнічнымі параметрамі, не толькі адправіць яго ў спам, але і запомніць адпраўніка як крыніцу неправеранай інфармацыі — і гэтую асацыяцыю цяжка змяніць. Рэгулятарны ціск, які вынікае з GDPR і EU AI Act, дадаткова ўзмацняе неабходнасць разумення таго, што моўныя мадэлі ў B2B не сігналізуюць пра нявызначанасць, калі яны не ведаюць. Цэласнасць карпаратыўных даных, бяспека ІТ-інфраструктуры і палітыка прыватнасці даных становяцца непасрэдна залежнымі ад здольнасці аддзяляць статыстычную паслядоўнасць ад фактычнай правільнасці.

Пункт адліку для архітэктурных рашэнняў

Разуменне таго, чаму мадэль выдае памылкі з поўнай упэўненасцю, дазваляе дакладна вызначыць, у якім месцы архітэктуры гэтая з'ява можа кантралявацца. Тэхнічны камітэт перастае пытаць, ці памыляецца ШІ, і пачынае пытаць, у якім месцы патоку даных мы можам гэта праверыць — гэта змена перспектывы, якая перакладаецца на канкрэтныя архітэктурныя рашэнні. CTO, які разумее, дзе ў архітэктуры ляжыць крыніца праблемы, можа прыняць рашэнне аб блакаванні адказаў без прыцягнення ўнутраных распрацоўшчыкаў — і без мадыфікацыі самой мадэлі.

Апішыце ў каментарыях сітуацыю, у якой сістэма ШІ згенеравала адказ, які гучаў больш пераканаўча, чым быў правільным — няправільны тэхнічны параметр, неіснуючая крыніца, выдуманая спасылка. Вам не трэба ўказваць назву сістэмы або кліента. Кожная такая сітуацыя — гэта канкрэтны шаблон — і шаблоны прадказальныя, як паказвае алгарытм SAT з на 26 працэнтаў больш высокім каэфіцыентам узнаўляльнасці галюцынацый, чым класічныя метады атрыбуцыі. Чым больш шаблонаў сабрана з рэальных аперацыйных асяроддзяў, тым больш дакладная ацэнка рызыкі ўкаранення. Калі вы хочаце ацаніць рызыку ў вашым канкрэтным асяроддзі — пачніце з апісання аднаго выпадку.