Архітэктура Штучнага Інтэлекту без Галюцынацый: Прымушаем ШІ Правяраць Факты, А Не Ствараць Паэзію

Падатак на давер, які спаганяе ваш ШІ

Адно сфабрыкаванае пасведчанне або няправільная хуткасць лініі ў выходным паведамленні досыць, каб дырэктар па тэхнічным абслугоўванні назаўсёды выдаліў паведамленне, пазбавіўшы даверу, які будаваўся гадамі, і непасрэдна пагражаючы прэміум-цэнам і доўгатэрміновым кантрактам на абслугоўванне, якія абараняюць вашу маржу. Прамысловыя заснавальнікі ў Індустрыі 4.0 ужо сутыкаліся з выхадам, згенераваным ШІ, які ўпэўнена скажае параметры машын, вынаходзіць спасылкі на праекты або выкарыстоўвае мову, якая не праходзіць "нюхальны тэст" інжынера цэха. Гэтыя памылкі знішчаюць давер у дырэктараў па тэхнічным абслугоўванні, кіраўнікоў аперацый і тэхнічных пакупнікоў, чые рашэнні абапіраюцца на стандарты, допускі і правераныя даныя, а не на лозунгі.

Тыя ж заснавальнікі часта пераходзяць на ручны пакрокавы прагляд кожнага электроннага ліста або паведамлення ў LinkedIn, створанага ШІ. Гэты выбар ператварае заснавальніка ў аперацыйны вузкае месца, якое спажывае каляндарны час, неабходны для стратэгічнага нагляду за шматмільённымі праектамі мадэрнізацыі. Агульныя паслядоўнасці агенцтваў, пабудаваныя на неабмежаваных мадэлях, ствараюць фармулёўкі, якія дырэктары па тэхнічным абслугоўванні імгненна распазнаюць як спам, згенераваны ботам, што прыводзіць да неадкладнага выдалення і доўгатэрміновага пашкоджання рэпутацыі дамена і дастаўляльнасці. Калі дамен назапашвае справаздачы аб спаме і сігналы выдалення, пастаўшчыкі электроннай пошты паніжаюць яго рэпутацыю адпраўніка, што азначае, што ўсе наступныя звароты з гэтага дамена, уключаючы законныя, напісаныя ўручную паведамленні, сутыкаюцца са зніжэннем дастаўляльнасці. Адна дрэнна сканструяваная кампанія ШІ можа на месяцы пагоршыць канал. Гэта не сітуацыя, якую можна аднавіць у кароткі тэрмін.

Галюцынацыі – гэта архітэктурны недахоп, а не дэфект прадукту

Вялікія моўныя мадэлі генеруюць тэкст, прадказваючы наступны токен на аснове статыстычных заканамернасцей, вывучаных з вялікіх корпусаў. Мадэль не адрознівае рэцэнзаваныя стандарты ад маркетынгавага тэксту ў сваіх навучальных дадзеных. Пры запыце на напісанне аб мадэрнізацыі лініі разліву на канкрэтным польскім заводзе, яна спалучае агульныя заканамернасці з любым кантэкстам у запыце, і калі гэты кантэкст тонкі, яна запаўняе прабел статыстычна праўдападобнымі, але фактычна выдуманымі дэталямі. Гэта не памылка ў мадэлі. Гэта мадэль робіць менавіта тое, для чаго яе навучалі. Памылка заключаецца ў архітэктуры, якая дазваляе ёй працаваць без правераных уваходных дадзеных. Першапрычына ляжыць у тым, як гэтыя мадэлі навучаюцца. Гінэратыўныя мадэлі аптымізаваныя для мінімізацыі памылак прадказання па велізарных корпусах тэксту, сабраных з інтэрнэту, тэхнічнай дакументацыі, кніг і іншых крыніц, многія з якіх утрымліваюць як выправленую, так і неправераную інфармацыю. Яны вывучаюць статыстычныя асацыяцыі, а не відавочныя фактычныя базы дадзеных, і іх навучанне не робіць адрознення паміж рэцэнзаванымі стандартамі, маркетынгавым тэкстам або састарэлымі паведамленнямі ў блогах.

Гэта механічнае тлумачэнне пераўтварае артыкул з маркетынгавага сцвярджэння ў сапраўдны тэхнічны аўтарытэт. У сітуацыях з малымі аб'ёмамі даных, такіх як нішавыя прамысловыя тэмы, спецыфічныя канфігурацыі заводаў або рэгіянальныя сертыфікацыі, мадэль павінна адгадваць, і паколькі яе мэта - стварыць свабодны тэкст, а не сказаць "я не ведаю", яна адгадвае празаічным тэкстам, які гучыць аўтарытэтна. Гэта асабліва праблематычна ў прамысловых кантэкстах, дзе, здавалася б, невялікія лічбавыя або звязаныя са стандартамі памылкі могуць паказаць чытачу, што аўтар не разумее іх свет.

Мадэль атрымлівае толькі факты, відавочна прадстаўленыя ў кожнай інтэракцыі, у спалучэнні з дэтэрміністычнымі бізнес-правіламі, якія вызначаюць, калі гаварыць, а калі маўчаць, таму што калі кантэкст адсутнічае, правільна спраектаваная сістэма ўстрымліваецца ад фабрыкацыі, па той жа прычыне, па якой адкалібраваны дынамаметрычны ключ спыняецца на зададзеным ліміце, а не працягвае круціцца. Калі інфармацыя адсутнічае ў атрыманым кантэксце, правільна абмежаваныя сістэмы відавочна дазваляюць устрымлівацца, а не генераваць свабодныя, але ілжывыя сцвярджэнні. Гэта правіла "казаць менш, а не вынаходзіць больш" непасрэдна змагаецца са знішчэннем даверу, якое адбываецца, калі ШІ фабрыкуе спасылкі на праекты або сертыфікаты. Той жа прынцып, які перашкаджае медыцынскаму ШІ рабіць высновы аб дыягназе, якога няма ў карце, перашкаджае гандлёваму ШІ вынаходзіць спасылку на завод, якой няма ў CRM. Сістэма, якая цалкам апускае прэтэнзію, таму што дадзеных не было ў CRM, захоўвае давер.

Рамка FACTS ад DeepMind і звязаныя з ёй лідэрскія спісы па дакладнасці пацвярджаюць, што якасць выніку залежыць ад дызайну задачы і механізмаў атрымання, а не толькі ад маштабу мадэлі. Гэтыя тэсты паказваюць, што мадэлі паводзяць сябе зусім па-рознаму пры тэставанні на задачах, якія патрабуюць адказаў, заснаваных на доказах, у параўнанні з генерацыяй тэксту без абмежаванняў. Купля больш дарагой або большай мадэлі ШІ не вырашае праблему галюцынацый. Вырашае яе перапраектоўка архітэктуры задачы. Гэта прамы адказ на інстынкт многіх заснавальнікаў, якія лічаць, што абнаўленне да прэміум-мадэлі выправіць праблемы з дакладнасцю. Рашэнне праблемы якасці на вытворчай лініі не заўсёды заключаецца ў больш дарагой машыне. Гэта лепш спраектаваны працэс.

Як насамрэч выглядае канвеер без галюцынацый

Рэалізацыя пачынаецца з аўтарытэтных сховішчаў даных, якія функцыянуюць як неабвержныя даныя. Сістэмы CRM, ERP і інфармацыі аб прадуктах падаюць адзіныя лічбы і спасылкі, якія можа выкарыстоўваць мадэль. Канвеер праверкі даных дэдуплікуе кантакты, узгадняе супярэчлівыя запісы і пацвярджае, што такія палі, як устаноўленая база або сертыфікацыі, адпавядаюць вядомым узорам. Затым пласт пошуку збірае кантэкстны пакет, які змяшчае ролю патэнцыйнага кліента, вытворчы профіль завода, папярэднія ўзаемадзеянні і адпаведныя прыклады. Рухавік генерацыі працуе ў рамках сістэмных падказак, якія патрабуюць, каб кожнае фактычнае сцвярджэнне спасылалася на сваю крыніцу ў атрыманым кантэксце. Параметры дэкадавання настроены на дэтэрмінізм, а дадатковыя модулі валідацыі правяраюць вынікі на адпаведнасць перад выпускам.

Аўтарытэтныя сховішчы даных

CRM, ERP, PLM і куратарныя знешнія крыніцы функцыянуюць як адзіны "асноўны факт", на які мадэль можа спасылацца. Калі магутнасць лініі разліву завода запісана ў ERP як 36 000 бутэлек у гадзіну, гэта лічба, якую выкарыстоўвае ШІ. Калі поле пустое, ШІ не здагадваецца. Ён апускае сцвярджэнне. Ключавое патрабаванне заключаецца ў тым, каб гэтыя сховішчы разглядаліся як асноўны факт для мэт узаемадзеяння. Гэты пункт гледжання адлюстроўвае практыку ў галінах з высокімі стаўкамі, дзе такія сістэмы, як інструменты для прагляду медыцынскіх запісаў, адмаўляюцца выводзіць дыягназы, якія відавочна не прысутнічаюць у карце, і замест гэтага абмяжоўваюцца выманнем з існуючага запісу.

Канвееры праверкі і нармалізацыі даных

Перш чым якія-небудзь даныя трапяць у мадэль, канвеер праверкі дэдуплікуе кантакты, узгадняе супярэчлівыя запісы ў розных падраздзяленнях, пацвярджае сертыфікаты на адпаведнасць вядомым шаблонам і вырашае неадпаведнасці ў назвах. Гэта першая лінія абароны ад галюцынацый, якая выключае неадназначнасці ў крыніцы, перш чым яны змогуць распаўсюдзіцца на згенераваны тэкст. Нармалізацыя асабліва важная пры інтэграцыі некалькіх сістэм. Напрыклад, розныя падраздзяленні могуць называць адну і тую ж машыну крыху па-рознаму або выкарыстоўваць розныя адзінкі вымярэння і канвенцыі назваў. Без нармалізацыі ШІ можа разглядаць іх як асобныя або супярэчлівыя, што прывядзе да блытаных зваротаў.

Слой пошуку і канструктар кантэксту

Вектарны пошук і семантычны пошук супастаўляюць кожнага патэнцыйнага кліента і мэту кампаніі з найбольш адпаведнымі праверанымі дакументамі і запісамі. Затым канструктар кантэксту структуруе гэты матэрыял у фармат, гатовы да падказкі, маркіруючы раздзелы метаданымі, каб мадэль магла на іх спасылацца. Знешнія сігналы, такія як актыўнасць па найму, аб'явы аб інвестыцыях або разгортванні тэхналогій, інтэгруюцца толькі тады, калі яны паступаюць з правераных крыніц. У выпадку з продажамі, слой пошуку можа збіраць такую інфармацыю, як роля і абавязкі патэнцыйнага кліента, вытворчы профіль завода, папярэднія ўзаемадзеянні, адпаведныя тэматычныя даследаванні ў той жа галіны і любыя вядомыя болевыя пункты.

Абмежаваны рухавік генерацыі

Мадэль працуе ў рамках сістэмных падказак, якія выразна забараняюць фабрыкацыю і патрабуюць, каб кожнае фактычнае сцвярджэнне спасылалася на сваю крыніцу ў атрыманым кантэксце. Параметры дэкадавання настроены на дэтэрмінізм, зніжаючы выпадковасць. Мадэлі загадана пазначаць або апускаць сцвярджэнні, калі атрыманы кантэкст іх не пацвярджае. Рухавік генерацыі – гэта там, дзе мадэль фактычна стварае тэкст, але ў архітэктуры без галюцынацый ён працуе пад строгімі абмежаваннямі. Па-першае, сістэмная падказка выразна загадвае мадэлі засноўваць усе фактычныя сцвярджэнні на прадастаўленым кантэксце і ўстрымлівацца ад вынаходніцтва інфармацыі.

Модулі праверкі фактаў і валідацыі з адсочваннем паходжання

Другасныя модулі валідацыі правяраюць вынікі на адпаведнасць атрыманым даным і правілам дамена перад адпраўкай любога паведамлення. Кожны сказ у выходным электронным лісце можна прасачыць да пэўнага зыходнага запісу або бізнес-правіла, што з'яўляецца тым жа стандартам прасочвання, які сістэмы прагляду медыцынскіх запісаў прымяняюць да кожнага вынятага дыягназу. Архітэктура павінна ўключаць модулі праверкі фактаў і валідацыі, якія правяраюць вынікі мадэлі на адпаведнасць атрыманым даным і правілам дамена. Гэтыя модулі могуць быць рэалізаваны з выкарыстаннем другасных LLM, сістэм, заснаваных на правілах, або іх камбінацыі, але іх мэта – выяўляць адхіленні перад адпраўкай паведамлення.

Ўзровень кіравання, які забяспечвае сумленнасць

Тэставанне галюцынацый, ахоўныя механізмы і бесперапынны маніторынг наладжаны для адсочвання дакладнасці фактаў, узроўню адказаў і ўзроўню скарг. Пры зніжэнні прадукцыйнасці з'яўляюцца абвесткі, каб якасць даных вышэйшага ўзроўню або логіка пошуку маглі быць выпраўлены без умяшання заснавальніка. Сістэмы кіравання генератыўным ШІ, ужо правераныя ў рэгуляваных сферах, непасрэдна пераносяцца ў прамысловыя B2B-продажы. Ключавыя паказчыкі эфектыўнасці для адсочвання - гэта ўзровень дакладнасці фактаў на кампанію, тэндэнцыя ўзроўню адказаў, узровень скарг і справаздач аб спаме, а таксама дакладнасць пошуку. Калі любы з гэтых паказчыкаў зніжаецца, абвестка з'яўляецца на ўзроўні якасці даных або логікі пошуку, а не на стале заснавальніка. Гэта тое, што канчаткова вызваляе заснавальніка ад вузкага месца карэктуры. Сістэмы кіравання генератыўным ШІ, якія ўключаюць тэставанне галюцынацый, ахоўныя механізмы і бесперапынны маніторынг, ужо паспяхова адаптаваны ў рэгуляваных сферах і могуць быць пераведзены ў прамысловыя B2B-продажы.

Камерцыйны выпадак, у лічбах

Правераныя ўваходныя даныя даюць вымерную камерцыйную аддачу. Персаналізаваныя паведамленні, створаныя ШІ на аснове правераных узбагачаных даных, дасягаюць назіраных узроўняў адказаў у 4,6% у больш чым пяцідзесяці B2B-кампаніях, супраць менш за 1% для агульных шаблонных паслядоўнасцей. Выйгрыш паходзіць ад персаналізацыі, замацаванай на рэальных сігналах, такіх як замарожванне найму, аб'явы аб капітальных інвестыцыях або даныя вытворчых ліній, а не ад агульнай лесці, якую тэхнічныя пакупнікі распазнаюць і адкідаюць за секунды. Тэматычныя даследаванні па генерацыі B2B-лідаў з выкарыстаннем ШІ паказваюць больш за 90% дакладнасці пры ідэнтыфікацыі асоб, якія прымаюць рашэнні, і ўзбагачэнні акаўнтаў у прамысловых рэгіёнах. Гэтыя параўнальныя паказчыкі ўзнікаюць таму, што кожная тэхнічная заява замацавана ў запісах CRM або ERP перад складаннем паведамлення. Сістэмы генерацыі з дапаўненнем пошуку, абмежаваныя надзейнымі крыніцамі, ужо прадэманстравалі істотна меншы ўзровень галюцынацый у сферах з высокімі стаўкамі, такіх як чат-боты для інфармацыі аб раку.

Заснавальнікі, якія будуюць гэтую архітэктуру, перастаюць пытацца, ці можна давяраць ШІ. Яны ўжо распрацавалі сістэму, у якой давер структурна забяспечваецца, а не толькі спадзяваецца. Калі ваш працэс продажаў стварыў згенераваныя ШІ звароты, якія былі выяўленыя і адхіленыя тэхнічным пакупніком, апішыце рэжым збою ў каментарах. Мадэль мае значэнне. Публічнае яе адлюстраванне - гэта тое, як гэтая размова пераходзіць ад прыняцця рызыкі да архітэктурнага майстэрства.