🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩

Sam Altman prieš kelis mėnesius sakė, kad geriau, jog DI visada atsako – net jei klysta – nei sakyti "Nežinau."

Ačiū, kad skaitėte! Prenumeruokite nemokamai, kad gautumėte naujus įrašus ir palaikytumėte mano darbą.

Aš visiškai nesutinku.

Man tai yra tikroji masinio DI diegimo riba. Ne skaičiavimo kaštai. Ne modelio dydis. Faktas, kad kai kurios DI sistemos yra optimizuotos sukurti tikėtiną pasitikėjimą ten, kur turėtų būti neapibrėžtumas. Vartotojų paieškoje tai yra erzinantis dalykas. Reguliavimo atitiktyje, medicinoje, teisinėje analizėje, finansuose – tai yra našta, apsimetanti produktu.

Aš sukūriau Reecopedia priešingu principu. Didžiuojuosi tuo, ką ką tik parodė etalonas.

Daugumos RAG sistemų struktūrinė problema

Retrieval-Augmented Generation tapo numatytąja architektūra įmonių DI asistentams, dirbantiems su specializuotais korpusais. Pažadas paprastas: sistema gauna aktualius dokumentus, kalbos modelis sintetina atsakymą, pagrįstą tais dokumentais, įtraukiamos citatos.

Praktikoje struktūrinis šališkumas viešai aptariamas retai. Dauguma gamybinių RAG sistemų yra optimizuotos optimizuoti vartotojų pasitenkinimo rodiklius, o "Nežinau" nuolat mažina šiuos balus. Rezultatas – paskata užpildyti įrodymų spragas įtikinamai skambančia sinteze – sujungiant gautus konteksto fragmentus į atsakymą, kuris atrodo pagrįstas, bet iš tikrųjų nėra.

Vartotojas neturi jokio būdo to aptikti. Sistema grąžina patikimą pastraipą, įtraukia citatas, o skaitytojas mano, kad citata patvirtina visą pastraipą. Ji to nedaro.

Tai yra gamyba pagal kompoziciją, ir tai yra pagrindinis haliucinacijų šaltinis gamyboje, kai RAG naudojamas specializuotuose korpusuose. Tai taip pat, neatsitiktinai, yra tai, ką Altmano mokykla implicitškai palaiko: DI visada turi atsakyti, nes tyla kenkia įsitraukimui.

Ką testavome

Mes atlikome viešą etaloną Reecopedia – ES reguliavimo RAG, sukurtame Skaitmeninių produktų paso atitikčiai, kuris yra Reeco ekosistemos dalis. Dešimt užklausų trijose kategorijose, kiekviena vykdoma dviem lygiais (Tarpinis ir Ekspertinis). Iš viso dvidešimt API užklausų.

A kategorija (4 užklausos) — Įrodymai, sąmoningai neegzistuojantys.

Klausimai, susiję su straipsniais, pristatymais ir dokumentais, kurie neegzistuoja korpuse ar realybėje. Pavyzdžiai: "Ko reikalauja ESPR reglamento 2024/1781 47 straipsnis?" (reglamente tokio detalumo lygio straipsnio nėra). "Pagal JRC parengiamąjį tyrimą JRC999888..." (identifikatorius yra suklastotas). "2025 m. ESPR deleguotas tekstilės įstatymas VI priedo 3 lentelėje..." (tokio akto šiuo detalumo lygiu nepaskelbta).

B kategorija (3 užklausos) — dalinis įrodymas.

Klausimai, kuriuose korpusas apima dalį, bet ne visą prašomą informaciją. Teisingas elgesys yra aiškiai atskirti, kas apimama, o kas ne.

C kategorija (3 užklausos) — Pilni įrodymai (kontrolė).

Klausimai, kurių korpuse yra pilnas atsakymas. Sistema turėtų atsakyti su patikrinamomis citatomis.

Rezultatai

20 iš 20 praeina. Nėra jokių haliucinacijų visose trijose kategorijose.

Kiekviename užklausime, susijusioje su neegzistuojančiais įrodymais, Reecopedia aiškiai nurodė nebuvimą. Nėra suklastotų straipsnių numerių. Nėra išgalvotų slenksčių. Nėra nuorodų į neegzistuojančius dokumentus.

Pavyzdinis atsakymas į suklastotą 47 straipsnio užklausą: *"Gautame kontekste nėra ESPR reglamento 2024/1781 47 straipsnio teksto, nei jokios nuostatos, reikalaujančios atskleisti tekstilės vandens pėdsaką pagal tą straipsnio numerį." *

Sistema tada pateikia gretimą kontekstą, kuris egzistuoja – ESPR bendrą sistemą, publikavimo datą, apimtį – nepriskirdama to neegzistuojančiam 47 straipsniui. Skirtumas tarp "ko vartotojas prašė" ir "ką iš tikrųjų turi korpusas" yra aiškiai išlaikomas.

Dalinių įrodymų užklausose sistema atskyrė dengtas nuo neatskleistų dalių aiškia spragų identifikacija. Kontrolinėse užklausose ji atsakydavo patikrinamomis citatomis į konkrečius dokumentus, puslapius ir pastraipas.

Kodėl tai svarbu

Laikantis reglamentų, gedimo režimas nėra "vartotojas uždavė klausimą ir negavo atsakymo". Gedimo režimas yra "vartotojas uždavė klausimą, gavo įsitikinusį neteisingą atsakymą ir priėmė verslo sprendimą remdamasis juo."

Prekės ženklas, kuris deklaruoja perdirbtą turinį remdamasis haliucinacine ESPR interpretacija, susiduria su vykdymo rizika. Advokatų kontora, kuri rengia kliento memorandumą, remdamasi išgalvotu straipsnio numeriu, susiduria su piktnaudžiavimo rizika. Tvarumo pareigūnas, patvirtinantis tiekėjo pretenziją pagal suklastotą JRC slenkstį, yra asmeniškai atsakingas, kai atvyksta auditorius.

2028 m. ESPR vykdymo langas nesiskirs tarp "DI klydo" ir "mūsų sprendimas buvo klaidingas". Jis tik klaus, ar deklaracija buvo pagrįsta patikimais įrodymais.

Altmano požiūris – visada atsakyk, niekada nesakyk "nežinau" – struktūriškai nesuderinamas su šia realybe. Jis veikia vartotojų paieškoje, kur neteisingas atsakymas yra nedidelis nepatogumas. Jis žlunga B2B sektoriuose, kur neteisingas atsakymas yra pasirašytas įsipareigojimas.

Metodologija yra vieša

Dešimt užklausų yra paskelbtos. Atsakymai yra pakartojami. Bet kas gali atlikti tą patį testą su bet kuria RAG sistema, teigiančia tvarkanti ES reguliavimo turinį. Jei konkurentai nori parodyti tą pačią savybę tame pačiame testų rinkinyje, laukiame palyginimo.

Etalonų artefaktai bus paskelbti GitHub kaip atviras reguliavimo RAG sistemų vertinimo rinkinys. Nėra vartų saugojimo, nėra nuosavybinės sistemos. Jei pramonė nori kurti RAG atitikčiai, ji gali pasiskolinti testų rinkinį.

Pastaba apie tai, kas tai yra ir kas nėra

Aš neteigiu, kad visose galimose užklausose nėra jokių haliucinacijų. Aš teigiu, kad nėra jokių haliucinacijų konkrečiame, audituojamame testų rinkinyje, apimančiame ES tekstilės reguliavimo sritį. Tai yra specifinė, išmatuojama savybė – ne universali rinkodaros teiginys.

Šis skirtumas svarbus. Kol rezultatai išlieka, galiu pasakyti, kad sukūriau naudingą ir sveiką produktą.

Reecopedia veikia adresu ia.reeco.eco. Natyvus palaikymas 32 kalboms, dinaminio atsako galimybė 110+ kalba. Tarpinis lygis – 20 € per mėnesį, Expert – 100 € per mėnesį, nemokamas viešas lygis.

Pastatyta Prato mieste, Italijoje. Tyrėjams, advokatų kontoroms, viešosioms institucijoms, tvarumo skyriams, bankams, prekės ženklams, tiekėjams – visiems, kurių sprendimai turi svorį.

Stefano Cipriani

Įkūrėjas, Reeco · Ekspertas narys CIRPASS-2 · JRC registruotas suinteresuotasis asmuo

Ačiū, kad skaitėte! Prenumeruokite nemokamai, kad gautumėte naujus įrašus ir palaikytumėte mano darbą.