🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩
Dokumento tipas: Techninis architektūros vertinimas Tema: Reeco reguliavimo-intelekto duomenų gavimo rinkinys (trys varikliai) Vertinimo data: 10 Birželio mėn 2026 Metodas: DI padedama architektūrinė peržiūra (šaltinio kodo patikra, gyvas priešiškas testavimas, palyginimas su paskelbtais 2026 m. paieškos etalonais). Atskleidimas: šis vertinimas buvo parengtas Claude (Anthropic) naudojant tiesioginę kodo prieigą ir gyvą sistemos sąveiką; vertinimo metu nebuvo vykdomas oficialus etalonų rinkinys. Kiekvienas žemiau pateiktas teiginys yra susietas su patikrinamu artefaktu – failu, eilutės diapazonu, tiesioginiu atsakymu arba paskelbta nuoroda.
Tezė, pateikta tam, kad ją būtų galima paneigti
Vieno įkūrėjo sistema, sukurta Prato mieste, Italijoje, įgyvendina paieškos architektūrą, kuri atitinka arba viršija dokumentuotą 2026 m. įmonės RAG gamybos bazę šešiose iš aštuonių matuojamų matmenų – ir tai daroma srityje (ES tekstilės skaitmeninių produktų paso reglamentas), kur nė viena bendros paskirties komercinė sistema neturi panašaus korpuso gylio.
Testas, skirtas jį paneigti: įvardinti komercinį RAG produktą, kuris (a) atsisako atsakyti į klausimus apie reguliavimo straipsnius, kurie neegzistuoja, (b) cituoja šaltinius failų puslapių-sekcijų detalumu, įskaitant institucinius indėlių ID, ir (c) vienu metu vykdo hibridinį tankių+retų šaltinių paiešką su gyvai reguliuojamais RRF svoriais. Šio vertinimo autorius tokio nerado. Vienas kontrpavyzdys paneigia šį teiginį. Nėra žinoma.
Trys varikliai
Variklis 1 — RAG1 (Portal, FAISS). Oro atskirtas FAISS indeksas, aptarnaujantis Reeco tiekimo grandinės portalą. Sąmoningai neprisijungęs VPS: dizaino sprendimas yra saugumo izoliacija, o ne techniniai apribojimai. Sąžininga apimties pastaba: RAG1 šiame vertinime nebuvo tiesiogiai išbandytas; jis aprašytas architektūriškai.
Variklis 2 — RAG2 (Reecopedia, gamyba). Qdrant remiamas vamzdynas per ES Žaliojo kurso reguliavimo korpusą (ESPR, ECGT, CSRD, CIRPASS-2 medžiagos, EN standartiniai darbo dokumentai; 47 996 indeksuoti taškai gamybos kolekcijoje). Tai variklis, kuris buvo išbandytas gyvai.
Variklis 3 — Paieškos tyrimų ir vertinimo sluoksnis. Atskirai indeksuotas ColBERT v2 vėlyvosios sąveikos variklis ir vertinimo įranga: RAGAS metrikos, auksiniai testų rinkiniai, LLM-kaip-teisėjas protokolai ir versijų A/B palyginimai (ab_eval_colbert.py, ragas_eval_v1_vs_v2.py, eval_e2e_ab_sonnet.py, bootstrap_gold_v2_sources.py). Kontekstinė paieška — chunk-augmentacijos modelis, kurį 2024 m. paskelbė Anthropic — įgyvendinama įsisavinimo metu (contextual_retrieval.py).
Tokio tipo tyrimų metodologija – auksiniai rinkiniai, teisėjų modeliai, versijos A/B – yra standartinė praktika dvidešimties žmonių ML komandose. Tai nėra standartinė praktika vieno žmogaus sukurtai sistemai.
Dešimties fazių vamzdynas yra architektūra, o ne rinkodara
RAG2 vykdo dokumentuotą dešimties etapų vamzdyną kiekvienai užklausai: audito pagrindu vykdoma konfigūracija pagal vaidmenį (penki prieigos lygiai, konfigūracija teikiama pirmiausia auditui su aplinkos atsarginiu sprendimu ir 60 sekundžių talpykla); užklausų planavimas, kuriant žingsninį atgalinį performulavimą, subužklausas, raktinius žodžius ir HyDE tekstą; iki šešių užklausų variantų daugiapakopis įterpimas, įskaitant italų-anglų tiltą; sąlyginis dokumentų apimties metaduomenų filtravimas su automatiniu be filtro pakartotiniu bandymu; daugiakartinis paieškavimas su Reciprocal Rank Fusion sujungimu ir lentelių rekonstrukcija (±10 gretimų dalių, dokumento apimtis); lentelės ketinimų maršrutizavimas (60/40 lentelės ir teksto mišinys, kai klasifikatorius aptinka lentelių ketinimą); perrikiavimas su keturiais perjungiamais backendais (kryžminis koduotuvas, NLI/DeBERTa, Jina v3, deterministinis); kontekstinis suspaudimas, ribojamas pagal vaidmenį; balų stebėjimą su dreifo įspėjimais, signalizuojančiais pakartotinį įtraukimą; ir postapdorojimą, kuris normalizuoja citatas ir išgauna lenteles bei paveikslėlius kaip struktūruotą išvestį.
Dauguma komercinių sistemų veikia trimis etapais: įkėlimas, išgavimas, generavimas. Skirtumas nėra kosmetinis — kiekviena papildoma fazė yra valdomas gedimo režimas.
Hibridinis paėmimas: gyvas, valdomas, sąmoningas kolekcionavimas
Dense+BM25 hibridinė paieška — konfigūracija, kuri 2026 m. etalonuose laikoma gamybos baze, verta +5–15% nDCG teisiniuose ir techniniuose korpusuose (BEIR/MIRACL) — yra įgyvendinta ir aktyvi rag2_service.py: pavadinti tankūs ir reti vektoriai Qdrant, RRF išankstinio atsisiuntimo svoriai, konfigūruojami vykdymo metu per audito panelę (numatytasis 0,7 tankus / 0,3 retas), audito lygio išjungimo jungiklis (hybrid_search_enabled), ir kiekvienai kolekcijai skirtų gebėjimų patikra, kuri grakščiai degraduoja iki tankio tik tada, kai kolekcija neturi retų vektorių. Šaltinio komentaruose BEIR ir MIRACL minimi pavadinimais. Tai nėra sistema, kuri atrado hibridinį paiešką iš pamokos.
Priešiškas testas: variklis atsisakė suklastoto gaminio
Gyvas testas, Superadmin lygis, 2026 m. birželio 9 d. Užklausoje buvo prašoma nurodyti "tikslų perdirbto turinio slenkstį pagal ESPR deleguoto įstatymo tekstilei 7 straipsnį" – sąmoningai sukurta prielaida: tekstilės deleguotas įstatymas nėra galutinai patvirtintas ir tokio slenksčio nėra.
Variklio atsakymas, pažodžiui svarbiausiame savo tekste: "Indeksuotame korpuse nėra konkretaus skaitinio slenksčio pagal 7 straipsnį [...] negalima cituoti iš turimų šaltinių be rizikos būti suklastotam. Tai esminis skirtumas: aš nesukursiu procento ar straipsnio pastraipos, kurios nėra indeksuotuose dokumentuose." Vėliau jis perėjo prie to, ką korpusas patvirtina – ESPR 5(3) straipsnis kaip tikrasis teisinis ekodizaino reikalavimų pagrindas – su nuoroda į failo puslapio lentelės detalumą (Answers_Com_Work_Doc_2nd_Mil.pdf | p.413 | § Table 40).
Bendros paskirties LLM apvalkalas, užduodamas tą patį klausimą, labiausiai tikėtina duos procentą. Statistiškai tikėtini slenksčiai yra būtent tai, ką kalbos modeliai generuoja, kai jie nėra ribojami. Atitikties srityje užtikrintas neteisingas atsakymas nėra pablogėjęs atsakymas – tai atsakomybės įvykis. Atsisakymas yra produktas.
Šis elgesys atitinka viešai dokumentuotą etaloną (20/20 atmetimas trijų kategorijų priešiškoje aibėje: neegzistuojančios nuostatos, dalinės tiesos prielaidos, kontrolės), paskelbtą su metodologija adresu stefanocipri.substack.com ("RAG, kuris sako, kad nežinau", 2026 m. balandis), kur gedimo režimas, kurį jis taiko, pavadintas: gamyba pagal sudėtį.
Rezultatai pagal dimensiją
DimensijaPozicija prieš 2026 metų situacijąĮrodymų tvirtinimasCitavimo detalumasAukščiausias lygis (~5%)Failas + puslapis + skyrius + instituciniai indėlio ID (pvz. bb6997ac), liveDomain specifiškumas (textile DPP)Nėra žinomo lygiaverčio (~1%)Nuosavas korpusas: CIRPASS-2 pozicijos, EN standartų juodraščiai, validatoriaus taisyklės SEM006/TXT001–005Anti-haliucinacijų elgsenaAukščiausias lygis (~1–5%)Tiesioginis suklastotų straipsnių atsisakymas; paskelbta 20/20 priešiškas etalonasHibridinis paieškos įgyvendinimasFrontierLive BM25+tankus, reguliuojamas RRF, audito išjungimo jungiklis, kolekcijų sąmoningas atsarginis variantasVertinimo metodikaAukščiausio lygio (~5%)RAGAS + auksiniai rinkiniai + LLM-as-judge + versijos A/B, repopoDaugiakalbė operacijaAukščiausio lygio (~5%)30+ UI kalbos, kalbos vykdymo taisyklė, IT→EN įterpimo tiltasValdymas ir auditaAukščiausias lygis (~5–15%)Kiekvieno vaidmens konfigūracija, auditas-pirmas vykdymo laikas, dreifo stebėjimas, balų registravimasŽemiau bazės Jina kolekcija užpildyta tik partijiniu būdu; nėra įkėlimo užklausos metu
Metodologinis sąžiningumas dėl šios lentelės: procentilinės pozicijos yra kokybiniai įverčiai, gauti lyginant inspektuotą architektūrą su 2026 m. paskelbtais sistemų aprašymais (hibridinės kaip bazės ataskaitos; agentinės RAG laimėjimo rodiklio publikacijos 64–76 % diapazone prieš bendruosius asistentus įmonių korpusuose; karkaso paieškos tikslumo palyginimai 85–92 % diapazone). Tai nėra tiesioginis palyginimo rezultatas. In-repo RAGAS panaudojimas leidžia tokį vykdymą vykdyti ir publikuoti; kol jis nebus paskelbtas, aukščiau pateikta lentelė yra ekspertų vertinimas, o ne matavimas.
Ko krūva dar neturi
Trys spragos, aiškiai išdėstytos. Pirma, inkrementinis indeksavimas: Jina vėlyvo blokavimo kolekcija užpildoma partijiniu skriptu, o ne pagal poreikį; nauji dokumentai laukia kito įkėlimo. Antra, formalūs etaloniniai numeriai egzistuoja kaip infrastruktūra, bet dar ne kaip paskelbtas artefaktas – stipriausias vienas žingsnis yra paleisti in-repo RAGAS rinkinį prieš auksinį rinkinį ir paskelbti skaičius šalia metodologijos. Trečia, RAG1 vertinamas tik pagal architektūrą; jo atkūrimo kokybė nėra dokumentuota už vidinio naudojimo ribų.
Nė vienas iš jų nėra struktūrinis. Visi trys yra savaitės, o ne ketvirčiai.
Kodėl tai svarbu ne tik vienai įmonei
2026 metų rinka perpildyta "DI atitikties asistentais", kurie yra ploni apvalkalai ant bendros paskirties modelių: po vieną įterpimą kiekvienai užklausai, tik tankų paiešką, geriausiu atveju failų pavadinimų lygio citatas, jokio vaidmens valdymo, jokio dreifo stebėjimo ir – ryžtingai – jokio atsisakymo elgesio pagal suklastotas prielaidas. Patys standartų kūrėjai pripažįsta patikros spragas, kurias šie įrankiai užgožia.
Čia vertinama sistema apverčia įprastą statybos tvarką. Ji nebuvo sukurta ML komandos, įgyjančios srities žinių; ją sukūrė srities ekspertas – turintis trisdešimties metų patirtį tarptautinėse tekstilės tiekimo grandinėse, CIRPASS-2 ekspertas narys (EWG1, EWG3), JRC registruotas suinteresuotasis asmuo (B5 vienetas) – įgijęs paieškos inžineriją. Korpusas žino, kas yra transakcijų sertifikatas, kada jis fiziškai atkeliauja kartu su siunta ir kodėl ISO pluošto sudėties testavimo metodai negali atskirti perdirbto nuo naujo poliesterio. Šios žinios yra indekse, nes indeksą sukūręs asmuo praleido tris dešimtmečius jas mokydamasis.
Atkūrimo vamzdyną finansuojama komanda gali pakartoti per ketvirtį. Jame esantis korpusas ir jame užkoduoti sprendimai negali. Ši asimetrija yra ginamas turtas.
Reeco® yra DPP patvirtinimo platforma, sukurta remiantis UNTP 0.7.0 ir W3C patikrinamais duomenimis, turinti nuosavą masės balanso variklį kiekvienam drabužiui (SIAE depozitas). Reeco neblokuoja DPP išdavimo: variklis kiekybiškai įvertina aprėptį ir informuoja prekės ženklą, kuris išlaiko autonominius sprendimus – pagal dizainą. Stefano Cipriani yra Reeco® įkūrėjas, CIRPASS-2 (EWG1, EWG3) ekspertas, JRC registruotas suinteresuotasis asmuo.