RAG-vestlusbot ei ole mudel, mis „teab teie äri“. See on otsingsüsteem, mis on ühendatud keelemudeliga: kui klient midagi küsib, leiab süsteem kõigepealt teie dokumentatsioonist kõige asjakohasemad lõigud ja palub siis LLM-il vastata ainult nende põhjal. Tee otsing hästi — mudel jääb faktitruuks. Tee halvasti — saad enesekindla valetaja teie brändi all.
Arhitektuur algusest lõpuni
- Teadmusallikad: abikeskuse artiklid, tootedokumentatsioon, varasemad piletid, poliitikad. Puhtad, ilma dubleerimiseta, selge uuendamise vastutajaga.
- Tükeldamine ja vektorid: dokumendid jagatakse lõikudeks ja teisendatakse vektoriteks, et otsida tähenduse, mitte ainult märksõnade järgi.
- Vektorhoidla: andmebaas (pgvector, Pinecone, Qdrant), mis tagastab millisekunditega iga küsimuse lähimad lõigud.
- Otsing + viip: parimad lõigud lisatakse viipasse koos juhisega vastata ainult nende põhjal ja viidata allikale.
- Guardrails: keeldumisreeglid, kindlustlävi ja üleminek inimesele, kui otsing tuleb tagasi nõrk.
Mida see tegelikult maksab
Olulised on kaks kulurida. Ehituskulu on enamasti ühekordne: teadmusbaasi puhastamine, konveieri ühendamine, guardrails’ide kirjutamine ja otsingu häälestamine. Käituskulu on vestluse kohta — vektorid on odavad, kuid iga vastus maksab LLM-kutse pluss leitud konteksti tokenid. Hästi piiritletud agent lahendab tavaliselt enamiku rutiinsetest piletitest murdosa hinnaga inimese vastusest ja sääst kasvab baasi paranedes. Viga on pidada seda fikseeritud varaks; see on süsteem, mis vajab omanikku ja hoolduseelarvet.
Lõksud, mis projektid uputavad
- Hallutsinatsioon ilma viiteta: kui mudel saab vastata allikat näitamata, leiutab ta selle lõpuks. Sunni allikapõhiseid vastuseid.
- Aegunud teadmusbaas: agent tsiteerib enesekindlalt poliitikat, mille muutsid kolm kuud tagasi. Uuendused vajavad omanikku, mitte häid kavatsusi.
- Pole inimese varuvarianti: kui otsing on nõrk, on viisakas „Ühendan teid inimesega“ alati parem kui vale vastus.
- Otsing tagastab valed lõigud: tavaliselt tükeldamise või vektorite probleem, mitte mudeli oma — paranda enne LLM-i süüdistamist.
- Tarnimine ilma hindamiseta: ei saa parandada seda, mida ei mõõda. Jälgi esimesest päevast lahendusmäära, eskalatsioonimäära ja vastuse täpsust.
Hea RAG-toe agent on enamasti tagasihoidlik töö: puhtad andmed, ausad guardrails ja mõõtmisring. Mudel on lihtne osa. Me ehitame neid samamoodi nagu kõike muud — seenior-ülevaatusega, selge töö jaoks ja plaaniga päevaks, mil teadmusbaas muutub.
Seotud teenused