Att bygga en RAG-kundtjänstagent: arkitektur, kostnader och fallgropar

En RAG-chatbot är inte en modell som ”känner ditt företag”. Det är ett söksystem kopplat till en språkmodell: när en kund frågar något hittar systemet först de mest relevanta avsnitten ur din egen dokumentation och ber sedan LLM:en svara enbart utifrån dem. Gör sökningen rätt, så håller sig modellen till fakta. Gör den fel, och du har en självsäker lögnare i ditt varumärke.

Arkitekturen, från början till slut

• Kunskapskällor: hjälpcenterartiklar, produktdokumentation, tidigare ärenden, policyer. Rena, utan dubbletter, med tydligt ansvar för uppdateringar.
• Uppdelning och embeddings: dokument delas i avsnitt och görs om till vektorer så att de kan sökas på betydelse, inte bara nyckelord.
• Vektorlager: en databas (pgvector, Pinecone, Qdrant) som returnerar de närmaste avsnitten på millisekunder.
• Gjenfinning + prompt: de bästa avsnitten förs in i prompten med instruktion att svara enbart utifrån dem och ange källan.
• Guardrails: avslagsregler, en förtroendetröskel och övergång till en människa när sökningen blir svag.

Vad det faktiskt kostar

Två kostnadsrader spelar roll. Byggkostnaden är mest engångs: städning av kunskapsbasen, koppling av pipelinen, skrivning av guardrails och justering av sökningen. Driftskostnaden är per konversation — embeddings är billiga, men varje svar betalar för LLM-anropet plus de hämtade kontext-tokenen. En väl avgränsad agent löser oftast en tydlig majoritet av rutinärenden till en bråkdel av kostnaden för ett mänskligt svar, och besparingen växer när kunskapsbasen förbättras. Misstaget är att behandla den som en fast tillgång; det är ett system som behöver en ägare och en underhållsbudget.

Fallgroparna som sänker projekt

• Hallucination utan källhänvisning: om modellen kan svara utan att visa en källa kommer den till slut att hitta på en. Tvinga fram källförankrade svar.
• En föråldrad kunskapsbas: agenten citerar självsäkert en policy du ändrade för tre månader sedan. Uppdateringar behöver en ägare, inte goda avsikter.
• Ingen mänsklig fallback: när sökningen är svag slår ett artigt ”jag kopplar dig till en person” ett felaktigt svar varje gång.
• Sökning som returnerar fel avsnitt: oftast ett uppdelnings- eller embedding-problem, inte ett modellproblem — fixa det innan du skyller på LLM:en.
• Att lansera utan utvärdering: du kan inte förbättra det du inte mäter. Spåra lösningsgrad, eskaleringsgrad och svarsnoggrannhet från dag ett.

En bra RAG-stödagent är mest oglättig arbete: rena data, ärliga guardrails och en mätslinga. Modellen är den enkla delen. Vi bygger dem på samma sätt som allt annat — seniorgranskat, avgränsat till en tydlig uppgift och levererat med en plan för dagen då kunskapsbasen ändras.