Het probleem met LLM’s
Grote taalmodellen (LLM’s) zijn indrukwekkend, maar hebben fundamentele beperkingen:
Nadeel: Knowledge cutoff
Trainingsdata heeft een einddatum. Het model weet niets van wat daarna is gebeurd.
Nadeel: Hallucinaties
LLM’s genereren soms overtuigende maar feitelijk onjuiste informatie.
Nadeel: Geen private data
Het model kent je interne documenten, databases of bedrijfskennis niet.
Nadeel: Geen bronvermelding
Antwoorden zijn niet verifieerbaar: waar komt de informatie vandaan?
Wat is RAG?
Retrieval-augmented generation (RAG) is een techniek die een LLM combineert met een externe kennisbron. In plaats van alleen te vertrouwen op wat het model “weet”, haalt RAG eerst relevante informatie op en gebruikt die als context voor het antwoord.
Hoe werkt RAG?
RAG werkt in vier stappen:
Vraag
De gebruiker stelt een vraag.Retrieve
Zoek relevante documenten.Augment
Voeg die context toe aan de prompt.Generate
Het LLM genereert het antwoord.
RAG-componenten
Documentbron
De bron van kennis: PDF’s, websites, databases, API’s. Documenten worden opgesplitst in chunks.
Embeddingmodel
Zet tekst om in vectoren (getallen) die de semantische betekenis representeren.
Vectordatabase
Slaat embeddings op en maakt snelle similarity search mogelijk. Dat kan een gespecialiseerde vectordatabase zijn of een vectorextensie op een bestaande relationele database.
LLM
Genereert het uiteindelijke antwoord op basis van de vraag en de opgehaalde context.
Voordelen van RAG
- Actueel: de antwoorden zijn zo actueel als je documenten. Werk ze bij en indexeer opnieuw.
- Minder hallucinaties: het model baseert antwoorden op feitelijke bronnen, niet op “herinnering”.
- Bronvermelding: antwoorden kunnen verwijzen naar specifieke documenten voor verificatie.
- Private data toegankelijk: interne documenten, handleidingen en beleidsstukken, zonder het model te hertrainen.
- Kostenefficiënt: goedkoper dan fine-tuning en makkelijker te onderhouden.
Praktische toepassingen
Klantenservice
Chatbot die antwoordt op basis van veelgestelde vragen, handleidingen en tickethistorie.
Juridisch en compliance
Zoeken in contracten, beleid en regelgeving met natuurlijke taal.
Documentatie voor ontwikkelaars
Code-assistenten die interne codebases en documentatie kennen.
Zoeken binnen de organisatie
Semantisch zoeken over wiki’s, intranet, gedeelde mappen en andere interne bronnen.