Simon Larsen

Byg ikke bare RAG, evaluér det!

Mange virksomheder anvender Retrieval-Augmented Generation (RAG) til at integrere specialiseret domæneviden, såsom juridiske rammer og farmaceutiske reguleringer, i generiske Large Language Models (LLMs) for at høste fordelene ved generativ AI.

Alligevel ses et tilbagevendende mønster i praksis: alle vil have RAG, mange teams implementerer det, men få kan med sikkerhed sige, om det fungerer godt, eller hvorfor. Efterhånden som RAG-systemer bevæger sig fra prototyper til forretningskritiske arbejdsgange, kan performance ikke længere tages for givet. Vi er trådt ind i en ny fase af genAI: ikke længere “Kan vi bygge det?”, men “Kan vi måle det, overvåge det og forbedre det systematisk?”

Jeg vil præsentere praktiske tilgange til at evaluere RAG-pipelines fra end-to-end: kvaliteten af retrieval, grounding og troværdighed, svarenes anvendelighed samt analyse af fejltilstande. Jeg vil også diskutere, hvordan lightweight-evalueringsdashboards og transparente metrikker skaber hurtigere iteration loops, og hvordan man kan indlejre en evalueringsproces og -kultur i organisationer. Mit hovedbudskab er enkelt: Implementering af RAG er ikke blot en teknisk opgave. Det er et evalueringsskifte, som afgør, om generativ AI bliver pålidelig i stor skala.

BAGGRUND OG ERFARING:

Jeg er​ AI-ingeniører hos Capacit A/S med omfattende erfaring i projekter med fokus på implementering af RAG- og AI-systemer, med en tung baggrund i Deep Learning og Machine Learning.

Jeg​ er en fransk-dansk AI-ingeniør fra DTU med en kandidatgrad i Mathematical Modelling and Computation, specialiseret i anvendt matematik til deep learning. Siden jeg er blevet en del af Capacit, har jeg fuldt udviklet et selvstændigt AI-system til CV-matching af jobmuligheder, et komplet RAG-system designet til at assistere med skandinaviske lovapplikationer samt et operationelt RAG-system, der kan besvare præcise forespørgsler baseret på en stor og kompleks maskininstruktionsmanual.