Validering af AI-modeller i GxP-miljøer

AI i GxP-miljøer 

Mange i Life Science ser AI som en mulighed for at optimere produktion, kvalitet og beslutningsstøtte. Men så snart teknologien tages i brug i et GxP-miljø, opstår et grundlæggende spørgsmål:  

Hvordan dokumenterer og kontrollerer vi en AI-model gennem hele dens livscyklus?

En AI-model lærer ikke nødvendigvis videre, når den er taget i brug. Mange modeller låses efter træning og ændres kun gennem en kontrolleret opdatering eller retræning. Det er vigtigt i regulerede miljøer, fordi ændringer i model, data, software eller anvendelse kan kræve ny risikovurdering og hel eller delvis revalidering.

Der findes ikke pt ét fælles regelsæt for al AI i Life Science. Kravene afhænger blandt andet af, om systemet bruges i GMP-produktion, lægemiddeludvikling, kliniske aktiviteter, farmakovigilance eller som medicinsk udstyr. Valideringen skal derfor tage udgangspunkt i systemets tilsigtede anvendelse, regulatoriske kontekst og betydning for patientsikkerhed, produktkvalitet og dataintegritet.

Hvad betyder validering i AI-sammenhæng? 

I en GxP-kontekst skal validering eller en tilsvarende dokumenteret vurdering give sikkerhed for, at systemet er egnet til sin tilsigtede anvendelse i det konkrete driftsmiljø. Den præcise dokumentation afhænger af anvendelsen og det relevante regelsæt.

For en AI-model omfatter det både selve modellen og den samlede løsning: datakilder, preprocessing, software, brugergrænseflade, menneskelig kontrol og de processer, som modellens output indgår i.

AI giver særlige udfordringer, fordi

• performance påvirkes af træningsdata og anvendelseskontekst,
• modeller kan have begrænset forklarbarhed,
• performance kan ændre sig, hvis driftsdata afviger fra de data, modellen blev udviklet og testet på.

Valideringen bør derfor være risikobaseret og omfatte sporbarhed, datakvalitet, robuste performancekrav, kendte begrænsninger, ændringsstyring og overvågning efter idriftsættelse.

Godkendelsesansvaret skal være fastlagt i organisationens kvalitetssystem. QA vil ofte have en central rolle i vurdering eller godkendelse af procedurer og valideringsdokumentation, men den konkrete ansvarsfordeling afhænger af systemets anvendelse og organisationens procedurer. Tilsynsmyndigheder kan efterprøve dokumentationen ved inspektion eller regulatorisk vurdering, men forhåndsgodkender ikke generelt hver intern AI-model. Hvis modellen indgår i dokumentation for et lægemiddel, en klinisk aktivitet eller et medicinsk udstyr, kan den dog blive underlagt en særskilt regulatorisk vurdering.

Syv centrale forhold, der bør afklares og dokumenteres 

1. Tilsigtet anvendelse og regulatorisk kontekst

Hvilken beslutning eller proces understøtter systemet? Hvem er brugerne, hvilke input og output indgår, og hvilke anvendelser ligger uden for systemets formål? Hvilke GxP-, produkt- og AI-regler gælder for netop denne anvendelse?

2. Risikovurdering og acceptkriterier

Hvilke fejl kan opstå, hvor alvorlige er konsekvenserne, og hvilke tekniske eller proceduremæssige kontroller reducerer risikoen? Performancekrav og acceptkriterier skal fastlægges før den endelige test og stå i forhold til risikoen.

3. Data og datagovernance

Dokumentér datakilder, proveniens, rettigheder, datakvalitet, mærkning, preprocessing, datasporbarhed og versionering. Vurder, om data er relevante og tilstrækkeligt repræsentative for den tilsigtede population og det forventede driftsmiljø, og om relevante undergrupper er dækket.

4. Modeludvikling og test på adskilte data

Dokumentér modelversion, udviklingsproces, valg af metrikker og adskillelse mellem trænings-, validerings- og testdata. Den endelige performance skal vurderes på data, som ikke er anvendt til træning eller modelvalg. Afhængigt af anvendelsen kan ekstern eller klinisk validering være nødvendig.

5. Robusthed, begrænsninger og menneskeligt tilsyn

Test relevante fejlsituationer, variationer i input, dataskift og grænsetilfælde. Dokumentér kendte begrænsninger, hvordan usikre eller ugyldige output håndteres, og hvornår et menneske skal kontrollere, tilsidesætte eller afvise modellens resultat.

6. Implementering, sikkerhed og sporbar drift

Kontrollér, at den validerede modelversion er den version, der faktisk anvendes. Dokumentér adgangskontrol, audit trails, dataintegritet, cybersikkerhed, integrationer og muligheden for at rekonstruere relevante input, output og handlinger.

7. Overvågning og ændringsstyring

Fastlæg, hvordan performance, dataskift, fejl og afvigelser overvåges efter idriftsættelse. Ændringer i model, data, tærskelværdier, software eller tilsigtet anvendelse skal underlægges change control og en dokumenteret vurdering af behovet for revalidering. Kontinuerlig automatisk læring kræver særlig regulatorisk vurdering og er ikke en ukontrolleret genvej til løbende forbedring.