AI & Innovation

LLMs All The Way Down: Automating Subjective Model Evaluation

As language models achieve widespread adoption, accurately assessing the quality of the outputs they generate remains a significant challenge. Whilst we’ve seen great success in measuring their logical, mathematical and coding abilities, we still struggle to assess their abilities within artistic domains like writing and painting. In this talk we introduce “LLM-as-a-judge” as one approach for tackling this challenge, where we utilize language models to serve as human stand-ins in the evaluation process. We will begin by covering the high-level conceptual framework we’ve been using, before moving on to a live demonstration of how these principles can be implemented in practice.

Keith Lia is a programmer and data engineer with a decade of experience within the Danish games industry. My background is in Computer Science and AI, with a big passion for Computational Linguistics, and currently working at RawPowerGames to research how AI can help improve our gaming experience.

Kristian Dam Pedersen is a data engineer working to leverage the rapidly accelerating power of AI, to help artists, developers and designers bring their creative visions to life.

Se optagelsen

Se præsentationen

AI Model til risikoscoring af Kardiologiske Patienter – Implementering og RCT Studie i Sundhedsplatformen

I denne præsentation vil vi præsentere og gennemgå implementering af den første AI model i Sundhedsplatformen, der kører i et nær-realtids-setup, hvor kardiologiske patienter, der får foretaget en KAG (Koronar Arteografi) fuldautomatisk bliver risikoscoret af en AI model indenfor få minutter efter procedurens afslutning.

AI modellen beregner, på baggrund af 10 års data af bl.a. diagnosekoder, procedurekoder, blodprøveværdier og kardiologispecifikke variable, en score for patientens 1-års mortalitetsrisiko samt tilhørende forklarende variable. AI modellens output bliver præsenteret i patientjournalen ved siden af andet relevant information og tæt på kardiologens sædvanlige arbejdsgang.

Patienterne bliver randomiseret således at halvdelen tilfældigt udvalgt bliver en del af en testgruppe (risiko score og forklarlighed vises for kliniker) og halvdelen til kontrolgruppe, hvor ingen af delene vises. Vi har dermed mulighed for løbende at monitorere statistiske forskelle i de to populationers videre forløb.

Bio: Anders Riis-Jensen har en PhD i Fysik fra DTU og er ansvarlig for team AI i SP Sundhedsdata i Region Hovedstaden som udvikler og implementerer AI modeller i Sundhedsplatformen.

Se optagelsen

Se præsentationen

SkoleGPT: AI i Folkeskolen

Lanceringen af ChatGPT har skabt en brændende platform i folkeskolerne. Man vil gerne inddrage kunstig intelligens i undervisningen men grundet sikkerhedsproblemer er ChatGPT et no go. Det er udfra dette ønske at SkoleGPT kom til verden. SkoleGPT er et forsøg på at imødekomme dette ønske ved at skabe et ChatGPT alternativ med fokus på sikkerhed, compliance og uden nogen form for logging. SkoleGPT bygger på Open Source teknologi og er fuldt GDPR compliant.

I dette indlæg vil vi fortælle historien om, hvordan SkoleGPT kom til verden, samt hvordan den er skruet sammen. Derefter kigger vi fremaf for at se hvordan SkoleGPT kan se ud i fremtiden, samt belyse hvordan en platform som SkoleGPT medvirker til at fremme dansk sprogteknologi.

Danni Dromi er datalog fra Københavns Universitet og har 10 års erfaring med AI, data og software. Han arbejder idag som selvstændig konsulent og foredragsholder indenfor AI med fokus på Store Sprogmodeller og Generativ AI.

Martin Exner er initiativtager til SkoleGPT. Han er læreruddannet og kandidat i IT, læring og organisatorisk omstilling. Han arbejder i dag som konsulent i Future Classroom Lab ved CFU. Han har været med til at skabe Coding Pirates foreningen og efterfølgende Coding Class-konceptet med ITB.

Se optagelsen

Se præsentationen