Kør AI agenter på egen hardware

Kom og lær hvordan agentic workflows er bygget. Vi kommer til at gennemgå, hvad der sker, når vi sender en prompt igennem en LLM, og hvad der kommer ud i den anden ende. 

Hvordan finder man åbne vægtmodeller, og hvor store modeller kan praktisk køre på en laptop, en server eller en dedikeret AI-boks som fx NVIDIA DGX?  

Hvad er forskellen på de forskellige modeller, og hvordan får vi dem rent praktisk til at køre på ens egen laptop? 

Det ved Asbjørn Olling en masse om.

Asbjørn har arbejdet med AI-løsninger i mange år og er nu aktiv i startup-et Nobodywho, som har udviklet et bibliotek, der gør det nemt at komme i gang med at køre små modeller på lokal hardware. 

Formatet er en workshop, og vi forventer, at du som deltager ikke er bange for Linux, at skulle kode i Python og downloade open source-modeller på din laptop. 

Modellerne, vi kommer til at arbejde med, starter i størrelsen på omkring et par GB. Senere kommer vi til at lege med modeller, som er langt større end vi har RAM til, og hvad sker der så?  

Vi kommer til at kigge på et par forskellige agentic frameworks - som vi piller fra hinanden for at forstå, hvordan disse er bygget op. 

Workshoppen er ledet af Jørgen Kragh Jakobsen, som nu i et år har arbejdet med agentic workflows inden for chip- og embedded hardwareudvikling. Samt Asbjørn Olling fra Nobodywho og Gustaf Jerker Hammerberg som blandt andet underviser i dette emne på DTU. 

Der serveres sandwich i løbet af aftenen. 

Vil sætter et isoleret netværk op med en fil-server som har kopier af de modeller vi kommer til at arbejde med. Samt en server med et større grafikkort som vi kan bruge til at køre nogle af de større modeller på.