Techtopia 380: Hvor meget strøm kræver en prompt?

Ved du egentlig, hvor meget strøm, du bruger, hver gang du skriver en prompt i en AI app?

Hvor meget strøm kræves der egentlig for at lave en prompt? Det har vi diskuteret i et stykke tid uden, at vi egentlig har fået et svar.

Flere har citeret en påstand om, at en prompt svarer til 40 mobilopladninger, hvilket står i stærk konstrast til, at man på sin smartphone kan bruge en lokal app, der kan køre fleres forskellige sprogmodeller lokalt - uden at det dræner ens batteri nævneværdigt.

Og nu hævder Google, at en prompt på deres AI tjeneste Gemini svarer til at se tv i ni sekunder.

I Techtopia har vi også talt med kloge folk, som har redegjort for forskellige estimater, men problemet har hidtil været, at AI virksomhederne har holdt deres tal for sig selv - det har simpelthen knebet med transparens.

Men på det seneste er der kommet tal fra både franske Mistral og amerikanske OpenAI. Og for et par uger siden udgav Google det hidtil mest omfattendes whitepaper om energiforbruget på firmaets AI-tjeneste Gemini. Spørgsmålet er, hvad Googles whitepaper fortæller os, og om vi kan bruge det til at sammenligne de forskellige tjenester og dermed skabe et mere retvisende overblik over energiforbruget, når det handler om de store sprogmodeller?

Derfor har vi inviteret Google i studiet for at redegøre for, hvordan de er nået frem til, at en prompt svarer til at se tv i ni sekunder. Bagefter får vi en ekspert i sprogmodellers energiforbrug til at sætte Googles whitepaper i perspektiv.

Medvirkende: Jesper Vangkilde; kommunikationschef, Google Danmark. Kasper Groes Albin Knudsen, forperson, Danish Data Science Community.

Link: Googles whitepaper: https://services.google.com/fh/files/misc/measuring_the_environmental_impact_of_delivering_ai_at_go…