LLMs eller store sprogmodeller, for at bruge den danske betegnelse. Har udviklet sig markant på kort tid. Chain of Thought (CoT) har været kendt og effektiv metode i et godt stykke tid efterhånden. Og det er til dels samme ”grundtanke” der gør at modeller som o1 og Deepseek fungerer så godt, med deres ”reasoning” opsætning. Her udføres flere mindre udregninger, der bruges i det næste svar. Denne måde at arbejde på kommer dog ikke uden en pris. Det kræver flere tokens, hvilket både betyder at pris og hastighed bliver påvirket negativt.
Det er disse to problemer, som Chain of Draft (CoD) forsøger at løse.
Hvad er Chain of Draft?
CoD er en ny måde at få sprogmodeller til at tænke på, som er inspireret af hvordan mennesker faktisk løser problemer. I stedet for at skrive lange, detaljerede forklaringer (som i Chain of Thought), opfordrer CoD modellerne til at bruge korte, præcise “udkast” – ofte med et højst 5 ord pr. tankeskridt.
“Det er virkelig en interessant tilgang. Der på en måde er original, men samtidig simpel i sin tankegang. Vi kommer til at teste det i en del af vores AI agenter. Især hvor hastigheden spiller en vigtig rolle eller hvor tokens forbruget er højt”
Dette eksempel er fra afhandlingen ”Chain of Draft: Thinking Faster by Writing Less” der er udgivet af flere AI research scientists fra Zoom.
Spørgsmål: Jason havde 20 slikkepinde. Han gav nogle til Denny. Nu har Jason 12 slikkepinde. Hvor mange slikkepinde gav Jason til Denny?
Standard svar (uden steps): 8
Chain of Thought (CoT):
Lad os tænke step by step:
- Fra start havde Jason 20 slikkepinde.
- Efter at have givet nogle til Denny, har Jason nu 12 slikkepinde.
- For at finde ud af, hvor mange slikkepinde Jason gav til Denny. Kræver det at vi skal lave en udregning af forskellen imellem det oprindelige antal slikkepinde, og det antal slikkepinde der er tilbage.
- Vi kan derfor opstille regnestykket: Antal slikkepinde fra start – Tilbageværende antal slikkepinde = Slikkepinde givet til Denny
- Indsætter vi tallene: 20 – 12 = Slikkepinde givet til Denny
- Løser udregningen: 20 – 12 = 8
Derfor gav Jason 8 slikkepinde til Denny.
Chain of Draft (CoD):
20 – x = 12; x = 20 – 12 = 8.
CoD giver altså stadig en ”forklaring” på hvordan svaret er kommet frem, men slet ikke i samme detaljer med CoT.
Hvordan fungerer det?
Chain of Draft er forholdsvis simpel i sin opbygning.
Kortfattede steps
CoD begrænser hvert trin til et begrænset antal ord, oftest fem ord eller mindre, hvilket fremmer effektiviteten. Antallet af ord kan man eksperimentere med, alt efter opgaven. Men i afhandlingen, benyttes 5 ord som udgangspunktet.
Fokus på det essentielle
Metoden prioriterer kun at fange det mest essentielle, der hjælper med problemløsningen, hvilket afspejler hvordan mennesker typisk tænker.
Abstrakte sætninger
CoD sammenfatter hvert step til minimale, og til tider abstrakte sætninger, ofte ved at koge komplekse problemer til små korte bider, der i sig selv og uden kontekst ikke vil give mening.
Trin-for-trin tilgang
På trods af de korte sætninger er fokus med CoD stadig trin for trin princippet, hvilket sikrer en logisk fremgangsmåde. Dog uden en masse tekst, der normalt er tilfældet og med CoT. Hvilket gør at pris og hastighed er en helt anden med CoD.
Hvor kan jeg bruge Chain of Draft?
Chain of Draft kan være særligt nyttigt i situationer, hvor effektivitet og hastighed er afgørende.
“Det kan 100% bruges i praksis. Spørgsmålet er til hvilke opgaver, for hvis kvaliteten falder for meget, er det naturligvis uinteressant. Hos HverdagsAI vil vi teste det af i vores AI automations. Og samtidig forventer jeg også at, der vil blive videreudviklet på teknikken og forfinet detaljer, så kvaliteten vil stige yderlige på sigt.”
Oplagte anvendelsesområder
- Applikationer der kører i realtid
Det kan være chatbots og kundeservice, hvor hastighed er afgørende. Samtidig med mængden af chats kan være høj, hvorfor det giver mening at se på tokens forbruget. - Systemer med begrænset computerkraft
Har man begrænset hukommelse eller CPUressourcer vil CoD kunne gøre det muligt at løse udfordringer, der ikke vil kunne lade sig gøre. - Matematiske og logiske problemer
Her kan svar oftest koges ned, så teksten i en udregning er eksempelvis mindre vigtig end de tal, der vises. - Komplicerede tænkeopgaver
Når der normalt kræves mange steps, vil CoD være oplagt som minimum at teste.
Fordele ved Chain of Draft
Fordelene ved Chain of Draft er hastighed og forbruget af tokens. Det er dog når du sammenligner med den klassiske CoT. Sammenligner du med de svar du får ved en normal prompt, så handler det om kvaliteten af outputtet, hvor der sker færre fejl. Så kvaliteten stiger altså, men uden prisen kommer i nærheden af CoT tilgangen. Så lad os kigge lidt mere på de enkelte punkter.
Markant reduktion i tokensforbrug
I afhandlingen fra Zoom, viser deres resultater, at der i mange tilfælde kan opnås samme nøjagtighed som med CoT. Mens tokenforbruget kun er 1/13 vs. CoT. Så med andre ord får du en del af de samme gevinster som med CoT, men til en brøkdel af prisen.
Lavere omkostninger og svartid
Færre tokens betyder hurtigere svar og færre omkostninger. Hvor det bliver muligt at benytte LLMs til opgaver, der tidligere ikke kunne lade sig gøre.
Alsidighed
CoD har vist sig effektivt på tværs af forskellige opgaver. Det er ikke begrænset til matematik eller logisktænking.
Udfordringer og begrænsninger
Når man prøver at effektiviserer er der altid en risiko for, at man kan komme galt afsted.
“Kvaliteten risikerer at falde, så det kræver at man tester. Hvis hastighed ikke er relevant og det er få opgaver, som det drejer sig om giver det ikke mening at bruge tid på. Men for langt de fleste opgaver, hvor man i dag vil starte med eller allerede bruger CoT, så vil det være tosset ikke at teste, om kvaliteten vil forblive den samme.”
Potentielle begrænsninger
- Inkonsistens uden eksempler
CoD effektivitet kan falde hvis der ikke gives eksempler. Og her kan der være stor forskel på de forskellige LLM’er der findes. Ift. hvor godt de håndterer CoD tilgangen. Test derfor forskellige modeller. - Reduceret ydeevne på små modeller
Mindre sprogmodeller (under 3B parametre) giver dårligere resultater med CoD sammenlignet med CoT. Så igen TEST! - Balance mellem effektivitet og tydelighed
Det kan blive for kort. Og det behøver ikke kun være 5 ord. Dette er bare eksemplet fra udgivelsen. Bliver det for kort, kan der opstå misforståelser også selvom du benytter større sprogmodeller.
Konklusion
Chain of Draft går direkte ind og effektivisere i en del AI automation flows, som vi kører i dag. Hvor vi får sat hastigheden op og prisen ned, uden kvaliteten falder. Der er helt sikkert også nogle automationer, hvor CoT stadig er krævet for at kunne holde kvaliteten i top.
Hvis du ikke har testet eller arbejdet med CoD, så vil vi anbefale, at du tager en eksisterende prompt, eller GPT du i dag benytter med CoT og tester den med CoD.
I mange tilfælde vil du ikke gå på kompromis med de svar du får, men blot opleve hurtigere svar og færre omkostninger til forbrug. Har i brug for hjælp er vi altid klar til at rådgive om AI.
