Modellvalg

Kort fortalt

Vi velger modell etter hva oppgaven krever, hva den koster og hvordan modellen gjør det i våre egne målinger. Hvem som lager modellen, spiller ingen rolle.

• Daglig agentisk koding: GPT-6 Sol
• Kafka-agent: GPT-6 Luna
• Rust-agent: Claude Haiku 5.5
• Research og faste maler: GPT-6 Luna
• Høyrisikoplanlegging og kodegjennomgang: Claude Opus 5.5
• Aksel, tilgjengelighet og norsk tekst: Claude Sonnet 5.5
• Rask oppretting av Aksel-komponenter: Gemini 3.8 Flash

Bruk GPT-6 Sol med lav innsats til daglig koding og planlegging. Den besto alle sjekkene i koding, norsk og informasjonsinnhenting 6. oktober og stoppet riktig etter fase 1 i fem av fem planleggingskjøringer. Bruk Claude Opus 5.5 med lav innsats til kodegjennomgang og alt som gjelder sikkerhet og personopplysninger. Av modellene vi har målt, fant den oftest feilene i nais.yaml, SQL og tilgangskontroll, men den koster 1,6 til 2,8 ganger så mye. GPT-6.1 Sol er like god som GPT-6 Sol på koding, norsk og informasjonsinnhenting, men svakere på kodegjennomgang og skriver de åpne punktene i fase 1 som påstander, ikke spørsmål. Vi anbefaler den derfor ikke som standard. GPT-6 Luna er billig og god til små, avgrensede rettinger og en rask førstegjennomgang av kode der sikkerhet ikke er tema, men ikke til sikkerhetsgjennomgang.

Våre valg

Modellen står i fila til agenten eller prompten. Reservemodellen er den vi bytter til hvis hovedmodellen svikter. Starter @nav-pilot en annen agent som subagent, arver den modellen fra @nav-pilot.

Målinger

Priser

Listepris per million tokens for modellene over som Nav har aktivert. Hele prislisten står på Modellpriser.

Innsatsnivå (effort)

Del dine erfaringer

Har du fått bedre eller dårligere resultater med en annen modell? Si fra i #github-copilot på Slack. Bakgrunnen for valgene står i modellvalg.md.