Resultater for lokale modeller

Delegeringsnivåene

Hovedagenten delegerer ikke av seg selv. Med bare en instruks om hva den burde delegere, delegerte Sonnet 5 arbeid til den lokale modellen i 1 av 29 testkjøringer. Derfor har nav-pilot en delegeringssperre, og nivået aggressive er standard fra 30. september 2026: det er det eneste nivået som faktisk delegerer, og alt som ble delegert, besto testene. Prisen er tid og som regel flere AI Credits.

Tallet 17 av 17 er målt med Sonnet 5 den 28. september 2026. Den 12. oktober 2026 målte vi Sonnet 5.5 med aggressive på to små endringer i én fil. Den delegerte i 4 av 30 kjøringer og valgte selv å gjøre resten. Alle 4 delegeringene besto (rapporten). Oppgavene var andre og mindre enn i september, så de to resultatene kan ikke sammenlignes direkte. aggressive er fortsatt standard.

Flere funn fra målingene, med Sonnet 5 som hovedagent:

• Var endringen liten, delegerte hovedagenten ingenting (0 av 5). Små endringer skal den gjøre selv.
• Hovedagenten gjorde om 15 av 27 oppgaver med nye filer selv etter at subagenten var ferdig. Resultatet er samarbeidets, ikke den lokale modellens alene.
• Tre kjøringer med nye filer ble avbrutt av en avvist filskriving, og i én av dem ble koden liggende i stykker.
• Kravet for å beholde balanced som standard var like mange beståtte oppgaver og ikke dyrere enn skymodellen alene. Det første holdt, det andre ikke: hver kjøring med balanced kostet mer enn hver kontrollkjøring.
• Et nytt forsøk lønner seg for nye filer. Når hovedagenten sendte bygge- eller testfeilen tilbake én gang, ble 15 av 20 nye filer godkjent, mot 5 av 20 uten. Tiden per godkjent fil gikk ned fra 618 til 322 sekunder. Disse tallene er fra september. En ny måling 9. oktober 2026 ga 10 av 10 på de to letteste trinnene, både med standardmodellen og 8-bitsmodellen. Uten retry2 ga samme oppsett 10. oktober 2026 26 av 40, mot 37 av 40 med retry2. Usikkerhetsintervallene (95 prosent) overlapper ikke. Gevinsten kommer altså fra retry2, og vi beholder det.
• På de to vanskeligere trinnene er retry2 ikke godt nok ennå. På trinn 3 ga målingen 10. oktober 2026 19 av 20 med standardmodellen og 9 av 10 med 8-bitsmodellen. Kravet er at nedre grense skal være minst 0,90, og dit er det ikke ennå. En oppfølging 11. oktober 2026 ga standardmodellen 36 av 40 samlet. Den ensidige nedre grensen (90 prosent) er 0,82, under kravet på 0,90. Alle de fire feilene nådde tidsgrensen på 420 sekunder per forsøk. Trinn 4 går til skymodellen med begge profilene: standardmodellen ga 4 av 10 og 8-bitsmodellen 3 av 10, og de fleste feilene var tidsavbrudd. Rutingen stopper derfor fortsatt etter trinn 2. Oppfølgingen målte ikke kostnad, så vi sier ingenting om den.

Målt 28. og 29. september og 12. oktober 2026. Se delegeringsmålingen, kontrollmålingen av balanced, målingen av nye forsøk og målingen med Sonnet 5.5.

Resultater for kodeoppgaver

Hver oppgave er løst flere ganger, og hver løsning er sjekket av en test. «10 av 10» betyr at testen besto i alle ti forsøkene.

Nye filer er bare 5 % av ekte pull requests, viser en gjennomgang av pull requests i navikt. Omtrent 29 % av pull requestene fra mennesker er endringer i én fil, dokumentasjon eller bare tester. Begge lokale modellene klarer slike oppgaver lokalt i minst 75 % av forsøkene (små oppgaver).

Endringer i konfigurasjon og deploy feilet først i alle 45 forsøkene. Feilen lå i testoppsettet. Etter rettingen (mlx-workspace#189) besto standardmodellen 12 av 14 og 8-bitsmodellen 14 av 14 (målingen 10. oktober 2026). Samme måling ga disse resultatene per oppgavetype, standardmodellen mot 8-bitsmodellen:

• endring i én fil: 37 av 42 mot 42 av 42
• ny fil: 29 av 42 mot 31 av 42
• mekanisk endring i flere filer: 25 av 28 mot 19 av 28
• spørsmål om kodebasen: 39 av 42 mot 42 av 42

Én oppgave er utelatt fordi testen trolig er feil, og én er pensjonert. Alle forsøkene kjørte lokalt. Målingen er ikke brukt til å vurdere hva modellene er godkjent for.

Tiden varierer fra omtrent som skyen på små endringer til rundt fire ganger så lenge på en omdøping. På store mekaniske endringer kan den lokale modellen være raskere.

Målt 25. september 2026 og 26. september 2026, nye filer med retry2 9. oktober 2026 og uten retry2 10. oktober 2026. Se kvalitetsnatt 1 og kvalitetsnatt 2.

Resultater for decide

decide stiller den lokale modellen et ja/nei-spørsmål om en tekst, for eksempel om en commit-melding forklarer hvorfor endringen ble gjort.

Hvordan du spør, betyr noe. Standardmodellen svarte riktig på 85 % av spørsmålene i opprinnelig form og 58 % når de var snudd (måling). «Ja»-svarene er stabile, mens «nei»-svarene trekkes mot det siste svaralternativet, mest når spørsmålet er snudd (oppfølging).

Målt 25. september 2026. Svartid per kall på varm server: median 0,4 sekunder. Se commit-spørsmålet, issue og PR og decide-rapporten.

Rapporter

Hver måling på denne siden har en rapport i navikt/mlx-workspace. Oversikten under hentes fra rapportlisten der og oppdateres hver time.

K2-Horizon ble avvist i første runde fordi ingen av de 40 forsøkene ga et verktøykall som nav-pilot kunne lese. Med en ny parser (mlx-workspace#184) besto den 0 av 80 oppgaver. Parseren leser fortsatt navnet på verktøyet feil, og 74 prosent av kallene gikk til et verktøy som ikke finnes. Vi tester modellen igjen først når parseren består en enhetstest (målingen 10. oktober 2026).

Kilde og metode