Lokal modell

Hvorfor delegeringen er begrenset

Delegering krever opencode. Copilot CLI velger én leverandør for hele økten, så der kjører økten enten helt lokalt eller helt i skyen (github/copilot-cli#4703).

En instruks om hva hovedagenten burde delegere, holdt ikke: nyere skymodeller gjør jobben selv. Derfor stopper nav-pilot hovedagenten når den gjør en stor mekanisk endring selv, og ber den delegere resten til local-worker. Hvor tidlig den stopper, avhenger av delegeringsnivået:

• off: ingen lokal subagent.
• conservative: hovedagenten får bare en instruks om å delegere store mekaniske endringer (minst 10 filer eller 20 kall). Ingenting stoppes.
• balanced: er modellen godkjent for mekaniske endringer i flere filer, stopper nav-pilot hovedagenten én gang når den selv redigerer en femte fil eller et tiende kall i samme runde, og ber den delegere resten. Et søk-og-erstatt teller hvert sted det endrer.
• aggressive (standard): en stoppet fil slipper gjennom først når den er delegert til local-worker. Nye filer går også dit, hvis modellen er godkjent for det.

Sperren får hovedagenten til å delegere, men sparer ikke AI-kreditter. Både aggressive og balanced kostet i de fleste målingene mer og tok lengre tid enn å la skymodellen gjøre alt selv. balanced delegerte nesten ingenting og kostet likevel mer, så aggressive er standard fra 30. september 2026. Tallene står i Målinger.

Siden 8. oktober 2026 må delegering koste høyst like mye som skyen alene, regnet samlet over alle målingene for oppgavetypen (kostnadsregelen). Disse målingene klarte det ikke:

• Delegering til 8-bitsmodellen kostet 1,28 ganger så mye som skyen alene (1. oktober). Mekaniske endringer i flere filer besto 13 av 13, men kostet omtrent dobbelt så mye, og den nedre grensen på 0,888 nådde ikke kravet på 0,90 (30. september).
• Delegering av små oppgaver som bare skriver tester, kostet 1,3–1,5 ganger så mye som skyen. Endringer på én linje ble aldri delegert (0 av 32) (10. oktober).

nav-pilot stopper bare det manifestet har godkjent modellen for. I dag betyr det:

• Standardmodellen på Mac er godkjent for endringer i én fil og nye filer, men ikke for mekaniske endringer i flere filer.
• Derfor stopper ikke nav-pilot hovedagenten ved en femte fil eller et tiende kall.
• På aggressive stopper nav-pilot hovedagenten når den selv lager en ny fil, til filen er delegert til local-worker.
• Lager eller endrer modellen en fil som ikke bygger eller består testene, får den feilen tilbake og ett nytt forsøk (retry2, levert i navikt/copilot#1156). Med retry2 ble 37 av 40 nye filer godkjent, mot 26 av 40 uten (målingen 10. oktober 2026). Ved endring av én fil ble 48 av 48 godkjent, 11 av dem først etter det nye forsøket (mlx-workspace#237).
• Qwen 3.8-modellene og modellen for 64 GB er ikke godkjent for delegering. Med dem stoppes ingenting. Modellen for 64 GB er godkjent for svar om kode og endringer i én fil når den selv er hovedagent: 96 av 96 og 124 av 128. Qwen3.8-27B-OptiQ er godkjent for svar om kode som hovedagent: 33 av 33 (manifestet etter målingene 12. oktober 2026).
• En modell på egen LLM-server er ikke målt. Den får den generelle instruksen, og ingenting stoppes.

nav-pilot stopper heller ingenting når den lokale serveren ikke svarer, i subagentenes egne økter, eller når du starter opencode med --pure.

Hva den lokale modellen klarer

Den lokale modellen er god til å gjennomføre en beslutning som er tatt, og dårlig til å ta den selv. Om delegering lønner seg, avhenger av hvor mange steg skymodellen trenger alene. Trenger den mange, sparer du mye. Er oppgaven gjort på to steg, koster delegeringen mer enn den sparer.

Resultatene bak hver vurdering står i Målinger.

En oppgavetype blir godkjent først når modellen har holdt kvalitetsgrensen mot skyen over nok kjøringer og ulike oppgaver. Manifestet sier hva hver modell er godkjent for:

Serveren holder rundt 21 GB minne så lenge den er oppe. Kjør stop når du ikke bruker den.

Hva kommer

Dette jobber vi med nå. Det er planer, ikke løfter, og noe av det kan bli lagt bort.

• Vi måler hva hovedagenten kan delegere til modellen for Macer med 64 GB, og hvor mye minne den bruker med lange prompter.
• Vi måler delegeringsnivåene videre, på flere modeller og oppgaver.
• Egen LLM-server med Ollama og llama-server er testet på Mac. På Linux er den bare testet i en virtuell maskin (arm64, bare CPU), og ikke på en bærbar med NVIDIA-kort (8 GB) eller en bærbar uten GPU. Har teamet ditt slik maskinvare, fortell oss hvordan det gikk i issue 124.
• Macer med 48 GB og 64 GB minne er ikke testet. Har du en slik Mac, fortell oss hvordan det gikk i issue 17.
• Vi vurderer å kjøre decide på en server for dem som ikke har en passende Mac. Da forlater grunnlaget maskinen din.