Lokal modell

Hvorfor delegeringen er begrenset

Delegering krever opencode. Copilot CLI velger én leverandør for hele økten, så der kjører økten enten helt lokalt eller helt i skyen (github/copilot-cli#4703).

En instruks om hva hovedagenten burde delegere, holdt ikke: nyere skymodeller gjør jobben selv. Derfor stopper nav-pilot hovedagenten når den gjør en stor mekanisk endring selv, og ber den delegere resten til local-worker. Hvor tidlig den stopper, avhenger av delegeringsnivået:

• off: ingen lokal subagent.
• conservative: hovedagenten får bare en instruks om å delegere store mekaniske endringer (minst 10 filer eller 20 kall). Ingenting stoppes.
• balanced: redigerer hovedagenten selv en femte fil eller et tiende kall i samme runde, stopper nav-pilot den én gang. Da ber nav-pilot den delegere resten. Et søk-og-erstatt teller hvert sted det endrer.
• aggressive (standard): en stoppet fil slipper gjennom først når den er delegert til local-worker. Nye filer går også dit, hvis modellen er godkjent for det.

Sperren får hovedagenten til å delegere, men sparer ikke AI-kreditter. Både aggressive og balanced kostet i de fleste målingene mer og tok lengre tid enn å la skymodellen gjøre alt selv. balanced delegerte nesten ingenting og kostet likevel mer, så aggressive er standard fra 30. september 2026. Tallene står i Målinger.

Derfor er ingen flere oppgavetyper godkjent for delegering. Siden 8. oktober 2026 må delegering koste høyst like mye som skyen alene, regnet samlet over alle målingene for oppgavetypen (kostnadsregelen). Ingen av de nye målingene klarte det:

• Delegering til 8-bitsmodellen kostet 1,28 ganger så mye som skyen alene (1. oktober). Mekaniske endringer i flere filer besto 13 av 13, men kostet omtrent dobbelt så mye, og den nedre grensen på 0,888 nådde ikke kravet på 0,90 (30. september).
• Delegering av små oppgaver som bare skriver tester, kostet 1,3–1,5 ganger så mye som skyen. Endringer på én linje ble aldri delegert (0 av 32) (10. oktober).

nav-pilot stopper bare det manifestet har godkjent modellen for. I dag betyr det:

• Standardmodellen på Mac er godkjent bare for mekaniske endringer i flere filer, så regelen om nye filer slår ikke inn.
• Lager modellen en ny fil som ikke bygger eller består testene, får den feilen tilbake og ett nytt forsøk (retry2, levert i navikt/copilot#1156). Med retry2 ble 37 av 40 nye filer godkjent, mot 26 av 40 uten (målingen 10. oktober 2026).
• Qwen 3.8-modellene og modellen for 64 GB er ikke godkjent for noe. Med dem stoppes ingenting.
• En modell på egen LLM-server er ikke målt. Den får den generelle instruksen, og ingenting stoppes.

nav-pilot stopper heller ingenting når den lokale serveren ikke svarer, i subagentenes egne økter, eller når du starter opencode med --pure.

Hva den lokale modellen klarer

Den lokale modellen er god til å gjennomføre en beslutning som er tatt, og dårlig til å ta den selv. Om delegering lønner seg, avhenger av hvor mange steg skymodellen trenger alene. Trenger den mange, sparer du mye. Er oppgaven gjort på to steg, koster delegeringen mer enn den sparer.

Resultatene bak hver vurdering står i Målinger.

En oppgavetype blir godkjent først når modellen har holdt kvalitetsgrensen mot skyen over nok kjøringer og ulike oppgaver. Manifestet sier hva hver modell er godkjent for:

Serveren holder rundt 21 GB minne så lenge den er oppe. Kjør stop når du ikke bruker den.

Hva kommer

Dette jobber vi med nå. Det er planer, ikke løfter, og noe av det kan bli lagt bort.

• Vi måler hva hovedagenten kan delegere til modellen for Macer med 64 GB, og hvor mye minne den bruker med lange prompter.
• Vi måler delegeringsnivåene videre, på flere modeller og oppgaver.
• Vi har ennå ikke målt noen modell på egen LLM-server, verken på Linux eller med Ollama og llama-server.
• Vi vurderer å kjøre decide på en server for dem som ikke har en passende Mac. Da forlater grunnlaget maskinen din.