Lokal modell

Hvorfor utsendingen er begrenset

Utsending krever opencode. Copilot CLI leser hvilken leverandør modellen kommer fra, fra en miljøvariabel som gjelder hele prosessen, så én leverandør betjener hele økten. Derfor er valget der hele økten lokalt eller ingenting lokalt. Vi har sjekket det mot Copilot CLI 1.0.83-3. Runtimen under Copilot CLI kan ha flere leverandører i én økt, men Copilot CLI lar ikke en agent velge sin egen ennå, og det er ikke dokumentert. Vi tester om det kan brukes (github/copilot-cli#4703).

I opencode fikk hovedagenten først bare en instruks om hva den burde sende. Det holdt ikke. Nyere modeller i skyen følger instruksen dårlig: Sonnet 5 sendte arbeid til den lokale modellen i 1 av 29 testkjøringer, mens Sonnet 4.6 gjorde det i 23 av 24. Derfor stopper nav-pilot hovedagenten på nivået balanced når den gjør en stor mekanisk endring selv, og ber den sende resten. Instruksen ber hovedagenten dele en stor endring i én oppgave per fil med en sjekk for hver, og bygge og kjøre testene selv til slutt. En endring ett søk-og-erstatt klarer, skal den gjøre selv.

nav-pilot stopper bare det manifestet har godkjent modellen for. I dag betyr det:

• Standardmodellen på Mac er godkjent bare for mekaniske endringer i flere filer. Regelen om nye filer på aggressive slår derfor ikke inn.
• Qwen 3.8-modellene er ikke godkjent for noe. Med dem stopper nav-pilot ingenting på noe nivå.
• En modell på egen server er ikke målt. Den får den generelle instruksen om utsending, ikke den som er tilpasset modellen, og nav-pilot stopper ingen redigeringer.

nav-pilot stopper heller ingenting når den lokale serveren ikke tar imot tilkoblinger, eller i underagentenes egne økter. Nivåene er nye. Vi har ikke målt om stoppet får hovedagenten til å sende mer, eller om det sparer AI-credits.

Målte grenser

Målt i et kontrollert testoppsett, ikke i daglig bruk. Den lokale modellen er god til å gjennomføre en beslutning som er tatt, og dårlig til å ta den selv. Om det lønner seg, avhenger av hvor mange steg skymodellen trenger alene. Trenger den mange, sparer du mye på å sende det mekaniske lokalt. Er oppgaven gjort på to steg, koster utsendingen mer enn den sparer.

Manifestet sier for hver modell hvilke oppgavetyper hovedagenten kan sende til den. En oppgavetype blir godkjent først når modellen har holdt kvalitetsgrensen mot skyen over nok kjøringer og ulike oppgaver. Resten gjør hovedagenten selv.

Tiden varierer mye: fra omtrent som skyen på små endringer til rundt fire ganger så lenge på en omdøping. På store mekaniske endringer kan den være raskere enn skyen. Kjør stop når du ikke bruker den, for den holder rundt 21 GB minne så lenge den er oppe. Tallene per oppgave står på Lokal modell og decide.