nav-pilotCopilot i Nav

Introduksjon

Kom i gang med lokal modell på Mac

Alfa

Du installerer nav-pilot, laster ned en kodemodell og kjører en første økt der hovedagenten i skyen delegerer en oppgave til modellen på Macen din. Nedlastingen er på omtrent 26 GB.

Hovedagenten i skyen planlegger og bestemmer. Mekaniske oppgaver, som å føre et nytt argument gjennom mange filer, delegerer den til local-worker, en subagent som kjører på Macen din og ikke bruker AI-kreditter. Med nav-pilot alpha decide stiller du den samme modellen et flervalgsspørsmål fra en hook eller et skript. Spørsmålet og grunnlaget forlater ikke maskinen. Ved delegering ser hovedagenten i skyen oppgaven den selv skrev, og det korte svaret fra den lokale modellen.

Alfa betyr at kommandoene ligger under nav-pilot alpha og kan endre seg uten varsel. Resten av nav-pilot er beta.

1. Sjekk maskinen

uname -m                                            # arm64
sysctl -n hw.memsize | awk '{print $1/2^30 " GB"}'  # minne
df -h ~                                             # ledig disk

Du trenger Apple Silicon (arm64), minst 48 GB minne og omtrent 26 GB ledig disk. Det er det init anslår å laste ned: vektene på 25 GB og omtrent 1 GB til Python-miljøet.

Har Macen 64 GB minne eller mer, kan du etter oppsettet bytte til en større utgave av standardmodellen. Se Større modell for Macer med 64 GB. Hovedagenten delegerer ingen oppgaver til den ennå.

Har du Linux, en Intel-Mac eller mindre minne, gå til Kom i gang med egen LLM-server.

brew install navikt/tap/nav-pilot navikt/tap/cplt
brew upgrade navikt/tap/nav-pilot    # har du den fra før

Har du allerede gjort Kom i gang, hopp over dette steget.

3. Sett opp modellen

nav-pilot alpha local init
nav-pilot alpha local status

init viser modellen, hva den krever, hva den laster ned og hvor den henter det fra. Så spør den før den starter. Er minnegrensen i macOS for lav, ber den om passordet ditt én gang for å heve den. Når den er ferdig, kjører serveren.

status skal vise linjene Model, Server og Wired limit uten advarsler.

Etter en omstart av maskinen kjører du nav-pilot alpha local start. Minnegrensen nullstilles ved omstart, så start spør før den hever den igjen.

4. Første økt

nav-pilot config set client opencode
cd ~/kode/mitt-repo
nav-pilot

Delegering krever opencode som klient. Copilot CLI har ingen subagent som kan kjøre lokalt.

Be om en mekanisk endring over flere filer, for eksempel «legg til parameteren ctx i alle kall til hentBruker». Gjør hovedagenten en stor mekanisk endring selv, stopper nav-pilot den og ber den delegere resten til local-worker. Når local-worker er ferdig, ber nav-pilot hovedagenten bygge prosjektet og kjøre testene. Små endringer gjør hovedagenten selv.

Det koster mer AI-kreditter og tid enn å la skymodellen gjøre alt selv. Hvor mye som delegeres, styrer du med delegeringsnivået.

Etterpå viser nav-pilot alpha local status at serveren fortsatt kjører, og linja Log viser hvor serverloggen ligger. Kjører ikke serveren når du starter, sier nav-pilot fra før økten at den kommer til å gå helt i skyen, og gjentar etter økten at den gjorde det.

5. Første decide

echo "Legg til retry i klienten" | nav-pilot alpha decide \
  "Does the commit message explain why the change was made, beyond describing what the diff already shows?" \
  --options yes,no --evidence -

Du får en sannsynlighet per svar. Når serveren er varm, bruker modellen vanligvis under et halvt sekund. Neste steg er Din første decide-hook.

6. Veien videre

nav-pilot alpha local off     # alt går i skyen igjen, vektene blir liggende
nav-pilot alpha local purge   # viser hva som slettes, --yes sletter

Les mer og gi tilbakemelding