Introduksjon

Kom i gang med egen server

Alfa, ikke målt

Har du Linux, eller vil du bruke Ollama eller llama-server på Macen, kan nav-pilot bruke en server du kjører selv. Da laster nav-pilot ikke ned noe, starter ingenting og trenger ikke sudo.

Utsendingen, løkkevakten og alpha decide går til serveren din. Koden din sendes dit, så nav-pilot godtar bare localhost og private IP-adresser, som 127.0.0.1 og 192.168.x.x. nav-pilot regner modellen på serveren din som ikke målt. Vi har prøvd veien på én Mac med Ollama, llama-server og mlx_lm.server, men tallene i målte grenser gjelder ikke. Selve ollama pull fikk vi ikke kjørt, fordi registeret var blokkert.

1. Start serveren

Ollama

# terminal 1: blir stående så lenge serveren kjører
OLLAMA_CONTEXT_LENGTH=65536 ollama serve

# terminal 2
ollama pull qwen3.6:35b

llama-server (llama.cpp)

# egen terminal: blir stående så lenge serveren kjører
# legg til --n-cpu-moe 999 på en GPU med 8 GB eller mindre
llama-server --jinja -c 65536 --port 8080 -hf unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q4_K_XL

Både ollama serve og llama-server kjører i forgrunnen og opptar terminalen. Start serveren i en egen terminal, og kjør resten av stegene i en annen.

Vi anbefaler Qwen3.6-35B-A3B i dynamisk 4-bit (unsloth UD-Q4_K_XL). Det er den GGUF-varianten som ligger nærmest modellen vi har målt på Mac. setup ser også etter LM Studio og vLLM, men dem har vi ikke prøvd.

Ollama kan gi modellen for lite kontekst

På maskiner med under 24 GB grafikkminne gir Ollama modellen 4 096 tokens kontekst, og det kan ikke endres over /v1. Med mer minne velger Ollama større kontekst selv (262 144 tokens på en Mac med 128 GB). Første melding i en Copilot-økt er på rundt 22 000 tokens. Eldre Ollama kutter resten uten å si fra; Ollama 0.34 avviser prompten med en feil. Start Ollama med OLLAMA_CONTEXT_LENGTH=65536, som over, eller lag en egen modell med en Modelfile som har PARAMETER num_ctx 65536.

2. Koble til med setup

nav-pilot alpha local setup

setup finner servere som kjører på maskinen, foreslår modellen som ligger nærmest vår egen, og sjekker den. Mangler modellen i Ollama, eller er konteksten for liten, tilbyr den å hente modellen eller lage en kopi med 64k kontekst. Den starter aldri en server selv.

Til slutt viser den local_endpoint, local_endpoint_model og local_enabled = true, og lagrer dem bare hvis du svarer ja. Uten terminal lagrer den bare med --yes. Skal den også hente modellen eller lage kopien, legg til --pull eller --fix-context.

Vil du heller sette det for hånd:

# Ollama
nav-pilot config set local_endpoint http://127.0.0.1:11434/v1
nav-pilot config set local_endpoint_model qwen3.6:35b

# llama-server
nav-pilot config set local_endpoint http://127.0.0.1:8080/v1
nav-pilot config set local_endpoint_model unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q4_K_XL

Modell-id-en er det serveren lister på /v1/models. setup viser dem når den leter etter servere, og doctor viser dem hvis modellen du har satt, ikke er blant dem.

3. Slå den på med init

nav-pilot alpha local init

Med local_endpoint satt laster init ikke ned noe. Den sjekker serveren og slår på utsending. Feiler en av sjekkene, slår den ingenting på og sier hva du må rette. Svarte du ja i setup, er utsending allerede på, og init kjører de samme sjekkene en gang til.

4. Sjekk den med doctor

nav-pilot alpha local doctor

doctor sjekker verktøykall, logprobs, kontekst og tid til første token. Den sender rundt 30 000 tokens og feiler hvis serveren kutter prompten. Kommandoen sjekker bare egen server (local_endpoint), ikke modellen nav-pilot setter opp på Mac.

alpha decide trenger logprobs. Ollama fra v0.12.11, llama-server og vLLM gir dem, LM Studio gjør det ikke. Uten logprobs sier decide fra med en gang, mens utsendingen virker som før.

5. Bytt til opencode

nav-pilot config set client opencode

Utsending krever opencode som klient. Der blir modellen på serveren din underagenten local-worker. Copilot CLI har ingen slik underagent.

6. Første økt

cd ~/kode/mitt-repo
nav-pilot

Be om en mekanisk endring over flere filer, som «legg til parameteren ctx i alle kall til hentBruker». Modellen på serveren din er ikke målt, så hovedagenten får den generelle instruksen om utsending, og nav-pilot stopper ingen redigeringer. Hovedagenten vurderer selv hva den sender.

nav-pilot alpha local status viser serveren, modellen og om utsending er på. Vil du stille modellen spørsmål fra hooks og skript, fortsett med Din første decide-hook.