Hver gang noen i bedriften limer en kundeliste inn i ChatGPT, forlater dataene huset.
For mange spiller det ingen rolle. For andre er det presist det de ikke har lov til. Et advokatkontor, en kommune, en leverandør som håndterer helseopplysninger, alle sitter de med data som ikke uten videre bør sendes til en server i et annet land. Og nettopp her dukker et begrep stadig oftere opp i samtalene jeg har med IT-ansvarlige: privat AI.
Ideen er enkel. I stedet for å sende spørsmålene dine til en skytjeneste, kjører du språkmodellen på maskinvare du selv eier. Dataene blir i bygget. Ingen abonnementsfaktura, ingen telemetri som ringer hjem, ingen prompt som logges på en server du ikke kontrollerer.
Spørsmålet folk egentlig stiller, er: går det an, og hva trenger man? Svaret er ja, og overraskende lite.
Hvorfor temaet er blitt aktuelt nå
Norge er en del av EØS, og personvernforordningen (GDPR) gjelder her fullt ut. Det nye AI-regelverket fra EU, AI Act, er på vei inn gjennom EØS og ruller ut gjennom 2026, med strengere krav til dokumentasjon, logging og sporbarhet for systemer som behandler personopplysninger.
Samtidig ligger det en juss-knute under de fleste skytjenester. Amerikanske leverandører er underlagt CLOUD Act, som i prinsippet gir amerikanske myndigheter tilgang til data selv om serveren står i Frankfurt. For en del virksomheter er det nok til at de vil ha inferensen, altså selve AI-kjøringen, innenfor egne fire vegger.
Det er driveren. Ikke teknologisk nysgjerrighet, men kontroll over hvor dataene faktisk havner.
Hva du kan kjøre det på
Her finnes flere veier, og valget handler om budsjett, støynivå og hvor tungt du skal kjøre.
Mac mini har blitt en stille favoritt. Apples brikker bruker noe som kalles delt minne, der prosessor og grafikkjerne henter fra samme minnepool. Det betyr at en modell kan legge seg rett i minnet uten flaskehalsen du får på et vanlig grafikkort. En Mac mini M4 med 24 GB tar mindre modeller med god margin. Vil du kjøre større modeller stabilt, peker det meste mot M4 Pro med 48 GB. Maskinen er nesten lydløs og trekker 10 til 20 watt under last, omtrent som strøm til en lyspære. Den kan stå på døgnet rundt for noen kroner i måneden.
Mini-PC og NUC med et dedikert grafikkort er alternativet for dem som vil ha Windows eller Linux i bunn, og litt mer fleksibilitet på komponentsiden.
En GPU-arbeidsstasjon med et kraftig NVIDIA-kort gir flest ord per sekund. Prisen er støy, strøm og et minne begrenset til kortets egen kapasitet. Rask, men ikke noe stuemøbel.
EU-hostet sky er mellomtingen. Du slipper maskinvaren, men holder dataene innenfor europeisk jurisdiksjon. Mindre kontroll enn egen boks, mer enn en amerikansk skytjeneste.
Programvaren som binder det sammen
Selve modellen kjører du gjerne med Ollama, et lite program som laster ned og starter åpne språkmodeller med én kommando. Foretrekker noen et grafisk grensesnitt, gjør LM Studio samme jobb med knapper i stedet for tekst. Vil du ha en privat utgave av ChatGPT-opplevelsen, med dokumentopplasting og samtalehistorikk, setter du Open WebUI oppå. Da har hele kontoret et kjent grensesnitt, mens dataene aldri forlater nettverket.
Av modeller finnes det et voksende utvalg åpne alternativer, som Llama, Qwen, Mistral og Gemma, i størrelser tilpasset maskinen du har.
Det du bør vite før du hopper
Her må jeg være ærlig, for bildet er ikke bare solskinn.
En lokal modell på din egen Mac matcher ikke de største skymodellene på ren kvalitet. Til oppsummering, utkast, klassifisering og internt søk holder den godt. Til det aller tyngste resonnementet merker du forskjellen.
Det krever også litt oppsett og vedlikehold. Noen i bedriften må eie boksen, oppdatere den og passe på sikkerheten rundt.
Og en vanlig misforståelse fortjener en korreksjon: å hoste AI selv gjør deg ikke automatisk regelverkskompatibel. Du fjerner de enkleste fallgruvene, som dataoverføring ut av EØS, men du trenger fremdeles et behandlingsgrunnlag, en sletterutine og en vurdering av risiko. Egen maskinvare løser hvor, ikke om.
Er dette noe for din bedrift?
Det avhenger av hva du behandler. Sitter du på sensitive data og bruker AI ofte, begynner regnestykket fort å peke innover. Er bruken sporadisk og dataene ufarlige, er en god skytjeneste med europeisk avtale ofte den enkleste veien.
Poenget er ikke at alle bør flytte AI-en hjem. Poenget er at muligheten finnes, at terskelen er lavere enn de fleste tror, og at en Mac mini på en hylle i serverrommet plutselig er et reelt alternativ til abonnementet.
Noen ganger er svaret skyen. Noen ganger står det en liten boks og surrer i hjørnet.
