De vraag duikt op aan elk advocatenkantoor, notariskantoor, accountantskantoor en MKB-bestuurstafel: kunnen we ChatGPT verantwoord inzetten, of hebben we een 'private LLM' nodig? Het antwoord begint met een definitie. Een private LLM is een taalmodel waarbij uw prompts en data het bedrijf, de EU of een vooraf gedefinieerde grens niet verlaten. Het is geen één-merk-oplossing. Drie technisch verschillende modellen vallen er allemaal onder, met verschillende kosten en garanties.
Dit artikel zet de keuze op een rij voor sectoren waar vertrouwelijkheid wettelijk of contractueel verplicht is. Voor sector-specifieke verdieping: AI-beleid notaris en Wna art. 22 en AI in de advocatuur met NOvA-aanbevelingen.
Waarom een private LLM überhaupt
Publieke ChatGPT (Free of Plus) is voor kantoren met beroepsgeheim, klantcontracten of bedrijfsgeheime data geen optie. Drie risico's stapelen op elkaar.
Modeltraining op uw inputStandaard mogen OpenAI, Anthropic en Google uw prompts gebruiken voor het trainen van toekomstige modellen. Bedrijfsgegevens lekken zo onomkeerbaar het model in. Eenmaal getraind: niet meer terug te halen.
Hosting buiten de EUChatGPT, Claude en Gemini draaien primair op Amerikaanse cloud-infrastructuur. Onder de US Cloud Act (2018) kunnen Amerikaanse autoriteiten data opvragen ook als die fysiek in Europa staat. Het Schrems II-arrest (juli 2020) bevestigt dat dit voor AVG-doeleinden een gedocumenteerd risico is.
Geen verwerkersovereenkomstZonder ondertekend Data Processing Agreement onder artikel 28 AVG bent u juridisch in overtreding zodra u persoonsgegevens van klanten in een AI-tool plakt. Publieke ChatGPT levert geen DPA voor consument-accounts.
Voor een eerste brainstorm zonder klantdata is publieke AI geen probleem. Voor de dagelijkse zaak wel.
Drie smaken 'private LLM'
Het label 'privé' dekt drie technisch verschillende oplossingen. Welke u kiest hangt af van budget, IT-volwassenheid en het niveau van garanties dat u nodig heeft.
Zakelijke AI met EU Data Boundary
Vanaf 24 euro per gebruiker per maandChatGPT Enterprise, Microsoft 365 Copilot of Anthropic Claude voor Teams. Een gewone publieke service met enterprise-instellingen: modeltraining uit, verwerkersovereenkomst beschikbaar, hosting binnen de EU (al gaat dat soms via routering door Amerikaanse subprocessors). Pragmatisch en snel te implementeren.
Europese private LLM-aanbieder
Vanaf 30 euro per gebruiker per maandMistral Le Chat Enterprise (Frankrijk), Aleph Alpha PhariaAI (Duitsland) of Silo.ai (Finland). Volledig Europees, geen Cloud Act-blootstelling, gericht op gereguleerde sectoren. Mistral start vanaf circa 30 euro per gebruiker per maand. Aleph Alpha richt zich op zwaardere governance-eisen en kost vanaf 5.000 euro per maand voor een kantoorlicentie.
Lokaal gehost open-weight model
2.000 tot 8.000 euro eenmaligLlama 3 van Meta, Mistral, Gemma van Google of Aya van Cohere op een eigen server of in een door uzelf gecontroleerde private cloud. Tools als Ollama, LM Studio of vLLM regelen de hosting. Geen abonnement, volledige controle. Vraagt IT-capaciteit voor onderhoud en model-updates.
Voor 80 procent van het kantoorwerk volstaat een open-weight model lokaal qua kwaliteit. Voor de allerzwaarste juridische redenering blijft het verschil met publieke topmodellen wel voelbaar.
Wat AI Act en AVG eisen
De AI Act regelt niet welke aanbieder u kiest, maar wel welke verplichtingen u heeft per situatie. De AVG bepaalt de spelregels voor persoonsgegevens. Drie eisen die altijd gelden.
AI-geletterdheid (Art. 4 AI Act)Sinds 2 februari 2025 verplicht voor elke organisatie die AI gebruikt, ongeacht of het ChatGPT Enterprise is of een lokaal Llama. Documenteer wie wanneer is opgeleid. Geldt voor alle medewerkers die met AI in aanraking komen, niet alleen de IT-afdeling.
GPAI-transparantie (Art. 50 en 53 AI Act)Voor providers van foundation models (OpenAI, Anthropic, Mistral, Aleph Alpha) gelden specifieke transparantie- en documentatieplichten. Voor u als gebruiker betekent dit recht op informatie over training-data, energieverbruik en bekende beperkingen. Vraag dit op bij contract-onderhandeling, zeker bij niche-aanbieders.
Verwerkersovereenkomst (Art. 28 AVG)Zodra persoonsgegevens een AI-tool in gaan, heeft u een DPA nodig met de aanbieder. ChatGPT Enterprise, M365 Copilot en de Europese aanbieders bieden er standaard een. Bij een lokaal model bent u zelf de verwerker en vervalt de DPA-eis voor het model, niet voor onderliggende cloud-of-storage-leveranciers.
De keuze tussen publieke en private LLM verandert niets aan de risicoklasse onder Bijlage III van de AI Act. Een kredietbeoordelings-AI is hoog-risico, of hij nu op ChatGPT Enterprise draait of op een lokaal Llama. Wel maakt private LLM het makkelijker om de documentatie-eisen te halen.
Sector-keuzes in de praktijk
Vier veelvoorkomende profielen waar de keuze concreet wordt.
Advocatenkantoor (NOvA-toezicht)Aanbeveling NOvA (november 2025): expliciete cliënttoestemming voor AI-inzet, geen publieke modellen voor cliëntdata. Minimaal niveau 2 (zakelijke AI met DPA). Voor zwaardere zaken of internationale cliënten: niveau 3 (Europese private LLM of lokaal). Tuchtuitspraken ECLI:NL:TADRSGR:2024:110 en ECLI:NL:TADRSGR:2025:62 maken hallucinatie-controle tot verplichte praktijk.
Notariskantoor (KNB-toezicht)Wna art. 22 (beroepsgeheim) plus de KNB AI-weegschaal (2025). Voor concept-akten en intern onderzoek volstaat M365 Copilot of ChatGPT Enterprise met DPA. Voor dossier-zoeken over jaren heen wint een lokaal gehoste LLM of een Mistral Enterprise-instance — uw archief verlaat het kantoor nooit.
Accountantskantoor (NBA-toezicht)Vergelijkbaar met notariaat. NBA-handreikingen vragen om verifieerbare AI-uitkomsten en logging. Lokaal gehoste LLM scoort sterk op auditability. M365 Copilot met audit-log is een werkbaar minimum, mits het kantoor de loggegevens daadwerkelijk reviewt.
Financiele dienstverlener (DNB/AFM-toezicht)Strenge regels op data-soevereiniteit en uitbesteding (DORA, EBA-richtlijnen). Pragmatisch: een Europese aanbieder met SOC 2 plus ISO 27001 én een DPA. Voor kredietbeoordeling onder Bijlage III hoog-risico: een lokaal model met volledige audit-trail. Voor algemene productiviteit volstaat M365 Copilot met EU Data Boundary.
Beslis-matrix in vier vragen
Vier vragen die de keuze sturen voordat u een licentie tekent.
Hoe gevoelig is de data? Klantnaam plus dossiernummer = minimaal niveau 2. Volledig dossier met medische of financiele data = niveau 3.
Heeft u IT-capaciteit voor zelfbeheer? Een lokaal model vraagt 4 tot 8 uur per maand aan model-updates, security-patches en monitoring. Zonder die capaciteit blijft een zakelijke aanbieder de juiste keuze.
Welke audit-eisen heeft uw toezichthouder? Sommige toezichthouders (DNB, AFM, IGJ) eisen volledige reproduceerbaarheid. Dat sluit publieke API-modellen vrijwel uit. Lokaal gehost wordt dan de voorkeursoptie.
Is het budget structureel of voor een pilot? Pilot van zes tot acht weken: kies de snelste-te-rollen optie (M365 Copilot of ChatGPT Enterprise). Structureel: investeer in een private LLM-architectuur die meeschaalt.
Implementatie in drie fases
Pilot starten
Week 1-6Zes weken, één use case (vaak concept-correspondentie), één tool op niveau 2. Twee tot drie medewerkers, expliciet beleid over welke data wel of niet de tool in mag.
Schalen en evalueren
Week 7-14Breid uit naar twee tot drie use cases, evalueer of de huidige optie data-soeverein genoeg is, beslis over upgrade naar Europese private LLM of lokaal gehost.
Integreren en herijken
DoorlopendVerwerk de gekozen oplossing in dagelijkse processen, leg AI-beleid en audit-trail vast, herijk jaarlijks bij contract-vernieuwing of grote feature-updates.
Veelgemaakte fouten
Vier valkuilen die het verschil maken tussen werkende AI-inzet en onnodige risico's.
Een licentie kopen vóór het beleid is geschrevenBepaal eerst welke data nooit naar buiten mag, kies dan de tool die dat onmogelijk maakt. Andersom werken kost u dubbel: contract én herziening.
Aannemen dat 'EU Data Boundary' gelijkstaat aan AVG-conformHet is een contractuele en technische barrière, geen wettelijke vrijwaring. De DPA onder Art. 28 AVG moet expliciet zijn ondertekend, niet impliciet aangenomen.
Modeltraining-instellingen niet controlerenBij ChatGPT Enterprise staat modeltraining standaard uit, bij M365 Copilot eveneens. Bij sommige third-party plug-ins niet. Controleer per integratie en documenteer het.
Lokaal gehost gelijkstellen aan 'klaar'Een lokaal Llama vraagt onderhoud: model-updates, security-patches, monitoring. Zonder die discipline veroudert de oplossing snel en wordt het juist een risico-bron in plaats van een controle-bron. Zie ook onze gids over Copilot-governance onder de AI Act voor de bredere governance-implicaties.
Veelgestelde vragen
Wat is het verschil tussen ChatGPT Enterprise en een private LLM?
ChatGPT Enterprise is de zakelijke variant van OpenAI's publieke ChatGPT, met DPA, modeltraining uit en deels EU-hosting. Een 'private LLM' kan ChatGPT Enterprise omvatten, maar verwijst meestal naar Europese aanbieders (Mistral, Aleph Alpha) of lokaal gehoste open-weight modellen (Llama 3, Mistral via Ollama). Het verschil zit in soevereiniteit en wie de uiteindelijke controle heeft, niet in de techniek.
Is een private LLM verplicht onder de AI Act?
Nee. De AI Act stelt eisen aan gebruik (geletterdheid, risicobeheer, documentatie) maar schrijft geen aanbieder voor. Voor hoog-risico AI onder Bijlage III is een audit-trail wel makkelijker te realiseren met een private of lokaal gehoste oplossing dan met een publieke API.
Welke Europese aanbieders zijn productieklaar in 2026?
Mistral Le Chat Enterprise (Frankrijk), Aleph Alpha PhariaAI (Duitsland), Silo.ai (Finland) en de EU Data Boundary-optie van Microsoft 365 Copilot. Alle vier bieden DPA's onder artikel 28 AVG en ISO 27001-certificering. Aleph Alpha biedt daarnaast ISO 42001-conforme trajecten voor zwaardere governance-eisen.
Kan een notariskantoor of advocatenkantoor lokaal hosten?
Ja. Een open-weight model (Llama 3 of Mistral) draaien op een eigen server kost eenmalig 2.000 tot 8.000 euro voor hardware. IT-onderhoud (model-updates, security) vraagt 4 tot 8 uur per maand. Voor de meeste kantoor-use-cases (concept-correspondentie, samenvatten, dossier-zoeken) levert dit een werkbare oplossing zonder Cloud Act-blootstelling.
Wat kost een Europese private LLM ongeveer?
Voor een MKB-kantoor van 10 tot 30 medewerkers: Mistral Le Chat Enterprise vanaf 300 tot 900 euro per maand, M365 Copilot met EU Data Boundary vanaf 250 tot 750 euro per maand (boven op de standaard M365-licentie), Aleph Alpha vanaf 5.000 euro per maand. Lokaal gehost: 2.000 tot 8.000 euro eenmalig plus elektriciteit en IT-uren.
Drie acties voor deze week
- Inventariseer waar publieke AI nu wordt gebruikt op uw kantoor (shadow AI is in veel organisaties 30 tot 50 procent van het feitelijke AI-gebruik).
- Bepaal welke data nooit in een tool mag, vóórdat u tools vergelijkt. Schrijf het op één pagina op.
- Plan een pilot van zes weken op één use case met een tool op niveau 2 of 3 — publieke AI is voor kantoren met beroepsgeheim of contractuele vertrouwelijkheid vrijwel nooit acceptabel.
Voor wie de keuze structureel wil inrichten: AIComplianceHub biedt een AI-register, kant-en-klaar AI-beleid en e-learning AI-geletterdheid met certificaat per medewerker. De gratis Risicoscanner geeft in vijf minuten een eerste beeld van waar uw organisatie staat op AI Act-compliance.