Private GenAI-chatbot bij Gemeente Rotterdam
Interne RAG-chatbot waarmee medewerkers documenten konden raadplegen, volledig binnen de eigen omgeving en compliant met de EU AI Act.
- rol
- GenAI Engineer
- periode
- 2024/01 → 2025/07
- klant
- Gemeente Rotterdam (via brainstax)
- domein
- publieke-sector
"AI Act-compliance is niet iets dat je achteraf erbij plakt, het bepaalt vanaf dag 1 wat je wel en niet kan bouwen."
Het probleem
Een grote gemeente had behoefte aan een interne chatbot waarmee medewerkers documenten konden raadplegen. Maar de gewone weg, een SaaS-oplossing die documenten extern verwerkt, was geen optie. Privacy, security en compliance met de EU AI Act waren keiharde randvoorwaarden. Data mocht het pand niet uit.
De aanpak
Een RAG-architectuur volledig binnen de eigen omgeving. LLMs, vector search en de retrieval-pipeline draaien lokaal of in een afgeschermde tenant, geen externe call met klantdata erin.
Multi-tenant by department. Elke afdeling kreeg z'n eigen toepassing binnen de app, met alleen de relevante datasets beschikbaar. Toegang werd gestuurd door role-based access op de datatabellen in Azure Data Lake, een gebruiker kon nooit per ongeluk bij de data van een andere afdeling.
Bronvermelding ingebouwd. Bij elk antwoord zag de gebruiker uit welk brondocument de informatie kwam, met een doorklikbare link naar het origineel. Geen black box, een controleerbare assistant.
Productie-release met human gate. Volledige CI/CD-pipelines voor automated deploys naar staging, met een verplichte handmatige check vanuit de PO en business users voordat iets richting productie ging. Geen ad-hoc deploys, geen "even snel iets aanpassen in prod", alles via de gate.
Naast techniek liep een tweede spoor: data-classificatie, uitlegbaarheid en governance afstemmen met juridische en informatiebeveiligings-collega's. Dat tweede spoor was minstens zo bepalend voor het ontwerp als de techniek zelf.
Wat het opleverde
Een volledige werkende chat-interface waar user-based access tot de data daadwerkelijk gerealiseerd werd, elke afdeling met z'n eigen app-toepassing, alleen de eigen datasets, op basis van role-based access op de datatabellen in Azure Data Lake. Bij elk antwoord: bronvermelding en doorklikbaarheid naar het brondocument, zodat medewerkers konden zien waar de informatie vandaan kwam en het zelf konden verifiëren.
Wat ik specifiek deed
Engineering en architectuurkeuzes voor de RAG-pipeline. Daarnaast het overbruggen tussen techniek en het juridisch/governance-spoor, twee werelden die in dit soort trajecten anders snel langs elkaar heen werken.
Wat ik ervan heb meegenomen
AI Act-compliance is niet iets dat je achteraf erbij plakt. Het bepaalt vanaf dag 1 wat je wel en niet kan bouwen. Wie probeert om eerst "even een PoC te bouwen" en het juridisch spoor later op te starten, bouwt iets dat niet in productie kan.
Gerelateerd
Skills, topics & tech
Gerelateerd werk
Private LLM voor notuleren in de zorg (Fibbe)
GenAI-systeem dat opnames, mails en afspraken automatisch notuleert. Volledig privacy-conform draaiend binnen de eigen omgeving, zonder persoonsgegevens met derden te delen of onnodig op te slaan.
Data & AI Lead bij BrainStax
Lead én architect, een custom Databricks-platform opgezet waarop AI-oplossingen voor meerdere klanten draaien zonder dat data tussen ze lekt. Plus team-opbouw, interne automatisering met hertrainde LLMs, en technische schakel richting sales.
GenAI voor beleidsondersteuning bij Ministerie I&W
Language models inzetten om beleidsteksten te controleren, te verbeteren en consistenter te maken, zonder dat data het ministerie verliet.