Private GenAI-chatbot bij Gemeente Rotterdam

Het probleem

Een grote gemeente had behoefte aan een interne chatbot waarmee medewerkers documenten konden raadplegen. Maar de gewone weg — een SaaS-oplossing die documenten extern verwerkt — was geen optie. Privacy, security en compliance met de EU AI Act waren keiharde randvoorwaarden. Data mocht het pand niet uit.

De aanpak

Een RAG-architectuur volledig binnen de eigen omgeving. LLMs, vector search en de retrieval-pipeline draaien lokaal of in een afgeschermde tenant — geen externe call met klantdata erin.

Naast techniek liep een tweede spoor: data-classificatie, uitlegbaarheid en governance afstemmen met juridische en informatiebeveiligings-collega's. Dat tweede spoor was minstens zo bepalend voor het ontwerp als de techniek zelf.

Wat het opleverde

TODO — concrete adoptie, tijdwinst per gebruiker, aantal documenten ontsloten.

Wat ik specifiek deed

Engineering en architectuurkeuzes voor de RAG-pipeline. Daarnaast het overbruggen tussen techniek en het juridisch/governance-spoor — twee werelden die in dit soort trajecten anders snel langs elkaar heen werken.

Wat ik ervan heb meegenomen

AI Act-compliance is niet iets dat je achteraf erbij plakt. Het bepaalt vanaf dag 1 wat je wel en niet kan bouwen. Wie probeert om eerst "even een PoC te bouwen" en het juridisch spoor later op te starten, bouwt iets dat niet in productie kan.

Gerelateerd

• GenAI voor beleidsondersteuning bij Ministerie I&W
• Data & AI Lead bij BrainStax
• Skills: RAG-architectuur, AI-governance
• Topics: EU AI Act, Vector search