LocalChat
Een zelf-gehost RAG-platform: chat met je eigen documenten, zonder dat er iets de deur uit hoeft.
Wat het is
LocalChat is een open-source applicatie waarmee je vragen stelt aan je eigen documenten — PDF, Word, PowerPoint, Excel, tekst, Markdown en afbeeldingen — en antwoord krijgt van een taalmodel dat op je eigen hardware draait. Documenten worden opgeknipt, geëmbed en opgeslagen in PostgreSQL met pgvector; het antwoord komt uit een combinatie van semantisch en lexicaal zoeken, met een cross-encoder die de resultaten herordent voordat het model ze te zien krijgt.
Waarom het bestaat
De meeste "chat met je documenten"-producten sturen die documenten naar een cloud-dienst van een ander. LocalChat doet het andersom: het model (via Ollama), de database en de zoeklaag draaien allemaal op infrastructuur die je zelf beheert. Er verlaat niets de machine, tenzij je zelf bewust web search of een cloud-fallback aanzet. Dat maakt het bruikbaar in situaties waar dat wel moet kunnen — gevoelige documenten, interne kennis, een team dat niet afhankelijk wil zijn van een externe partij voor iets zo basaals als zoeken in eigen bestanden.
Scope: bewust beperkt
LocalChat is geen SaaS-product in wording. Het is gebouwd als appliance voor een klein team — tot een paar tientallen gebruikers — op één node. Meerdere replica's draaien breekt op dit moment bewust de cache-consistentie en de rate-limiting; dat is een expliciete, gedocumenteerde keuze, geen tekortkoming die nog opgelost moet worden. Binnen die grens is het traject om productierijp te zijn wel serieus doorlopen: een hardening-traject met fail-closed boot, standaard geactiveerde autorisatie in CI, een security-kern die met mutation testing is getest, en een geteste restore-procedure.