RAGcore-Public/docs/01_ARCHITECTURE/DATA_FLOWS.md

Data Flows

Application search

1. Credential authenticeren en service-accountstatus controleren.
2. Requested spaces syntactisch valideren.
3. Effective spaces berekenen: requested ∩ granted ∩ active ∩ policy-compatible.
4. Query normaliseren zonder semantisch betekenisverlies.
5. Exacte identifiers detecteren en dense/sparse inputs maken.
6. Qdrantfilters volledig server-side construeren.
7. Kandidaten fusioneren via RRF, de-dupliceren en groeperen.
8. Citations uit authoritative metadata materialiseren.
9. Audit/metrics opslaan volgens privacybeleid.

Source publication

1. Connector maakt source snapshot en cursor.
2. Content hash identificeert unchanged/new/changed/deleted.
3. Nieuwe bytes worden immutable opgeslagen.
4. Securityclassificatie en quarantine gate.
5. Parser maakt canonical document en extraction report.
6. Chunker maakt deterministische chunk-ID's.
7. Embeddingprofiel maakt vectors; index build blijft niet-actief.
8. Structurele, count- en samplevalidatie.
9. Databasepublicatie en indexalias omschakelen binnen gecoördineerde state transition.

Deletion

Een bronverwijdering maakt de actieve versie onmiddellijk onvindbaar via authoritative statusfilter. Fysieke Qdrant- en blobverwijdering volgt asynchroon volgens retentiebeleid.