Initial curated RAGcore source from c16667f0c9397e2bfc8dd0255b114fba23c8d05e

docs/05_RETRIEVAL/PIPELINE.md

@@ -0,0 +1,39 @@
+# Retrieval Pipeline
+
+## Stappen
+
+1. Authenticeer caller en resolveer application/user.
+2. Bereken effective spaces en toegestane trust/data policies.
+3. Normaliseer vraag; bewaar originele query.
+4. Detecteer identifiers, paden, versies, foutcodes en taal.
+5. Maak dense queryembedding en sparse queryrepresentatie.
+6. Voer parallel dense en sparse retrieval uit met verplichte payloadfilters.
+7. Fuseer rankings via Reciprocal Rank Fusion.
+8. Verwijder duplicate/near-duplicate chunks en beperk per document.
+9. Selecteer de hoogste gefuseerde kandidaten.
+10. Expandeer geselecteerde children naar toegestane parentcontext.
+11. Stel context samen binnen token- en diversiteitsbudget.
+12. Bepaal answerability/conflictstatus.
+13. Materialiseer immutable citations en emit timings/metrics.
+
+## Standaardbudgetten V1
+
+- dense candidates: 50;
+- sparse candidates: 50;
+- fused candidates: 40;
+- geselecteerde fused results: 10;
+- maximaal 3 children per document;
+- minimaal 2 documenten waar beschikbaar;
+- contextbudget configureerbaar per generationprofiel.
+
+Dit zijn beginwaarden, geen harde kwaliteitswaarheid. Evaluation bepaalt wijzigingen.
+
+## Degradatie
+
+- Sparse unavailable: dense-only met expliciete degraded metadata.
+- Generator unavailable: search/context blijven werken.
+- Geen voldoende evidence: antwoordstatus `not_answerable`; geen geforceerde generatie.
+
+V1 heeft geen actieve reranker: de fused ranking is de normale productieroute,
+niet een degradatiefallback. Een toekomstige reranker krijgt pas een profiel en
+provider nadat die end-to-end is gevalideerd.