40 lines
1.5 KiB
Markdown
40 lines
1.5 KiB
Markdown
# Retrieval Pipeline
|
|
|
|
## Stappen
|
|
|
|
1. Authenticeer caller en resolveer application/user.
|
|
2. Bereken effective spaces en toegestane trust/data policies.
|
|
3. Normaliseer vraag; bewaar originele query.
|
|
4. Detecteer identifiers, paden, versies, foutcodes en taal.
|
|
5. Maak dense queryembedding en sparse queryrepresentatie.
|
|
6. Voer parallel dense en sparse retrieval uit met verplichte payloadfilters.
|
|
7. Fuseer rankings via Reciprocal Rank Fusion.
|
|
8. Verwijder duplicate/near-duplicate chunks en beperk per document.
|
|
9. Selecteer de hoogste gefuseerde kandidaten.
|
|
10. Expandeer geselecteerde children naar toegestane parentcontext.
|
|
11. Stel context samen binnen token- en diversiteitsbudget.
|
|
12. Bepaal answerability/conflictstatus.
|
|
13. Materialiseer immutable citations en emit timings/metrics.
|
|
|
|
## Standaardbudgetten V1
|
|
|
|
- dense candidates: 50;
|
|
- sparse candidates: 50;
|
|
- fused candidates: 40;
|
|
- geselecteerde fused results: 10;
|
|
- maximaal 3 children per document;
|
|
- minimaal 2 documenten waar beschikbaar;
|
|
- contextbudget configureerbaar per generationprofiel.
|
|
|
|
Dit zijn beginwaarden, geen harde kwaliteitswaarheid. Evaluation bepaalt wijzigingen.
|
|
|
|
## Degradatie
|
|
|
|
- Sparse unavailable: dense-only met expliciete degraded metadata.
|
|
- Generator unavailable: search/context blijven werken.
|
|
- Geen voldoende evidence: antwoordstatus `not_answerable`; geen geforceerde generatie.
|
|
|
|
V1 heeft geen actieve reranker: de fused ranking is de normale productieroute,
|
|
niet een degradatiefallback. Een toekomstige reranker krijgt pas een profiel en
|
|
provider nadat die end-to-end is gevalideerd.
|