midnight/kozlony-docs
Archived
1
0
Code Issues Packages Projects Wiki

Update K2 Search

midnight
2024-10-24 22:38:53 +02:00
parent 4325df841c
commit 92744adb11
1 changed files with 10 additions and 4 deletions
Download Patch File Download Diff File Expand all files Collapse all files

14
K2-Search.md

@@ -127,16 +127,22 @@ Továbbá a chunk építés során gyűjtünk egy listát ami alias-okat tartalm
- CPU/GPU support
- ONNX formátum szükséges, csak támogatott architektúrákkal megy
## Reranking
- [reranking service]
## Vektoros keresés
- Qdrant
- nagyobb méretű vektorok támogatása
- hivatalos Docker image
## Reranking
- A vektoros keresés eredményeként visszaadott találatokat értékeli újra relevancia szerint
- Egyedi reranker service (FlagReranker)
- python alapú szerver, docker konténerben
- egyszerű REST API
- CPU/GPU support
- HF/Transformers modell formátum, a legtöbb modell alapra ebben készül
- bge-reranker-v2-m3 modell
- a *bge-gemma2* és *gte-Qwen2* modellekkel jól tud együttműködni
# Válaszgenerálás
- OpenAI API GPT4-en keresztül generált
- prompt: