From 92744adb119db50ce8cbe9ec70b9832b5d8c10b3 Mon Sep 17 00:00:00 2001 From: midnight Date: Thu, 24 Oct 2024 22:38:53 +0200 Subject: [PATCH] Update K2 Search --- K2-Search.md | 14 ++++++++++---- 1 file changed, 10 insertions(+), 4 deletions(-) diff --git a/K2-Search.md b/K2-Search.md index f75e723..33d1a45 100644 --- a/K2-Search.md +++ b/K2-Search.md @@ -127,16 +127,22 @@ Továbbá a chunk építés során gyűjtünk egy listát ami alias-okat tartalm - CPU/GPU support - ONNX formátum szükséges, csak támogatott architektúrákkal megy -## Reranking - -- [reranking service] - ## Vektoros keresés - Qdrant - nagyobb méretű vektorok támogatása - hivatalos Docker image +## Reranking +- A vektoros keresés eredményeként visszaadott találatokat értékeli újra relevancia szerint +- Egyedi reranker service (FlagReranker) + - python alapú szerver, docker konténerben + - egyszerű REST API + - CPU/GPU support + - HF/Transformers modell formátum, a legtöbb modell alapra ebben készül +- bge-reranker-v2-m3 modell + - a *bge-gemma2* és *gte-Qwen2* modellekkel jól tud együttműködni + # Válaszgenerálás - OpenAI API GPT4-en keresztül generált - prompt: