diff --git a/K2-Search.md b/K2-Search.md index a8fc257..bfaa784 100644 --- a/K2-Search.md +++ b/K2-Search.md @@ -155,7 +155,8 @@ A vektorok irányát és/vagy távolságát kiszámítva megállapítható, hogy ## Reranking -A vektoros keresés eredményeként visszaadott találatokat értékeli újra relevancia szerint. +A vektoros keresés eredményeként kapott találatok gyakran az összes relevánsnak tűnő dokumentumot tartalmazzák, de nem relevancia szerinti sorrendben. +A reranking során egy erre tanított modellel az egyes találatokat relevancia szerint súlyozzuk, majd ennek megfelelően rendezzük. - Egyedi reranker service (FlagReranker) - python alapú szerver, docker konténerben @@ -166,11 +167,16 @@ A vektoros keresés eredményeként visszaadott találatokat értékeli újra re - a *bge-gemma2* és *gte-Qwen2* modellekkel jól tud együttműködni # Válaszgenerálás + +A keresési találatok alapján LLM segítségével megpróbálunk egy választ adni a felhasználó kérdésére. +Ehhez fontos, hogy a modell rendelkezésére bocsássuk a kérdés megválaszolásához az összes releváns információt. +A találatokhoz tartozó metaadatok segítségével a válasz pontos referenciákat tartalmazhat. + - OpenAI API GPT4-en keresztül generált -- Prompt: +- A prompt felépítése: - instrukciók - relevánsnak ítélt kontextus - user query - Az első két keresési találat chunkjait (és a hozzájuk tartozó contextet) tartalmazza a kérés kontextje -- A kérés REST API-n történik, a válasz egyben meg van várva, nincsen streamelve +- A kérés REST API-n történik, a válasz egyben van megvárva (nincsen streamelve) - A felhasználó számára egy elkülönített szövegdobozban jelenik meg \ No newline at end of file