midnight/kozlony-docs
Archived
1
0
Code Issues Packages Projects Wiki

Update K2 Search

midnight
2024-10-24 23:42:36 +02:00
parent f6fdcfed23
commit c0c50b486a
1 changed files with 9 additions and 3 deletions
Download Patch File Download Diff File Expand all files Collapse all files

12
K2-Search.md

@@ -155,7 +155,8 @@ A vektorok irányát és/vagy távolságát kiszámítva megállapítható, hogy
## Reranking
A vektoros keresés eredményeként visszaadott találatokat értékeli újra relevancia szerint.
A vektoros keresés eredményeként kapott találatok gyakran az összes relevánsnak tűnő dokumentumot tartalmazzák, de nem relevancia szerinti sorrendben.
A reranking során egy erre tanított modellel az egyes találatokat relevancia szerint súlyozzuk, majd ennek megfelelően rendezzük.
- Egyedi reranker service (FlagReranker)
- python alapú szerver, docker konténerben
@@ -166,11 +167,16 @@ A vektoros keresés eredményeként visszaadott találatokat értékeli újra re
- a *bge-gemma2* és *gte-Qwen2* modellekkel jól tud együttműködni
# Válaszgenerálás
A keresési találatok alapján LLM segítségével megpróbálunk egy választ adni a felhasználó kérdésére.
Ehhez fontos, hogy a modell rendelkezésére bocsássuk a kérdés megválaszolásához az összes releváns információt.
A találatokhoz tartozó metaadatok segítségével a válasz pontos referenciákat tartalmazhat.
- OpenAI API GPT4-en keresztül generált
- Prompt:
- A prompt felépítése:
- instrukciók
- relevánsnak ítélt kontextus
- user query
- Az első két keresési találat chunkjait (és a hozzájuk tartozó contextet) tartalmazza a kérés kontextje
- A kérés REST API-n történik, a válasz egyben meg van várva, nincsen streamelve
- A kérés REST API-n történik, a válasz egyben van megvárva (nincsen streamelve)
- A felhasználó számára egy elkülönített szövegdobozban jelenik meg