midnight/kozlony-docs
Archived
1
0
Code Issues Packages Projects Wiki

Update K2 Search

midnight
2024-10-24 23:45:24 +02:00
parent c0c50b486a
commit 9072af3689
1 changed files with 26 additions and 23 deletions
Download Patch File Download Diff File Expand all files Collapse all files

35
K2-Search.md

@@ -117,27 +117,30 @@ A vektorok előállításához használt modellek nagyban befolyásolják a kere
Jellemzően a kevesebb paraméteres, de specifikusan embedding célra tanított modellek jobban teljesítenek, mint a komplexebb modellek.
További előny, ha a modell tanító adathalmaza a célnyelvnek megfelelő szöveget tartalmazott.
- Llama 3.2 72B
- Backend: Ollama
- Tapasztalat:
#### Llama 3.2 72B
- Backend: Ollama
- Tapasztalat:
Az egyes embeddingek vektorai túl hasonlóak, ezért nem alkalmasak keresésre
- gte-Qwen2-7B-instruct
- Backend: Ollama
- A töbnyelvű embedding rangsorban 2. helyezett jelenleg
- Tapasztalat:
#### gte-Qwen2-7B-instruct
- Backend: Ollama
- A töbnyelvű embedding rangsorban 2. helyezett jelenleg
- Tapasztalat:
Ez a modell specifikusan embedding célokra van tanítva, ezért a generált vektorok között nagyobb a távolság, jól kereshető.
A kisebb paraméterszám ellenére is jobb találatokat ad, mint a Llama3.2 modell.
Ezen felül sokkal gyorsabb a vektorok generálása, az előzetes embedding generálás és a felhasználó keresések során egyaránt.
- bge-multilingual-gemma2
- Backend: egyedi (SentenceTransformer)
- A töbnyelvű embedding rangsorban 1. helyezett jelenleg
- Tapasztalat:
#### bge-multilingual-gemma2
- Backend: egyedi (SentenceTransformer)
- A töbnyelvű embedding rangsorban 1. helyezett jelenleg
- Tapasztalat:
A Qwen embedding modellhez hasonlóan szintén jól összehasonlítható vektorokat generál.
- nv-embed-v2
- Backend: egyedi (SentenceTransformer)
- Új modell (2024. 09.)
- Az embedding modell rangsor élén áll jelenleg
- Tapasztalat:
#### nv-embed-v2
- Backend: egyedi (SentenceTransformer)
- Új modell (2024. 09.)
- Az embedding modell rangsor élén áll jelenleg
- Tapasztalat:
- Nem generál megfelelő vektorokat 16bit precízió mellett GPU-n, 32bites módban nincs elég VRAM
- Érdemes visszatérni hozzá, amennyiben elterjedtebb lesz és rendelkezésre áll megfelelő tooling, vagy nagyobb hardverkapacitás