midnight/kozlony-docs
Archived
1
0
Code Issues Packages Projects Wiki

Update K2 Search

midnight
2024-10-24 23:45:24 +02:00
parent c0c50b486a
commit 9072af3689
1 changed files with 26 additions and 23 deletions
Download Patch File Download Diff File Expand all files Collapse all files

35
K2-Search.md

@@ -117,27 +117,30 @@ A vektorok előállításához használt modellek nagyban befolyásolják a kere
Jellemzően a kevesebb paraméteres, de specifikusan embedding célra tanított modellek jobban teljesítenek, mint a komplexebb modellek. Jellemzően a kevesebb paraméteres, de specifikusan embedding célra tanított modellek jobban teljesítenek, mint a komplexebb modellek.
További előny, ha a modell tanító adathalmaza a célnyelvnek megfelelő szöveget tartalmazott. További előny, ha a modell tanító adathalmaza a célnyelvnek megfelelő szöveget tartalmazott.
- Llama 3.2 72B #### Llama 3.2 72B
- Backend: Ollama - Backend: Ollama
- Tapasztalat: - Tapasztalat:
Az egyes embeddingek vektorai túl hasonlóak, ezért nem alkalmasak keresésre Az egyes embeddingek vektorai túl hasonlóak, ezért nem alkalmasak keresésre
- gte-Qwen2-7B-instruct
- Backend: Ollama #### gte-Qwen2-7B-instruct
- A töbnyelvű embedding rangsorban 2. helyezett jelenleg - Backend: Ollama
- Tapasztalat: - A töbnyelvű embedding rangsorban 2. helyezett jelenleg
- Tapasztalat:
Ez a modell specifikusan embedding célokra van tanítva, ezért a generált vektorok között nagyobb a távolság, jól kereshető. Ez a modell specifikusan embedding célokra van tanítva, ezért a generált vektorok között nagyobb a távolság, jól kereshető.
A kisebb paraméterszám ellenére is jobb találatokat ad, mint a Llama3.2 modell. A kisebb paraméterszám ellenére is jobb találatokat ad, mint a Llama3.2 modell.
Ezen felül sokkal gyorsabb a vektorok generálása, az előzetes embedding generálás és a felhasználó keresések során egyaránt. Ezen felül sokkal gyorsabb a vektorok generálása, az előzetes embedding generálás és a felhasználó keresések során egyaránt.
- bge-multilingual-gemma2
- Backend: egyedi (SentenceTransformer) #### bge-multilingual-gemma2
- A töbnyelvű embedding rangsorban 1. helyezett jelenleg - Backend: egyedi (SentenceTransformer)
- Tapasztalat: - A töbnyelvű embedding rangsorban 1. helyezett jelenleg
- Tapasztalat:
A Qwen embedding modellhez hasonlóan szintén jól összehasonlítható vektorokat generál. A Qwen embedding modellhez hasonlóan szintén jól összehasonlítható vektorokat generál.
- nv-embed-v2
- Backend: egyedi (SentenceTransformer) #### nv-embed-v2
- Új modell (2024. 09.) - Backend: egyedi (SentenceTransformer)
- Az embedding modell rangsor élén áll jelenleg - Új modell (2024. 09.)
- Tapasztalat: - Az embedding modell rangsor élén áll jelenleg
- Tapasztalat:
- Nem generál megfelelő vektorokat 16bit precízió mellett GPU-n, 32bites módban nincs elég VRAM - Nem generál megfelelő vektorokat 16bit precízió mellett GPU-n, 32bites módban nincs elég VRAM
- Érdemes visszatérni hozzá, amennyiben elterjedtebb lesz és rendelkezésre áll megfelelő tooling, vagy nagyobb hardverkapacitás - Érdemes visszatérni hozzá, amennyiben elterjedtebb lesz és rendelkezésre áll megfelelő tooling, vagy nagyobb hardverkapacitás