diff --git a/K2-Search.md b/K2-Search.md index bfaa784..e61c903 100644 --- a/K2-Search.md +++ b/K2-Search.md @@ -117,29 +117,32 @@ A vektorok előállításához használt modellek nagyban befolyásolják a kere Jellemzően a kevesebb paraméteres, de specifikusan embedding célra tanított modellek jobban teljesítenek, mint a komplexebb modellek. További előny, ha a modell tanító adathalmaza a célnyelvnek megfelelő szöveget tartalmazott. -- Llama 3.2 72B - - Backend: Ollama - - Tapasztalat: - Az egyes embeddingek vektorai túl hasonlóak, ezért nem alkalmasak keresésre -- gte-Qwen2-7B-instruct - - Backend: Ollama - - A töbnyelvű embedding rangsorban 2. helyezett jelenleg - - Tapasztalat: - Ez a modell specifikusan embedding célokra van tanítva, ezért a generált vektorok között nagyobb a távolság, jól kereshető. - A kisebb paraméterszám ellenére is jobb találatokat ad, mint a Llama3.2 modell. - Ezen felül sokkal gyorsabb a vektorok generálása, az előzetes embedding generálás és a felhasználó keresések során egyaránt. -- bge-multilingual-gemma2 - - Backend: egyedi (SentenceTransformer) - - A töbnyelvű embedding rangsorban 1. helyezett jelenleg - - Tapasztalat: - A Qwen embedding modellhez hasonlóan szintén jól összehasonlítható vektorokat generál. -- nv-embed-v2 - - Backend: egyedi (SentenceTransformer) - - Új modell (2024. 09.) - - Az embedding modell rangsor élén áll jelenleg - - Tapasztalat: - - Nem generál megfelelő vektorokat 16bit precízió mellett GPU-n, 32bites módban nincs elég VRAM - - Érdemes visszatérni hozzá, amennyiben elterjedtebb lesz és rendelkezésre áll megfelelő tooling, vagy nagyobb hardverkapacitás +#### Llama 3.2 72B +- Backend: Ollama +- Tapasztalat: + Az egyes embeddingek vektorai túl hasonlóak, ezért nem alkalmasak keresésre + +#### gte-Qwen2-7B-instruct +- Backend: Ollama +- A töbnyelvű embedding rangsorban 2. helyezett jelenleg +- Tapasztalat: + Ez a modell specifikusan embedding célokra van tanítva, ezért a generált vektorok között nagyobb a távolság, jól kereshető. + A kisebb paraméterszám ellenére is jobb találatokat ad, mint a Llama3.2 modell. + Ezen felül sokkal gyorsabb a vektorok generálása, az előzetes embedding generálás és a felhasználó keresések során egyaránt. + +#### bge-multilingual-gemma2 +- Backend: egyedi (SentenceTransformer) +- A töbnyelvű embedding rangsorban 1. helyezett jelenleg +- Tapasztalat: + A Qwen embedding modellhez hasonlóan szintén jól összehasonlítható vektorokat generál. + +#### nv-embed-v2 +- Backend: egyedi (SentenceTransformer) +- Új modell (2024. 09.) +- Az embedding modell rangsor élén áll jelenleg +- Tapasztalat: + - Nem generál megfelelő vektorokat 16bit precízió mellett GPU-n, 32bites módban nincs elég VRAM + - Érdemes visszatérni hozzá, amennyiben elterjedtebb lesz és rendelkezésre áll megfelelő tooling, vagy nagyobb hardverkapacitás ## Vektoros keresés