From e70d6665bfa105617940698de602742526d0435b Mon Sep 17 00:00:00 2001 From: midnight Date: Thu, 24 Oct 2024 23:46:35 +0200 Subject: [PATCH] Update K2 Search --- K2-Search.md | 30 ++++++++++++++++-------------- 1 file changed, 16 insertions(+), 14 deletions(-) diff --git a/K2-Search.md b/K2-Search.md index e61c903..3d609cd 100644 --- a/K2-Search.md +++ b/K2-Search.md @@ -96,20 +96,22 @@ Az embedding során egy adott modellel előállítjuk egy *chunk* szemantikai ve ## Embedding Backendek -- Ollama - - hivatalos Docker image - - CPU/GPU support - - GGUF formátum - - egyedi modellarchitektúrák konvertálása alkalom adtán nehézkes lehet (gemma, nv-embed) -- Egyedi (SentenceTransformer) - - python alapú szerver, docker konténerben - - egyszerű REST API - - CPU/GPU support - - HF/Transformers modell formátum, a legtöbb modell alapra ebben készül -- Spring ONNX integráció - - alkalmazásszerverbe épül be - - CPU/GPU support - - ONNX formátum szükséges, csak támogatott architektúrákkal megy +#### Ollama +- hivatalos Docker image +- CPU/GPU support +- GGUF formátum +- egyedi modellarchitektúrák konvertálása alkalom adtán nehézkes lehet (gemma, nv-embed) + +#### Egyedi (SentenceTransformer) +- python alapú szerver, docker konténerben +- egyszerű REST API +- CPU/GPU support +- HF/Transformers modell formátum, a legtöbb modell alapra ebben készül + +#### Spring ONNX integráció +- alkalmazásszerverbe épül be +- CPU/GPU support +- ONNX formátum szükséges, csak támogatott architektúrákkal megy ## Embedding Modellek