midnight/kozlony-docs
Archived
1
0
Code Issues Packages Projects Wiki

Update K2 Search

midnight
2024-10-24 23:46:35 +02:00
parent 9072af3689
commit e70d6665bf
1 changed files with 16 additions and 14 deletions
Download Patch File Download Diff File Expand all files Collapse all files

30
K2-Search.md

@@ -96,20 +96,22 @@ Az embedding során egy adott modellel előállítjuk egy *chunk* szemantikai ve
## Embedding Backendek
- Ollama
- hivatalos Docker image
- CPU/GPU support
- GGUF formátum
- egyedi modellarchitektúrák konvertálása alkalom adtán nehézkes lehet (gemma, nv-embed)
- Egyedi (SentenceTransformer)
- python alapú szerver, docker konténerben
- egyszerű REST API
- CPU/GPU support
- HF/Transformers modell formátum, a legtöbb modell alapra ebben készül
- Spring ONNX integráció
- alkalmazásszerverbe épül be
- CPU/GPU support
- ONNX formátum szükséges, csak támogatott architektúrákkal megy
#### Ollama
- hivatalos Docker image
- CPU/GPU support
- GGUF formátum
- egyedi modellarchitektúrák konvertálása alkalom adtán nehézkes lehet (gemma, nv-embed)
#### Egyedi (SentenceTransformer)
- python alapú szerver, docker konténerben
- egyszerű REST API
- CPU/GPU support
- HF/Transformers modell formátum, a legtöbb modell alapra ebben készül
#### Spring ONNX integráció
- alkalmazásszerverbe épül be
- CPU/GPU support
- ONNX formátum szükséges, csak támogatott architektúrákkal megy
## Embedding Modellek