midnight/kozlony-docs
Archived
1
0
Code Issues Packages Projects Wiki

Update K2 Search

midnight
2024-10-24 23:46:35 +02:00
parent 9072af3689
commit e70d6665bf
1 changed files with 16 additions and 14 deletions
Download Patch File Download Diff File Expand all files Collapse all files

30
K2-Search.md

@@ -96,20 +96,22 @@ Az embedding során egy adott modellel előállítjuk egy *chunk* szemantikai ve
## Embedding Backendek ## Embedding Backendek
- Ollama #### Ollama
- hivatalos Docker image - hivatalos Docker image
- CPU/GPU support - CPU/GPU support
- GGUF formátum - GGUF formátum
- egyedi modellarchitektúrák konvertálása alkalom adtán nehézkes lehet (gemma, nv-embed) - egyedi modellarchitektúrák konvertálása alkalom adtán nehézkes lehet (gemma, nv-embed)
- Egyedi (SentenceTransformer)
- python alapú szerver, docker konténerben #### Egyedi (SentenceTransformer)
- egyszerű REST API - python alapú szerver, docker konténerben
- CPU/GPU support - egyszerű REST API
- HF/Transformers modell formátum, a legtöbb modell alapra ebben készül - CPU/GPU support
- Spring ONNX integráció - HF/Transformers modell formátum, a legtöbb modell alapra ebben készül
- alkalmazásszerverbe épül be
- CPU/GPU support #### Spring ONNX integráció
- ONNX formátum szükséges, csak támogatott architektúrákkal megy - alkalmazásszerverbe épül be
- CPU/GPU support
- ONNX formátum szükséges, csak támogatott architektúrákkal megy
## Embedding Modellek ## Embedding Modellek