DocumentationDémarrerPlateforme IkigeniaLearning HubArcaniaGuidesUtilisation de KoboldCPP

Utilisation de KoboldCpp

Apprenez à configurer et utiliser KoboldCpp comme backend IA local pour Arcania

Vous pouvez consulter la documentation complète de KoboldCpp ici.

Étapes d'Installation

Clonez le dépôt :

git clone https://github.com/LostRuins/koboldcpp
cd koboldcpp

Téléchargez le modèle : Par exemple, nous utiliserons le modèle OpenChat 3.5, qui est celui utilisé sur l'instance de démonstration. Il existe de nombreux modèles au choix.

Rendez-vous sur TheBloke/openchat_3.5-GGUF et téléchargez l'un des modèles, comme openchat_3.5.Q5_K_M.gguf. Placez ce fichier dans le répertoire ./models.
Compilez KoboldCpp :
```
make
```

Lancez le serveur :

./koboldcpp.py ./models/openchat_3.5.Q5_K_M.gguf

Sélectionnez KoboldCpp comme backend :

paramètres -> ChatBot -> ChatBot Backend -> KoboldCpp

Configurez KoboldCpp :
```
paramètres -> ChatBot -> KoboldCpp
```
Activez les fonctionnalités supplémentaires : Dans "Use KoboldCpp", assurez-vous que "Use Extra" est activé. Cela vous permettra d'utiliser les fonctionnalités supplémentaires de KoboldCpp, comme le streaming.