Serverless SFT

Découvrez comment effectuer le Fine-tuning de modèles à l’aide du fine-tuning supervisé (SFT) sur W&B

Utilisez Serverless SFT pour effectuer le Fine-tuning de LLM à l’aide de l’apprentissage supervisé sur des Datasets sélectionnés. Serverless SFT est désormais en préversion publique. W&B met à votre disposition l’infrastructure d’entraînement (sur CoreWeave) tout en vous laissant une flexibilité totale dans la configuration de votre environnement. Vous obtenez un accès immédiat à un cluster d’entraînement géré qui s’adapte automatiquement à l’échelle pour prendre en charge vos charges d’entraînement.

Serverless SFT est idéal pour des tâches telles que :

• Distillation : transférer les connaissances d’un modèle plus grand et plus performant vers un modèle plus petit et plus rapide
• Apprentissage du style et du format de sortie : entraîner un modèle à respecter des formats de réponse, un ton ou une structure spécifiques
• Amorçage avant le RL : préentraîner un modèle avec des exemples supervisés avant d’appliquer l’apprentissage par renforcement pour un affinage plus poussé

Serverless SFT entraîne des adaptateurs LoRA afin de spécialiser un modèle pour votre tâche spécifique. W&B stocke automatiquement les adaptateurs LoRA que vous entraînez comme Artifacts dans votre compte. Vous pouvez également les enregistrer en local ou chez un tiers à des fins de sauvegarde. W&B Inference héberge également automatiquement les modèles que vous entraînez via Serverless SFT.

Voir la documentation ART sur Serverless SFT pour commencer.

​

Pourquoi Serverless SFT ?

Le fine-tuning supervisé (SFT) est une technique d’entraînement dans laquelle un modèle apprend à partir d’exemples d’entrée et de sortie soigneusement sélectionnés. Serverless SFT sur W&B offre les avantages suivants :

• Coûts d’entraînement réduits : en mutualisant l’infrastructure entre de nombreux utilisateurs, en évitant d’avoir à configurer chaque job et en ramenant vos coûts GPU à 0 lorsque vous n’êtes pas activement en train d’entraîner, Serverless SFT réduit considérablement les coûts d’entraînement.
• Temps d’entraînement plus court : en mettant immédiatement à disposition l’infrastructure d’entraînement lorsque vous en avez besoin, Serverless SFT accélère vos tâches d’entraînement et vous permet d’itérer plus rapidement.
• Déploiement automatique : Serverless SFT déploie automatiquement chaque checkpoint que vous entraînez, ce qui élimine le besoin de configurer manuellement une infrastructure d’hébergement. Vous pouvez immédiatement accéder aux modèles entraînés et les tester dans des environnements locaux, de préproduction ou de production.

​

Comment Serverless SFT utilise les services W&B

Serverless SFT s’appuie sur une combinaison des composants W&B suivants pour fonctionner :

• Inference : Pour exécuter vos modèles
• Models : Pour suivre les métriques de performances pendant l’entraînement de l’adaptateur LoRA
• Artifacts : Pour stocker et versionner les adaptateurs LoRA
• Weave (facultatif) : Pour avoir de la visibilité sur la manière dont le modèle répond à chaque étape de la boucle d’entraînement

Serverless SFT est en préversion publique. Pendant cette phase, W&B vous facture uniquement l’utilisation de l’inférence et le stockage des Artifacts. W&B ne facture pas l’entraînement des adaptateurs pendant la période de préversion.