Nous pouvons utiliser certains paramètres du LLMa pour contrôler divers aspects du modèle, tels que son degré de « randomisation ». Ces paramètres peuvent être ajustés pour produire des résultats plus créatifs, diversifiés et intéressants. Les paramètres de Température, de Top P et de Longueur Maximale sont les plus importants, mais nous décrirons chaque paramètre que l’OpenAI Playground vous permet de modifier.
Température
La température régule l’imprévisibilité de la sortie d’un modèle de langage. Avec des réglages de température plus élevés, les sorties deviennent plus créatives et moins prévisibles, car cela amplifie la probabilité des jetons moins probables tout en réduisant celle des jetons plus probables. À l’inverse, des températures plus basses produisent des résultats plus conservateurs et prévisibles.
REMARQUE
Si vous réglez la température trop haut, vous pouvez obtenir des résultats non-sensiques comme « Commencez un concours de baseball avec des balles éponges près de la plage de Becksmith Stein Man. »
Top P
Top P est un paramètre des modèles de langage qui contribue à gérer la randomisation de leur sortie. Il fonctionne en établissant un seuil de probabilité, puis en sélectionnant des jetons dont la probabilité combinée dépasse cette limite.
Par exemple, considérons un exemple où le modèle prédit le prochain mot dans « Le chat a grimpé sur le ___ ». Les cinq mots les plus probables qu’il pourrait envisager sont « arbre » (probabilité 0,5), « toit » (probabilité 0,25), « mur » (probabilité 0,15), « fenêtre » (probabilité 0,07) et « tapis » (probabilité 0,03).
Si nous réglons le Top P à 0,90, l’IA ne considérera que les jetons qui cumulent au moins ~90 %. Dans notre cas :
- En ajoutant « arbre », le total atteint 50 %.
- Ensuite, en ajoutant « toit », le total devient 75 %.
- Puis vient « mur », et maintenant notre somme atteint 90 %.
Ainsi, pour générer une sortie, l’IA choisira au hasard l’une de ces trois options (arbre, toit et mur) car elles représentent environ ~90 % de toutes les probabilités. Cette méthode peut produire des sorties plus diverses que les méthodes traditionnelles qui échantillonnent l’ensemble du vocabulaire de manière indiscriminée, car elle restreint les choix en fonction des probabilités cumulatives plutôt que des jetons individuels.
Longueur Maximale
La longueur maximale est le nombre total de jetons que l’IA est autorisée à générer. Ce paramètre est utile car il permet aux utilisateurs de gérer la longueur de la réponse du modèle, évitant ainsi des réponses excessivement longues ou non pertinentes. Il permet également de contrôler les coûts, car la longueur est partagée entre l’entrée dans la zone de jeu et la réponse générée.
Autres paramètres du LLM
Il existe de nombreux autres paramètres qui peuvent affecter la sortie du modèle de langage, tels que les séquences d’arrêt, les pénalités de fréquence et de présence.
Séquences d’arrêt
Les séquences d’arrêt indiquent au modèle quand cesser de générer du contenu, ce qui vous permet de contrôler la longueur et la structure du contenu. Si vous demandez à l’IA d’écrire un e-mail, définir « Cordialement, » ou « Sincèrement, » comme séquence d’arrêt garantit que le modèle s’arrête après la formule de politesse de clôture, ce qui maintient l’e-mail court et au point.
Pénalité de Fréquence
La pénalité de fréquence est un paramètre qui décourage la répétition dans le texte généré en pénalisant les jetons proportionnellement à leur fréquence d’apparition. Plus un jeton est utilisé fréquemment dans le texte, moins il est probable que l’IA l’utilise à nouveau.
Pénalité de Présence
La pénalité de présence est similaire à la pénalité de fréquence, mais elle pénalise les jetons de manière uniforme en fonction de leur présence ou de leur absence, plutôt que proportionnellement.
Note sur la Déterminisme
Même lorsque la Température et le Top P sont réglés complètement à zéro, l’IA peut ne pas donner exactement la même sortie à chaque fois. Cela est dû à la randomisation dans les calculs du GPU (unité de traitement graphique) effectués dans le « cerveau » de l’IA.
Conclusion
En conclusion, maîtriser des paramètres tels que la température, le Top P, la longueur maximale et d’autres est essentiel lorsque l’on travaille avec des modèles de langage. Ces paramètres permettent un contrôle précis de la sortie du modèle pour répondre à des tâches ou des applications spécifiques. Ils gèrent des aspects tels que la randomisation des réponses, la longueur des réponses et la fréquence de répétition, entre autres, contribuant tous à améliorer votre interaction avec l’IA.