Les Pre-Prompts et leur utilisation dans le monde des modèles de langage comme GPT-3
Pour comprendre le fonctionnement de ces modèles, il est important de comprendre deux concepts : le "prompt" et le "pre-prompt".
Le prompt est la question ou la phrase que vous posez au modèle pour lui faire générer du texte. Par exemple, si vous voulez que le modèle écrive une histoire, votre prompt pourrait être "Écris une histoire sur un chevalier courageux". Le modèle prendrait alors ce prompt et générerait une histoire basée sur cela.
Le pre-prompt, cependant, est une information que vous donnez au modèle avant le prompt principal. C'est souvent utilisé pour donner au modèle un contexte plus large ou pour le guider d'une certaine manière.
Par exemple, vous pourriez avoir un pre-prompt qui dit "Tu es un auteur de science-fiction du 23ème siècle".
GPT-4, en tant que modèle de langage de pointe, est particulièrement doué pour suivre ces pre-prompts. Cependant, il est essentiel de comprendre que le modèle n'a pas une compréhension consciente du dialogue. Il génère simplement la suite la plus probable du texte donné sur la base de ce qu'il a été entraîné à voir. Donc, si vous lui donnez un pre-prompt qui simule un dialogue, il continuera à générer du texte dans ce même format.
Prenons un exemple pour illustrer ceci :
Pre-prompt (écrit par les développeurs) :
Utilisateur :
> Bonjour ChatGPT, comment ça va ?
ChatGPT :
> Bonjour, Très bien. je suis prêt à aider.
> Comment puis-je vous servir aujourd'hui?
Prompt (écrit par l'utilisateur) :
> Je cherche à comprendre comment fonctionne la photosynthèse.
> Pouvez-vous m'expliquer cela ?
Dans cet exemple, le pre-prompt est injecté avant la question de l'utilisateur. Ainsi, le modèle va probablement continuer à générer du texte comme s'il était ChatGPT répondant à l'utilisateur, fournissant une explication sur la photosynthèse.
L'utilisation de pre-prompts peut améliorer la qualité et l'applicabilité des réponses générées par un modèle de langage. Gardons en tête que ces modèles n'ont pas une véritable compréhension de ces dialogues. Ils sont simplement très efficaces pour prédire et générer du texte basé sur le contexte fourni.
Pour conclure, il est important de noter que ces modèles, y compris GPT-4, sont susceptibles d'avoir des "hallucinations", c'est-à-dire de générer des informations qui ne sont pas factuelles ou exactes. Cela peut être dû à un manque de contexte clair, à des biais dans les données d'entraînement, ou simplement à la nature statistique du modèle. Par conséquent, il est crucial d'utiliser ces outils avec discernement et de vérifier les informations produites lorsqu'elles sont utilisées pour des tâches sensibles ou cruciales.
Crédit photo : Louis Smith sur Unsplash