Analyse des Limites Techniques et Pratiques

Gestion du Contexte et de l’Historique

• Problème : Les API GPT d’OpenAI ne conservent pas l’historique des interactions entre les requêtes. Chaque nouvelle requête est traitée indépendamment, sans connaissance des échanges précédents.
• Solution Mise en Place : Pour contourner cette limitation, un système de stockage d’historique via Redis a été intégré. Redis est une base de données en mémoire rapide, permettant de sauvegarder l’historique des interactions pour garantir la continuité des échanges avec l’utilisateur.

Gestion des Tokens

• Explication des Tokens : Un “token” est une unité de texte utilisée par le modèle GPT-4 pour traiter le langage. Les tokens peuvent être des mots entiers ou des fragments de mots. Par exemple, “chatbot” pourrait être un seul token ou plusieurs, selon son traitement.
• Problème : Les modèles GPT ont une capacité maximale de traitement de 128 000 tokens, avec une limite spécifique de 4 096 tokens pour les sorties générées. Cette limitation peut poser problème lorsque le nombre de tokens d’entrée est élevé, réduisant ainsi les tokens disponibles pour la réponse.
• Solution Mise en Place : Un calcul automatique du nombre de tokens à l’entrée a été développé, informant l’utilisateur du nombre de tokens restants pour la sortie et fournissant un indice de qualité du traitement. Cet indice évalue la proportion de tokens utilisés par rapport aux tokens disponibles pour la sortie, classant la qualité en quatre catégories : Élevée, Moyenne, Faible, et Très Faible.

Hébergement et Temps de Réponse

• Problème : Heroku (hébergement de l’application Flask côté serveur) impose un timeout de 30 secondes pour les requêtes, ce qui peut être problématique pour le traitement de documents volumineux ou de tâches complexes.
• Solution Mise en Place : Pour répondre à cette contrainte, un système de calcul du poids de l’entrée utilisateur a été mis en place. Si le traitement risque de dépasser le timeout, la tâche est basculée vers un traitement asynchrone, permettant de gérer des tâches plus longues sans interruption.

Conclusion

L’utilisation des API GPT pour des applications avancées nécessite des solutions techniques complexes, une gestion précise des ressources et une maintenabilité accrue. En comparaison avec un compte GPT commercial payant, voici quelques points clés :

• Complexité des Tests et de la Maintenabilité : La mise en œuvre nécessite des tests rigoureux et une maintenabilité constante. La gestion des tokens, la conservation du contexte et le traitement asynchrone augmentent la complexité du développement et de l’exploitation.

• Temps de Réponse : Le temps de réponse de l’application lorsqu’il y a un appel GPT semble plus important, et le passage au traitement asynchrone pour les documents importants renforce cette situation. Cela peut entraîner des délais supplémentaires par rapport à un modèle MyGPT commercial.

• Personnalisation et Paramètres du Modèle : Les comptes GPT payants offrent une personnalisation limitée (par exemple, les prompts) sans exiger de gestion interne des tokens et de l’historique. Cependant, l’utilisation des API permet un contrôle plus fin sur des paramètres comme la température, le top_p et le max tokens, essentiels pour ajuster les réponses du modèle.

• Séquençage et Traitements Internes : Il est possible d’imbriquer différents appels à GPT pour séquencer et découper les traitements. GPT peut être utilisé à l’intérieur du code pour des traitements internes sans afficher directement les réponses à l’utilisateur, permettant une utilisation plus flexible et modulaire.