Crédit Agricole Magazine n°181

«ChatGPT est une technologie bien adaptée à la rédaction de contenus issus de connaissances encyclopédiques. Mais ce n’est pas l’alpha et l’oméga des usages de l’IA. ChatGPT, comme toute IA peut se tromper, mais ne signale pas un risque significatif d’erreur, par exemple en affichant un indice de confiance dans sa réponse. Il n’incite pas non plus à vérifier la réponse en ne documentant pas ses sources. Néanmoins, de telles performances n’avaient jamais été atteintes. OpenAI n’a pas hésité à mettre en ligne un chatbot fondé sur un modèle encore très perfectible. Le procédé très "boîte noire" présente un certain caractère magique. Les réponses sont si bien écrites et adaptées au contexte qu’elles pourraient nous faire oublier de nous interroger sur leur exactitude. D’où l’intérêt d’avoir de premiers cas d’usage avec un contrôle humain en dernier ressort et une méthode d’évaluation rigoureuse des résultats s’appuyant sur les connaissances des métiers. Notre objectif est d’apprendre vite, mais il reste encore beaucoup de travail avant d’atteindre la maturité nécessaire à des déploiements industriels. Des études prospectives sur les impacts plus globaux seront sans doute menées, sans être décorrélées des expérimentations qui permettent de capter de précieux retours du terrain. Nous avançons avec pragmatisme et méthode. Avant de mettre en production, il faut s’assurer que les résultats sont pertinents et que les gains (de temps ou d’efficacité) justifient la mobilisation d’une technologie encore complexe au regard d’autres formes d’IA bien maîtrisées et moins onéreuses. Outre les coûts financiers et carbone, il nous faut aussi disposer des bons outils pour déployer et maintenir en conditions opérationnelles les solutions. À titre d’exemple, le DataLab groupe a développé un moteur de recherche augmenté par ChatGPT, qui peut être utile à des métiers effectuant régulièrement des recherches dans des procédures internes, des réglementations, des publications ou encore des contrats. Néanmoins, cela ne sera mis en production que si ses réponses évaluées de manière rigoureuse sont jugées pertinentes par les métiers pour leurs usages et si la valeur ainsi apportée justifie le recours à un service d’IA générative. Nous avons établi des benchmarks pour déterminer dans quels cas l’IA générative peut réellement faire la différence. En résumé, il y a eu de nombreux effets d’annonce, mais nous en sommes encore aux prémices d’une éventuelle massification des usages de l’IA générative.» “ Il faut s’assurer que les résultats sont pertinents. ” Aldrick Zappellini, directeur data groupe et chief data officer groupe

Faire œuvre de pédagogie sur la technologie IA générative : l’Ifcam et le DataLab groupe ont réalisé une vidéo (https://e-memo.ca-ifcam.fr/#fiche-825). Protéger les données du Crédit Agricole et de ses clients en bloquant les accès aux versions publiques de ChatGPT et de ses «avatars». Mener des expérimentations dans des conditions de sécurité acceptables (dans un cloud CAGIP) afin de comprendre la technologie et d’en évaluer les impacts pour nos métiers. Plusieurs participants du groupe de travail ont démarré des expérimentations et partagent au fil de l’eau les résultats. Rechercher la souveraineté et un équilibre optimal entre potentiel et risques, en maîtrisant les différentes solutions commerciales et open source. Des travaux portent sur des alternatives open source, plus frugales, adaptables

Pour mener à bien ces travaux, le DataLab groupe a mis en place une organisation spécifique: l’AI Factory Group, via la Task Force IA GEN, peut accompagner les entités qui souhaitent expérimenter rapidement en toute sécurité, s’assurer de la pertinence des résultats et mettre en production des cas d’usage. Les expérimentations en cours Sur les 22 cas d’usage répertoriés, des expérimentations sont menées et concernent, par exemple, la production de contenus digitaux permettant d’optimiser le référencement par les moteurs de recherche (SEO), l’aide à l’écriture de requêtes alimentant un outil de veille économique, l’assistance à la rédaction de synthèses ou encore à l’élaboration de questionnaires de formation pour l’Ifcam. Les premières leçons tirées des travaux d’itération réalisés par les experts métiers ont conclu à une bonne pertinence des textes générés par ChatGPT en matière de référencement digital (80 %), mais à une pertinence bien moindre (40 %) pour la mise en œuvre de requêtes qui alimentent un outil de veille. n (1) Une hallucination est une réponsemanifestement fausse qui est présentée comme un fait certain (Wikipedia).

à nos connaissances métiers et plus compatibles avec l’IA Act. Mettre en place des capacités technologiques et des normes IT

permettant le développement et la mise en production de cas d’usage conformes aux règles du groupe sous le contrôle des instances ad hoc.

19

Crédit Agricole Magazine n°181