Microsoft explique le comportement étrange de son chatbot dans Bing

Microsoft s’explique pour justifier le comportement parfois étrange du chatbot Bing. La raison en est, selon l’équipe responsable, les longues séances d’échange avec l’IA.

La semaine dernière, Microsoft a lancé son chatbot basé sur l’IA pour Bing dans son navigateur Edge, qui fait l’actualité depuis. Mais pas toujours pour les bonnes raisons . Les premières impressions étaient bonnes, très bonnes, mais les utilisateurs ont commencé à remarquer que le bot Bing donnait des informations incorrectes, réprimandait les utilisateurs pour leur perte de temps et montrait même un comportement plutôt «déséquilibré». Dans une conversation étrange, il a refusé de sortir les bandes d’Avatar 2 : Waterway, insistant sur le fait que le film n’est pas encore sorti car nous sommes encore en 2022. Le bot a même qualifié l’utilisateur de « inintelligent et têtu », d’ailleurs, lorsqu’il a essayé de dire à Bing qu’il avait tort.

Microsoft s’explique pour justifier le comportement parfois étrange du chatbot Bing

Microsoft a publié aujourd’hui un article de blog expliquant ce qui s’est passé et comment il traite ces problèmes. Tout d’abord, la société basée à Redmond a admis qu’elle ne prévoyait pas d’utiliser l’IA de Bing pour « la découverte générale du monde et le divertissement social ».

Ces « longues sessions de chat de 15 questions ou plus » peuvent faire tomber le système. « Bing peut être répétitif ou rapide/poussant pour fournir des réponses qui ne sont pas nécessairement utiles ou conformes au ton que nous voulons », explique la société. Apparemment, c’est parce que le bot peut « oublier » question après question à laquelle il essayait initialement de répondre. Pour résoudre ce problème, Microsoft peut ajouter un outil pour réinitialiser le contexte de recherche ou recommencer à zéro.

Un autre problème est plus complexe et intéressant : « Le modèle essaie parfois de répondre ou de penser sur le même ton que les questions posées, ce qui peut parfois conduire à un style indésirable », écrit Microsoft. Cela nécessite beaucoup d’interaction, mais les ingénieurs pensent qu’ils peuvent y remédier en donnant plus de contrôle aux utilisateurs.

La raison en est, selon l’équipe responsable, les longues séances d’échange avec l’IA.

Malgré ces préoccupations, les testeurs sont généralement très satisfaits des résultats de l’IA de Bing pour la recherche, selon Microsoft. Cependant, il est possible de faire mieux sur « des données très temporelles, comme les résultats sportifs en temps réel ». Le géant américain cherche aussi à améliorer les réponses factuelles, par exemple, pour les états financiers en multipliant les données par un facteur quatre. . Enfin, l’entreprise « ajoutera également un bouton pour vous donner plus de contrôle afin d’encourager la précision ou la créativité dans la réponse, en fonction de votre demande ».

Le support de Bing tient à remercier les utilisateurs pour tous les tests qu’ils ont effectués, ce qui « contribue à améliorer le produit pour tout le monde ». Dans le même temps, les ingénieurs se disent surpris que les utilisateurs restent jusqu’à deux heures pour interagir avec le robot. Nul doute que les internautes devront tester chaque nouvelle itération du chatbot toute la journée, tout peut être très intéressant.

Le subreddit Bing contient de nombreux exemples du nouveau chat Bing qui devient incontrôlable.

Ouvrir le chat dans la recherche maintenant pourrait être une mauvaise idée !

Pris ici pour rappeler qu’il fut un temps où un moteur de recherche majeur montrait cela dans ses résultats. pic.twitter.com/LiE2HJCV2z

– Vlad (@vladquant) 13 février 2023