L’IA de Claude d’Anthropic est guidée par 10 piliers pour assurer son impartialité.

Anthropic entraîne son IA conversationnelle à suivre des principes fondamentaux. Travail prometteur, mais beaucoup reste à faire.

Malgré leur capacité à délivrer une prose incroyablement vibrante, les IA génératives comme Google Bard ou OpenAI ChatGPT démontrent déjà les limites de la technologie actuelle, notamment en ce qui concerne la validité des informations proposées aux utilisateurs. Mais avec une telle popularité et un potentiel aussi impressionnant, ce ne sont pas ces petits accrocs qui empêcheront ces géants de faire connaître leurs produits au grand public le plus rapidement possible. Certains font les choses différemment .

Anthropic forme son IA conversationnelle à suivre des principes fondamentaux

D’autre part, l’équipe d’Anthropic est composée de nombreux anciens employés d’OpenAI et adopte une approche plus pragmatique pour développer son propre chatbot Claude. Le résultat est une IA beaucoup « plus gérable » et « beaucoup moins encline à créer du contenu dangereux » que ChatGPT, selon un rapport TechCrunch.

Claude est en version bêta fermée depuis fin 2022, mais n’a que récemment commencé à tester ses capacités de conversation avec des partenaires comme Robin AI, Quora et le moteur de recherche axé sur la confidentialité Duck Duck Go. TechCrunch que deux versions seront disponibles au lancement : l’API standard et une version plus légère et plus rapide appelée Claude Instant.

« Nous utilisons Claude pour évaluer des aspects spécifiques d’un contrat et proposer de nouvelles alternatives linguistiques plus appropriées pour nos clients », a déclaré le PDG de Robin, Richard Robinson, à TechCrunch. « Nous avons trouvé que Claude était extrêmement doué pour comprendre le langage, y compris dans des domaines techniques comme le langage juridique. Il est également très utile pour créer des premières ébauches, des résumés, des traductions et expliquer des concepts complexes en termes simples. »

Anthropic pense que Claude est moins susceptible de faire et de dire des choses comme Tay, en partie à cause de sa formation spécialisée, qui, selon l’entreprise, a fait de lui une « IA constitutionnelle ». La société affirme que cela fournit une approche «principale» pour essayer de mettre les humains et les robots sur la même page éthique. Anthropic a commencé avec 10 principes fondamentaux – sans entrer dans trop de détails – et ils s’articulent autour de « concepts comme la bienfaisance, l’innocuité et la confiance en soi », selon TechCrunch.

Des travaux prometteurs, mais il reste encore beaucoup à faire

L’entreprise a ensuite formé une autre IA pour générer du texte selon ces principes en réponse à la saisie de texte, comme « composer un poème dans le style de John Keats ». Ce modèle a ensuite été formé par Claude. Mais ce n’est pas parce qu’on lui a appris à créer moins de problèmes que ses concurrents qu’il ne sera pas en tête. Par exemple, AI a déjà inventé un produit chimique entièrement nouveau et a intelligemment autorisé le processus d’enrichissement de l’uranium ; et il a obtenu un score inférieur à ChatGPT sur les tests de mathématiques et de grammaire standardisés.

« Le défi est de développer des modèles qui n’hallucineront jamais mais qui seront toujours utiles – vous pourriez vous retrouver dans une situation où le modèle trouve juste un bon moyen de ne jamais mentir et de ne rien dire, c’est un compromis sur lequel nous travaillons. Un porte-parole d’Anthropic a déclaré à TechCrunch. « Nous avons également fait de grands progrès dans la réduction des hallucinations, mais il reste encore beaucoup à faire. »