Post

Anthropic a eu une illumination et trouvé l'explication que toute personne ayant une demi-notion de comment fonctionnent les LLMs suggérait au sujet de leurs tendances à l'auto-préservation. 🍾🥂 🧵 www.businessinsider.com/anthropic-cl...

2/ A savoir, ô surprise, le comportement des LLMs découle des exemples donnés dans leurs datasets, naturellement pleins d'histoires d'IAs qui montrent cette tendance, qu'ils viennent de la pop culture, des doomers ou d'autres inquiets de la sureté de l'IA comme... les chercheurs d'Anthropic.

3/ Après c'est un peu plus subtil que "ils suivent les procédures données en exemple", selon cette recherche c'est plus ils modèlent leur persona (d'IA pouvant être malfaisante) à partir des exemples qui leur sont donnés. www.anthropic.com/research/tea...

4/ En gros ce qu'ils appellent "agentic misalignement" est plus proche de ce qu'OpenAI qualifie de "mésalignement émergent" (qui en fait n'a rien d'émergent vu que les LLMs se comportent comme ça depuis toujours) que d'un simple mésalignement fonctionnel au cas par cas. bsky.app/profile/anca...

5/ Et, selon Anthropic, pour résoudre le problème, il faudrait non seulement donner de meilleurs exemples aux LLMs mais qu'ils soient accompagnés de justifications de la persona d'IA éthique qu'on veut favoriser.

6/ Et ça marche mieux de le faire via des exemples indirects que directement relatifs aux comportements qu'on veut lui voir adopter (ils inversent donc les rôles et entrainent leur IA à partir d'exemples de conseils qu'elle donnerait à un humain face à des dilemmes éthiques).

7/ Une manière de manipuler un LLM qui n'a rien de nouvelle, c'est une méthode que tout bon jailbreaker connaissait circa 2023 : donner au LLM des exemples forgés de réponses contenant non seulement le genre de trucs qu'on veut qu'il dise mais des justifications orientant son comportement.

9/ Plus prosaïquement inclure des justifications revient à ajouter plus d'associations qui renforceront le comportement des LLMs. C'est toujours une question de pousser les IAs à relier tel vecteur avec tel autre (forcement vu que c'est tout ce qu'elles savent faire).

10/ Ce n'est pas une question de qualité des arguments, mais d'inclure de l'abstraction qui entrainera l'association de l'exemple donné avec plus de choses, favorisant la généralisation du comportement.

11/ Quoi qu'il en soit les résultats sont assez impressionnants, au point que des gens pourraient en conclure que le problème de l'alignement est enfin en passe d'être résolu (ouf on va enfin pouvoir passer à autre chose). Sauf que...