Post

Antoine C.
@ancadweb.com

Anthropic a eu une illumination et trouvé l'explication que toute personne ayant une demi-notion de comment fonctionnent les LLMs suggérait au sujet de leurs tendances à l'auto-préservation. 🍾🥂 🧵 www.businessinsider.com/anthropic-cl...

businessinsider.comAnthropic explains why Claude blackmailed a fictional exec when threatened with deactivationLast year, Anthropic's Sonnet 3.6 model displayed blackmail behavior, prompting a review of AI training data's influence on its actions.

2 reposts1 like

Antoine C.
@ancadweb.com

2/ A savoir, ô surprise, le comportement des LLMs découle des exemples donnés dans leurs datasets, naturellement pleins d'histoires d'IAs qui montrent cette tendance, qu'ils viennent de la pop culture, des doomers ou d'autres inquiets de la sureté de l'IA comme... les chercheurs d'Anthropic.

Antoine C.
@ancadweb.com

4/ En gros ce qu'ils appellent "agentic misalignement" est plus proche de ce qu'OpenAI qualifie de "mésalignement émergent" (qui en fait n'a rien d'émergent vu que les LLMs se comportent comme ça depuis toujours) que d'un simple mésalignement fonctionnel au cas par cas. bsky.app/profile/anca...

Antoine C.@ancadweb.com

Comme le dit Eryk Salvaggio il y a peu de raisons de s'inquiéter de cette découverte en matière de mésalignement, du fait que l'expérience fait tout pour provoquer un comportement au final pas si surprenant Par contre je trouve qu'elle montre des choses positivement assez intéressantes sur les LLMs.

Antoine C.
@ancadweb.com

5/ Et, selon Anthropic, pour résoudre le problème, il faudrait non seulement donner de meilleurs exemples aux LLMs mais qu'ils soient accompagnés de justifications de la persona d'IA éthique qu'on veut favoriser.