Tommaso TOSATO - 31 octobre 2024 à 10h30 au local PK-5115
TITRE : Algorithmic Gap Between LMs and the Brain
RÉSUMÉ :
Les récents progrès des grands modèles linguistiques (LLM) ont amélioré leurs performances, mais ils diffèrent de la cognition humaine. Les comparaisons actuelles se concentrent souvent sur le comportement d’entrée-sortie ou les représentations intermédiaires, sans examiner les processus internes. Des concepts inspirés des neurosciences, comme la connectivité clairsemée et l’apprentissage incarné, pourraient rendre les LLM plus biologiquement plausibles. Les évaluations psychométriques montrent une grande variabilité des réponses, remettant en question la stabilité de la « personnalité » des LLM. Nous analyserons aussi comment la taille du modèle influence cette variabilité et la stabilité des traits de personnalité.
Abstract: Large language models (LLMs) produce impressive performance on linguistic tasks but diverges from human cognition in how they do it. Comparisons of LLMs and the brain often focus only on input-output behavior or intermediate representations. Beyond surface-level behavior are the internal processes driving transformations between these representations. Neuroscience-inspired features like sparse connectivity, modularity, internal states, and embodied and interactive learning lead to biologically more plausible language models. Human psychometric assessment of LLMs reveals substantial variability in LLM responses because of question order shuffling or paraphrasing. This challenges the notion of a stable LLM "personality". Personality trait scores are influenced by different persona prompts. We will describe the relationship between model size and personality trait stability.
BIOGRAPHIE :
Tommaso TOSATO est chercheur postdoctoral à l’Université de Montréal, au sein du Laboratoire de psychiatrie de précision et de physiologie sociale. Ses recherches portent sur l’intersection des neurosciences, de l’intelligence artificielle et de la modélisation computationnelle. Il a co-rédigé des études sur la relation algorithmique entre les modèles de langage et le fonctionnement cérébral.
RÉFÉRENCES:
Tosato, Tommaso, et al. (2024) "Lost in Translation: The Algorithmic Gap Between LMs and the Brain." arXiv preprint arXiv:2407.04680 (2024).