How to extract semantically meaningful representations of human language by mapping those representations to the noisy, unpredictable physical world in which robots operate? Probabilistic, grammar-based natural language processing can be combined with machine learning to transform human communication into a formal language that a robot can understand, resulting in systems that non-specialists can instruct, control, and interact with intuitively and naturally
Bio :
Cynthia Matuszek joined the Computer Science and Electrical Engineering department at University of Maryland BC as in autumn of 2014, where she founded the Interactive Robotics and Language Lab, which studies how robots can use language learning to learn to follow instructions or learn about the world. This not only makes robots more useful, but also demonstrates the power of combining robotics with natural language processing. Our work overlaps with the field of HRI, or human-robot interaction
Serge ROBERT et Roger VILLEMAIRE - 14 janvier 2021
Titre : Logique et Cognition : Raisonnement créatif, apprentissage et logiques non classiques (S. Robert) Logique de description (R. Villemaire)
Résumé:
Raisonnement créatif, apprentissage et logiques non classiques (S. Robert)
Les débuts de l’intelligence artificielle ont été marqués par la réalisation de programmes experts à base de règles. L’expertise était alors définie comme la connaissance de règles et l’aptitude à les appliquer à des situations concrètes en utilisant les lois de la logique classique. Or, cette logique se caractérise par le fait qu’elle est statique et ne rend pas compte de la dimension dynamique de l’expertise et de la cognition. La dynamique en question est celle de la créativité et de l’apprentissage. Nous aborderons dans cette présentation comment des logiques non classiques ont tenté de modéliser ces deux comportements dynamiques. Ainsi, des systèmes de raisonnement ampliatifs permettent de rendre compte de la créativité, comme des systèmes de raisonnement non monotones peuvent modéliser l’apprentissage. Nous verrons de cette façon comment ces logiques non classiques ont contribué au développement de l’intelligence artificielle.
Références:
Negnevitsky, M. (2002, 2011) Artificial Intelligence, A Guide to Intelligent Systems, London, Addison Wesley, 3rd ed., chap. 2-4. Robert, S., Faghihi, U., Barkaoui, Y. & Ghazali, N. (2020) “Causality in Probabilistic Fuzzy Logic and Alternative Causes as Fuzzy Duals”, in Ngoc-Thanh Nguyen, et al. (eds.) (2020) Proceedings of the International Conference on Computer Collective Intelligence, Springer International Publishing, p.767-776. Robert, S. & Brisson, J. (2016) “The Klein Group, Squares of Opposition and the Explanation of Fallacies in Reasoning” in Logica Universalis, Springer Birkhäuser, volume 10, issue 2-3, p. 377-392.
Résumé:
Logique de description (R. Villemaire)
Nos sens perçoivent notre environnement et alimentent les processus cognitifs qui façonnent notre compréhension du monde. La connaissance est donc nécessairement tributaire du savoir. Il reste que l'ère numérique avec son déluge de documents informatisés, de bases de données et de ressources web submerge nos capacités et limite fortement les bénéfices que cette masse d'information devrait nous apporter. Toutefois, la logique, science du raisonnement, offre des outils et méthodes pour décrire l'information, vérifier sa cohérence et en produire des conséquences qui n'étaient qu'implicites. Cet exposé présentera la logique de description, un outil récent de modélisation, de raisonnement et d'inférence permettant le traitement algorithmique de l'information. Il s'agit d'ailleurs de la pierre d'assise du Web Ontology Language (OWL) du mouvement du Web Sémantique qui appelle à un partage, non plus de documents, mais d'information.
Serge Robert est professeur titulaire au Département de philosophie de l’UQAM, où il dirige le Laboratoire LANCI et où il est très engagé dans le Doctorat en Informatique Cognitive et à l’Institut des Sciences Cognitives. Il est spécialiste de logique, de philosophie des sciences et de sciences cognitives. Ses travaux portent plus spécifiquement sur le fonctionnement du raisonnement humain et sur son rôle dans la connaissance, dans la prise de décision, dans les interactions sociales, en éducation et en intelligence artificielle.
Roger Villemaire est professeur titulaire au département d'informatique de l'UQAM où il dirige le programme de Doctorat en Informatique Cognitive. Titulaire d'un doctorat en logique, il se spécialise dans la création de modèles permettant l'inférence efficace de connaissances à l'aide de méthodes informatiques performantes.
Titre : Les humanités du numérique : vers une épistémologie des données et du calcul
Résumé:
Alors que l’on évoque souvent ce que les humanités peuvent retirer de la mobilisation des outils numériques, renouvelant leurs objets et leurs méthodes, on néglige ce qu’en retour la tradition intellectuelle des humanités peut apporter à notre compréhension du fait numérique. Notre intervention portera sur les humanités du numérique, comme réciproque des humanités numériques et réponses qu’elles apportent aux enjeux contemporains, en explicitant les chantiers épistémologiques qui en découlent. Il sera alors possible de situer le rôle du calcul dans la construction du sens et les conséquences culturelles qu’on peut discerner.
Bio:
Ingénieur civil des Mines, Bruno Bachimont a une double culture scientifique et philosophique acquise par un doctorat en informatique (Université Pierre et Marie Curie) et en épistémologie (Ecole Polytechnique). Son questionnement porte sur les effets du numérique sur notre connaissance et la culture et il s’intéresse en priorité à la mémoire et la préservation numérique, à la noétique et au calcul. Il est actuellement directeur de la recherche et valorisation de la faculté des sciences de Sorbonne Université, après avoir été directeur de la recherche de l’Institut national de l’audiovisuel (INA) et de l’Université de technologie de Compiègne (UTC).
Titre : Constraining networks biologically to explain grounding
Résumé:
Meaningful use of symbols requires grounding in action and perception through learning. The mechanisms of this sensorimotor grounding, however, are rarely specified in mechanistic terms; and mathematically precise formal models of the relevant learning processes are scarce. As the brain is the device that is critical for mechanistically supporting and indeed implementing grounding, modelling needs to take into account realistic neuronal processes in the human brain. This makes it desirable to use not just ‘neural’ networks that are vaguely similar to some aspects of real networks of neurons, but models implementing constraints imposed by neuronal structure and function, that is, biologically realistic learning and brain structure along with local and global structural connectivity and functional interaction. After discussing brain constraints for cognitive modelling, the talk will focus on the biological implementation of grounding, in order to address the following questions: Why do the brains of humans -- but not those of their closest relatives -- allow for verbal working memory and learning of huge vocabularies of symbols? Why do different word and concept types seem to depend on different parts of the brain (‘category-specific’ semantic mechanisms)? Why are there ‘semantic and conceptual hubs’ in the brain where general semantic knowledge is stored -- and why would these brain areas be different from those areas where grounding information is present (i.e., the sensory and motor cortices)? And why should sensory deprivation shift language and conceptual processing toward ‘grounding areas’ -- for example toward the visual cortex in the blind? I will argue that brain-constrained modelling is necessary to answer (some of) these questions and, more generally, to explain the mechanisms of grounding.
Bio:
Friedemann Pulvermüller is a neuroscientist, psychologist and linguist whose research focuses on the neurobiological mechanisms of language, meaning and action. He got PhDs from the Universities of Tübingen and Konstanz, worked for many years as a Programme Leader at the MRC Cognition and Brain Sciences Unit, Cambridge University, and is now a professor in the neuroscience of language and pragmatics at the Freie Universität Berlin, where he also directs the ‘Brain Language Laboratory’. His honors include an Early Career Award of the Society for Psychophysiological Research and an ERC Advanced Grant and his publications ca 250 journal papers and 8 books.
Références:
Pulvermüller, F., Garagnani, M., & Wennekers, T. (2014). Thinking in circuits: Towards neurobiological explanation in cognitive neuroscience. Biological Cybernetics, 108(5), 573-593. doi: 10.1007/s00422-014-0603-9
Pulvermüller, F. (2018). Neural reuse of action perception circuits for language, concepts and communication. Progress in Neurobiology, 160, 1-44. doi: 10.1016/j.pneurobio.2017.07.001
Schomers, M. R., Garagnani, M., & Pulvermüller, F. (2017). Neurocomputational consequences of evolutionary connectivity changes in perisylvian language cortex. Journal of Neuroscience, 37(11), 3045-3055.
Tomasello, R., Wennekers, T., Garagnani, M., & Pulvermüller, F. (2019). Visual cortex recruitment during language processing in blind individuals is explained by Hebbian learning. Scientific Reports, 9(1), 1-16.
Language acquisition is a long-term dynamic process which comprises not only learning language sounds, words and phrase structures, but also grounding those linguistic entities in perception, feeling, and reasoning. We know for a fact that throughout this process babies are incapable of passively repeating ready-made expressions heard from adults' mouths, as they are constantly adapting their communication skills according to the available knowledge and linguistic capabilities. But how exactly is this done? Focusing on lexical meaning acquisition, we assume that the whole process is based on two key operations: (1) grounding words of a basic vocabulary set and (2) enhancing this vocabulary later on combinatorially by learning new words through verbal definitions composed of already grounded words. This correlates with the way dictionaries are made: a small set of words can recursively generate the whole of the largest, most exhaustive dictionary. From this point of view, dictionaries of any language, of any complexity can be described as acyclic oriented graphs. We aim to show that word acquisition by children reveals precisely those same structures.
Bio:
Marcos Lopes is Associate Professor of Computational Linguistics, Department of Linguistics, University of São Paulo, Brazil. He did his doctoral work in Linguistics at University of Paris X (Nanterre). His research subjects focus on mapping natural language semantics into knowledge representation theories in Artificial Intelligence.
Titre : Grounded Language Learning in Virtual Environments
Résumé:
Stephen CLARK – 19 novembre 2020 Titre : Grounded Language Learning in Virtual Environments Résumé : Natural Language Processing is currently dominated by the application of text-based language models such as BERT and GPT. One feature of these models is that they rely entirely on the statistics of text, without making any connection to the world, which raises the interesting question of whether such models could ever properly “understand” the language. One way in which these models can be grounded is to connect them to images or videos, for example by conditioning the language models on visual input and using them for captioning.
In this talk I extend the grounding idea to a simulated virtual world: an environment which an agent can perceive, explore and interact with. More specifically, a neural-network-based agent is trained -- using distributed deep reinforcement learning -- to associate words and phrases with things that it learns to see and do in the virtual world.The world is 3D, built in Unity, and contains recognisable objects, including some from the ShapeNet repository of assets.
One of the difficulties in training such networks is that they have a tendency to overfit to their training data, so first we’ll demonstrate how the interactive, first-person perspective of an agent provides it with a particular inductive bias that helps it to generalize to out-of-distribution settings. Another difficulty is that training the agents typically requires a huge number of training examples, so we’ll show how meta-learning can be used to teach the agents to bind words to objects in a one-shot setting. Moreover, the agent is able to combine its knowledge of words obtained one-shot with its stable knowledge of word meanings learned over many episodes, providing a form of grounded language learning which is both “fast and slow”. Joint work with Felix Hill.
Bio:
Stephen Clark is a Research Scientist at DeepMind, and an Honorary Professor at Queen Mary University of London. Previously he spent 18 years working at UK universities, first as a postdoctoral researcher at the University of Edinburgh; then as a member of Faculty at the Oxford University Department of Computer Science, and a Fellow of Keble College, Oxford; and finally as a member of Faculty at the University of Cambridge Department of Computer Science and Technology. He holds a PhD in Computer Science and Artificial Intelligence from the University of Sussex, and an MA in Philosophy from Gonville and Caius College, Cambridge. He carries out research at the intersection of Computational Linguistics and Machine Learning, with much of his previous work focusing on the syntactic and semantic analysis of natural language text (including an ERC Starting Grant on compositional distributional models of meaning). His current research focus is the acquisition of language by artificial agents in the context of realistic virtual environments.
Titre : Lifelong social learning in swarm robotics
Résumé:
In swarm robotics, hundreds or more robots with limited computation and communication capabilities act together to accomplish a common task. Behavior programming is generally done by hand or optimized before deployment to address a specific task (e.g. shape formation) or to produce basic primitives (e.g. leader-following, flocking) that can then be combined by the user. However, it is not always possible to design beforehand the policies required to solve a task, as the environment may be unknown before deployment, or change through time.
In this talk, I will give an overview of our recent works in adaptive swarm robotics, where learning is performed in an online and distributed fashion. I will describe some recent evolutionary and social learning algorithms we have developed and implemented in both simulated and real robots. Originally loosely inspired by evolutionary biology and social learning, these algorithms face challenges that are usually not addressed in robotics, but familiar to biological collective systems. I will describe how the environment shapes learning in unexpected ways, as the swarm must address tasks in a self-sustainable fashion. I will also discuss how to achieve truly cooperative behaviours at the level of the collective, in particular concerning pursuing both individual benefits and social welfare.
Bio:
Nicolas Bredeche is Professeur des Universités (full professor) in computer science at Sorbonne Université (Campus Pierre et Marie Curie) in Paris, France. His current research activity revolves around adaptive collective systems with two motivations: (1) to understand natural systems, using individual-based modeling and simulation methods (e.g.: collective decision making, evolution of cooperation) and (2) to design adaptive collective/swarm robotic systems using evolutionary and social learning algorithms (e.g.: behavior optimization for collective robotics, online distributed learning for swarm robotics). He is particularly interested in how a collective of individuals, whether artificial or natural, can learn how to survive together in open environments.
Références:
N. Bredeche, J.-M. Montanier, W. Liu, A. FT. Winfield. Environment-driven Distributed Evolutionary Adaptation in a Population of Autonomous Robotic Agents. Mathematical and Computer Modelling of Dynamical Systems, Special Issue: Modelling the swarm – analysing biological and engineered swarm systems. Taylor & Francis Eds. Volume 18, Issue 1, p.101-129, 2012. http://www.tandfonline.com/doi/ref/10.1080/13873954.2011.601425 A. Bernard, N. Bredeche, J-B. Andre. Indirect genetic effects allow to escape the inefficient equilibrium in a coordination game. Evolution Letters vol. 4, issue 3, Pages 257-265, June 2020 https://www.biorxiv.org/content/early/2018/09/20/422287
Titre : Les auto-citations: caractéristique normale de l'accumulation des connaissances ou perversion de l'évaluation de la recherche?
Résumé:
La science est une activité cumulative, où les connaissances passées servent de socle sur lequel s’appuient celles qui sont nouvellement produites. L’un des mécanismes par lequel cette filiation des connaissances se manifeste est l’acte de citer. Or, les citations sont également au cœur de l’évaluation de la recherche contemporaine, créant ainsi certains incitatifs pour les chercheurs à citer leurs propres travaux afin d’améliorer leur visibilité. Ainsi, l’autocitation est au cœur de la critique liée à l’usage des citations comme indicateurs de l’impact scientifique. Après avoir fait un bref survol des méthodes bibliométriques, nous examinerons, à partir d’un corpus de plusieurs dizaines de million d’articles, l’importance relative des auto-citations dans le paysage scientifique, leur relation avec l’âge et le genre des auteur.e.s, ainsi que leurs effets sur divers indicateurs d’évaluation de la recherche. Nous présenterons également les résultats d’une comparaison du contenu des textes cités à celui des textes citant, permettant ainsi de tester l’hypothèse selon laquelle les chercheur.e.s citent leurs propres travaux afin de gonfler leurs indicateurs d’impact. Référence générale sur la bibliométrie (je n’ai pas encore terminé le papier!) : https://www.pum.umontreal.ca/catalogue/mesurer-la-science (livre en libre accès)
Bio:
Vincent Larivière est professeur de sciences de l’information à l’Université de Montréal, où il est également titulaire de la Chaire de recherche du Canada sur les transformations de la communication savante et vice-recteur associé (planification et communication stratégiques). Il est directeur scientifique de la plateforme de diffusion de revues savantes Érudit, directeur scientifique adjoint de l’Observatoire des sciences et des technologies (OST-UQAM) et membre régulier du Centre interuniversitaire de recherche sur la science et la technologie (CIRST). [Philippe Vincent-Lamarre est chercheur postdoctoral à la Chaire de recherche du Canada sur les transformations de la communication savante à l’Université de Montréal.]
Titre:Le robot cognitif et interactif: vers les robots assistantsou équipiers
Résumé:
Cet exposé aborde un ensemble de problèmes décisionnels essentiels auxquels est confronté le robot cognitif et interactif qui partage l'espace et la tâche avec un humain. Nous adoptons une approche constructive basée sur l'identification et la mise en œuvre de compétences collaboratives élémentaires inspirées des concepts de l'action conjointe. Le système est complet dans la mesure où il vise à mettre en œuvre un ensemble cohérent de capacités articulées de manière à ce que le contrôleur du robot puisse effectivement conduire, de manière flexible et acceptable par l’humain, une résolution de problèmes interactive et une réalisation de tâches collaboratives humain-robot. Ces capacités comprennent le raisonnement géométrique et l’évaluation de la situation reposant essentiellement sur la prise de perspective et l’exploitation de la connaissance de chaque agent (humain et robot) dans un modèle cognitif distinct et une planification des tâches prenant en compte explicitement l’humain, l’estimation de son état mental, ses besoins et ses préférences. Chatila, R., Renaudo, E., Andries, M., Chavez-Garcia, R. O., Luce-Vayrac, P., Gottstein, R., ... & Khamassi, M. (2018). Toward self-aware robots. Frontiers in Robotics and AI, 5, 88.
Bio:
Rachid Alami est chef du groupe Robotics and InteractionS (RIS) au Laboratoire d'analyse et d'architecture des systèmes (CNRS), co-président de Interactive Robotics SIG au Groupe de Recherche Français en Robotique (GDR Robotique) Ses principales contributions à la recherche couvrent plusieurs aspects clés de la robotique cognitive et des sujets liés à l'IA: capacités décisionnelles pour les robots cognitifs et interactifs avec les humains; planification de mouvement humaine; raisonnement symbolique et géométrique complexe; coordination et coopération multi-robots; architectures de contrôle et outils pour la construction de systèmes robotiques autonomes.
Titre : Towards Understanding Understanding: Dialogue, Robots, and Meaning
Résumé:
Hallmarks of intelligence include the ability to acquire, represent, understand, and produce natural language. Although recent efforts in data-driven, machine learning, and deep learning methods have advanced natural language processing applications, important challenges remain. In my talk, I'll give an overview of general trends in understanding language on machines, what we can learn from children who acquire language seemingly with minimal effort, and what that means for future research. I will then explain my own research on grounding language into different physical modalities, what role emotion could play, and the potential importance of embodiment.
Bio:
Casey Kennington is an assistant professor in the Department of Computer Science at Boise State University. He completed his PhD in Linguistics at Bielefeld University in Germany and his masters degrees in Computational Linguistics and Cognitive Science, respectively, from Saarland University in Saarbrücken, Germany, and Nancy 2 University in Nancy, France. His research at Boise State University brings together computer science, machine/deep learning, human-robot interaction, natural language processing, spoken dialogue systems, child development, and cognitive science.
