Généralisations structurelles et compositionnelles dans les Grands Modèles de Langue

titleGénéralisations structurelles et compositionnelles dans les Grands Modèles de Langue
start_date2024/03/26
schedule10h-12h
onlineno
location_infoSalle de séminaire 1, bât. Max Weber
summaryLes modèles de langue de la famille transformer ont contribué à renouveler le domaine du TAL et en particulier sur les problématiques appliquées. Ces modèles peuvent-ils contribuer à renouveler nos connaissances sur la structure du langage ? Suite à une introduction sur les modèles de langue neuronaux, nous décrirons quelques expériences qui cherchent à mettre en évidence la capacité des modèles neuronaux à abstraire des généralisation structurelles sur le cas de l'accord en genre et en nombre pour le français. Dans un second temps nous illustrons quelques limites très marquées de ces mêmes modèles sur des cas de généralisation structurelle et nous discutons de perspectives pour proposer des méthodes de généralisation alternatives.
responsiblesBattistelli, Villoing