Thèse Année : 2024

Sparks of Explainability: Recent Advancements in Explaining Large Vision Models

Lueurs d'Explicabilité : Avancées Récentes dans l'Explication des Grands Modèles de Vision

Résumé

This thesis explores advanced approaches to improve explainability in computer vision by analyzing and modeling the features exploited by deep neural networks. Initially, it evaluates attribution methods, notably saliency maps, by introducing a metric based on algorithmic stability and an approach utilizing Sobol indices, which, through quasi-Monte Carlo sequences, allows a significant reduction in computation time. In addition, the EVA method offers a first formulation of attribution with formal guarantees via verified perturbation analysis. Experimental results indicate that in complex scenarios these methods do not provide sufficient understanding, particularly because they identify only "where" the model focuses without clarifying "what" it perceives. Two hypotheses are therefore examined: aligning models with human reasoning—through the introduction of a training routine that integrates the imitation of human explanations and optimization within the space of 1-Lipschitz functions—and adopting a conceptual explainability approach. The CRAFT method is proposed to automate the extraction of the concepts used by the model and to assess their importance, complemented by MACO, which enables their visualization. These works converge towards a unified framework, illustrated by an interactive demonstration applied to the 1000 ImageNet classes in a ResNet model.
Cette thèse explore des approches avancées pour améliorer l’explicabilité en vision par ordinateur en analysant et en modélisant les caractéristiques exploitées par des réseaux de neurones profonds. Initialement, elle évalue les méthodes d’attribution, notamment les cartes de saillance, en introduisant une métrique basée sur la stabilité algorithmique et une approche utilisant les indices de Sobol, qui, grâce à des séquences quasi-Monte Carlo, permet une réduction significative du temps de calcul. En complément, la méthode EVA offre une première formulation d’attribution dotée de garanties formelles via une analyse de perturbation vérifiée. Les résultats expérimentaux indiquent que, dans des scénarios complexes, ces méthodes n’apportent pas une compréhension suffisante, notamment parce qu’elles identifient « où » se focalise le modèle sans expliciter « quoi » il perçoit. Deux hypothèses sont ainsi examinées : l’alignement des modèles sur le raisonnement humain, par l’introduction d’une routine d’entraînement qui intègre l’imitation des explications humaines et l’optimisation dans l’espace des fonctions 1-Lipschitz, et l’adoption d’une approche d’explicabilité conceptuelle. La méthode CRAFT est proposée pour automatiser l’extraction des concepts utilisés par le modèle et en estimer l’importance, complétée par MACO qui permet leur visualisation. Ces travaux convergent vers un cadre unifié, illustré par une démonstration interactive appliquée aux 1000 classes d’ImageNet dans un modèle ResNet.
Fichier principal
Vignette du fichier
Thèse.pdf (153) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04925839 , version 1 (03-02-2025)

Identifiants

  • HAL Id : tel-04925839 , version 1

Citer

Thomas Fel. Sparks of Explainability: Recent Advancements in Explaining Large Vision Models. Computer Science [cs]. Paul Sabatier Université Toulouse III - Paul Sabatier (UPS), 2024. English. ⟨NNT : ⟩. ⟨tel-04925839⟩

Collections

ANR ANITI ANR-IA
0 Consultations
0 Téléchargements

Partager

More