Communication Dans Un Congrès Année : 2025

Fine-Tuning vs. Prompting : Évaluation de la Construction de Graphes de Connaissances avec les LLMs

Résumé

This contribution is a summary of our paper (Ghanem et Cruz, 2024) exploring Text-to-Knowledge Graph (T2KG) construction„ assessing Zero-Shot Prompting, Few-Shot Prompting, and Fine-Tuning methods with Large Language Models. Through comprehensive experimentation with Llama2, Mistral, and Starling, we highlight the strengths of FT, emphasize the dataset size’s role, and introduce nuanced evaluation metrics. Promising perspectives include synonym-aware metric refinement and data augmentation with LLMs. The study contributes valuable insights into KG construction methodologies, setting the stage for further advancements.
Cette publication présente une synthèse de notre article (Ghanem et Cruz, 2024) explorant les méthodes de construction de graphes de connaissances à partir de corpus textuels. L'étude évalue comparativement l'efficacité des approches de prompting Zero-Shot et Few-Shot, ainsi que les techniques de Finetuning appliquées aux grands modèles de langage. À travers une série d'expérimentations approfondies impliquant les modèles Llama2, Mistral et Starling, nous mettons en évidence la supériorité des méthodes de Finetuning et soulignons l'importance critique de la volumétrie des jeux de données d'entraînement. L'étude introduit également des métriques d'évaluation nuancées, spécifiquement conçues pour ce contexte. Les perspectives de recherche prometteuses incluent le raffinement des métriques pour prendre en considération les relations synonymiques, ainsi que l'augmentation des données d'entraînement par le biais de modèles de langage pré-entraînés.
Fichier principal
Vignette du fichier
EGC2025__Ghanem_Cruz.pdf (80) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04930507 , version 1 (05-02-2025)

Licence

Identifiants

  • HAL Id : hal-04930507 , version 1

Citer

Hussam Ghanem, Christophe Cruz. Fine-Tuning vs. Prompting : Évaluation de la Construction de Graphes de Connaissances avec les LLMs. Extraction et Gestion des Connaissances, EGC'2025, Jan 2025, Strasboug, France. ⟨hal-04930507⟩
0 Consultations
0 Téléchargements

Partager

More