Fine-Tuning vs. Prompting : Évaluation de la Construction de Graphes de Connaissances avec les LLMs
Résumé
This contribution is a summary of our paper (Ghanem et Cruz, 2024) exploring Text-to-Knowledge Graph (T2KG) construction„ assessing Zero-Shot Prompting, Few-Shot Prompting, and Fine-Tuning methods with Large Language Models.
Through comprehensive experimentation with Llama2, Mistral, and Starling, we highlight the strengths of FT, emphasize the dataset size’s role, and introduce nuanced evaluation metrics. Promising perspectives
include synonym-aware metric refinement and data augmentation with LLMs. The study contributes valuable insights into KG construction methodologies, setting the stage for further advancements.
Cette publication présente une synthèse de notre article (Ghanem et Cruz, 2024) explorant les méthodes de construction de graphes de connaissances à partir de corpus textuels. L'étude évalue comparativement l'efficacité des approches de prompting Zero-Shot et Few-Shot, ainsi que les techniques de Finetuning appliquées aux grands modèles de langage. À travers une série d'expérimentations approfondies impliquant les modèles Llama2, Mistral et Starling, nous mettons en évidence la supériorité des méthodes de Finetuning et soulignons l'importance critique de la volumétrie des jeux de données d'entraînement. L'étude introduit également des métriques d'évaluation nuancées, spécifiquement conçues pour ce contexte. Les perspectives de recherche prometteuses incluent le raffinement des métriques pour prendre en considération les relations synonymiques, ainsi que l'augmentation des données d'entraînement par le biais de modèles de langage pré-entraînés.
Origine | Fichiers produits par l'(les) auteur(s) |
---|