Efficient Transfer Learning Towards Constrained Environments
Apprentissage par transfert efficient pour des environnements contraints
Résumé
This thesis explores efficient transfer learning techniques for constrained environments, where reducing the number of adjustable parameters becomes central.Firstly, we examine the impact of pre-training data volume and the number of associated classes. During transfer, we also investigate the transfer method used and the number of examples per class in the target task. Our results show that, during pre-training, performance saturates after a certain data threshold. Beyond this point, the number of classes has little influence even when high and despite a decrease in model accuracy on the pre-training task. We also observe that, while freezing the feature extractor generally performs worse than full fine-tuning, it can be more effective when the data are scarce and the target and source tasks are similar.Next, we study the impact of temporal shifts on feature extractors based on deep neural network models. To this end, we introduce a new dataset highlighting the lack of robustness of pre-trained models against temporal shifts. We evaluate the effectiveness of several pre-training strategies and adaptation methods in mitigating this issue. Our findings underscore the importance of regularly updating models to adapt to temporal changes in the distribution of visual classes, even when the model is heavily pre-trained. Moreover, the rate of this change varies across classes.Finally, we propose a new transfer learning method optimized to minimize the number of adjustable parameters. This method is based on our discovery of a bias in sensitivity metric approximation currently used to identify the important parameters for adjustment. This bias, favoring layers with high variance in weight values, was eliminated through a new sensitivity formulation. The method also offers an alternative to unstructured fine-tuning through adaptations, with a ranks determined before transfer and based on the sensitivity of network parameters. The benefits of this method were established on a set of 19 datasets.Our work contributes to advancing transfer learning in constrained environments by optimizing the use of pre-training data, enhancing model robustness against temporal shifts, and proposing an new parameter-efficient fine-tuning method.
Cette thèse explore des techniques d'apprentissage par transfert efficientes pour des environnements contraints, où la réduction du nombre de paramètres ajustables devient centrale. Dans un premier temps, nous examinons l'impact de la quantité de données de pré-entraînement ainsi que du nombre de classes associées. Lors du transfert, nous étudions également la méthode de transfert employée ainsi que le nombre d'exemples par classe dans la tâche cible. Nos résultats montrent que, durant le pré-entraînement, les performances saturent après une certaine quantité de données, et qu'une fois ce seuil atteint, le nombre de classes a peu d'influence, même s'il est élevé et que la précision du modèle sur la tâche de pré-entraînement diminue. Nous avons également observé que, bien que l'apprentissage d'une couche de classification linéaire soit généralement moins performant qu'un fine-tuning complet, il peut être plus efficace lorsque la quantité de données est faible et que la tâche cible est similaire à la tâche source. Nous étudions ensuite l'impact du temps sur les extracteurs de caractéristiques basés sur des modèles neuronaux profonds. Pour cela, nous introduisons un nouveau jeu de données qui met en évidence le manque de robustesse des modèles pré-entraînés face aux décalages temporels. Nous évaluons la capacité de plusieurs stratégies de pré-entraînement et méthodes d'adaptation à mitiger ce problème. Nos résultats soulignent l'importance de mettre régulièrement à jour les modèles pour s'adapter aux changements dans le temps des distributions des classes visuelles, même lorsque le modèle est fortement pré-entraîné. De plus, la vitesse de ce changement varie selon les classes.Enfin, nous proposons une nouvelle méthode d'apprentissage par transfert optimisée en termes de paramètres ajustables. Cette méthode se base sur notre découverte d'un biais dans l'approximation de la métrique de sensibilité permettant de déterminer les paramètres importants à ajuster. Ce biais, favorisant les couches ayant une grande variance dans les valeurs des poids, a pu être éliminé grâce à une nouvelle approximation de la sensibilité. La méthode offre également une alternative au fine-tuning non structuré grâce à des adaptations dont le rang est déterminé avant le transfert, en fonction de la sensibilité des paramètres du réseau. Les gains apportés par cette méthode ont été mis en évidence sur un ensemble de 19 datasets.Ainsi, nos travaux contribuent à l'amélioration de l'apprentissage par transfert dans des environnements contraints en optimisant l'utilisation des données de pré-entraînement, en renforçant la robustesse des modèles face aux décalages temporels, et en proposant une nouvelle méthode de fine-tuning efficiente en termes de paramètres.
Origine | Version validée par le jury (STAR) |
---|