日本語タイトル#
進化的選択微調に基づく転移学習の最適化
英文タイトル#
Transfer learning optimization based on evolutionary selective fine tuning
日本語摘要#
深層学習は画像分析において顕著な進展を遂げました。しかし、大規模な完全訓練モデルの計算要求は依然として考慮すべき問題です。転移学習は、事前訓練されたモデルを新しいタスクに適応させるための戦略を提供します。従来の微調整は通常、すべてのモデルパラメータを更新することを含み、これが過学習やより高い計算コストを引き起こす可能性があります。本論文では、転移学習の効率を向上させるために層を選択的に微調整する進化的適応微調整技術である BioTune を紹介します。BioTune は進化的アルゴリズムを用いて微調整のための焦点を絞った層のセットを特定し、特定の目標タスクにおけるモデルの性能を最適化することを目指しています。さまざまな分野からの 9 つの画像分類データセットにおける評価は、BioTune が AutoRGN や LoRA などの既存の微調整方法と比較して競争力のあるまたは改善された精度と効率を達成することを示しています。関連する層のサブセットに微調整プロセスを集中させることにより、BioTune は訓練可能なパラメータの数を減少させ、計算コストを低下させ、さまざまなデータ特性や分布におけるより効率的な転移学習を促進する可能性があります。
英文摘要#
Deep learning has shown substantial progress in image analysis. However, the computational demands of large, fully trained models remain a consideration. Transfer learning offers a strategy for adapting pre-trained models to new tasks. Traditional fine-tuning often involves updating all model parameters, which can potentially lead to overfitting and higher computational costs. This paper introduces BioTune, an evolutionary adaptive fine-tuning technique that selectively fine-tunes layers to enhance transfer learning efficiency. BioTune employs an evolutionary algorithm to identify a focused set of layers for fine-tuning, aiming to optimize model performance on a given target task. Evaluation across nine image classification datasets from various domains indicates that BioTune achieves competitive or improved accuracy and efficiency compared to existing fine-tuning methods such as AutoRGN and LoRA. By concentrating the fine-tuning process on a subset of relevant layers, BioTune reduces the number of trainable parameters, potentially leading to decreased computational cost and facilitating more efficient transfer learning across diverse data characteristics and distributions.
文章ページ#
PDF 获取#
抖音でスキャンしてさらに素晴らしいコンテンツを確認