日本語タイトル#
HHNAS-AM：適応的突然変異ポリシーを使用した階層的ハイブリッド神経アーキテクチャ検索
英文タイトル#
HHNAS-AM: Hierarchical Hybrid Neural Architecture Search using Adaptive Mutation Policies
日本語摘要#
神経アーキテクチャ検索（NAS）は、手動設計のアーキテクチャよりも優れたアーキテクチャを発見できる能力から、広範な研究の関心を集めています。 テキスト表現の学習は、テキスト分類やその他の言語関連タスクにとって重要です。 テキスト分類で使用される NAS モデルはハイブリッド階層構造を持たず、アーキテクチャ構造に制限がないため、検索空間は非常に大きく、ほとんどが冗長になり、既存の強化学習モデルは検索空間を効果的にナビゲートできません。 また、フラットなアーキテクチャ検索を行うと、整理されていない検索空間が生じ、遍歴が難しくなります。 これを目的として、私たちは HHNAS-AM（適応的突然変異ポリシーを持つ階層的ハイブリッド神経アーキテクチャ検索）を提案します。これは、多様なアーキテクチャ構成を効率的に探索する新しいアプローチです。 私たちは、検索のためのいくつかのアーキテクチャテンプレートを導入し、これらのテンプレートは検索空間を整理します。検索空間は、ドメイン特有の手がかりに基づいて設計されています。 私たちの方法は、Q 学習を使用して、前の反復からのパフォーマンスフィードバックに基づいて動的に適応する突然変異戦略を採用し、検索空間の遍歴をより効果的かつ加速します。 提案されたモデルは完全に確率的であり、検索空間の効果的な探索を可能にします。 私たちは、データベース ID（db_id）予測タスクで私たちのアプローチを評価し、複数の実験で常に高性能なアーキテクチャを発見しています。 Spider データセットでは、私たちの方法は既存のベースラインに対してテスト精度を 8% 向上させました。
英文摘要#
Neural Architecture Search (NAS) has garnered significant research interest due to its capability to discover architectures superior to manually designed ones. Learning text representation is crucial for text classification and other language-related tasks. The NAS model used in text classification does not have a Hybrid hierarchical structure, and there is no restriction on the architecture structure, due to which the search space becomes very large and mostly redundant, so the existing RL models are not able to navigate the search space effectively. Also, doing a flat architecture search leads to an unorganised search space, which is difficult to traverse. For this purpose, we propose HHNAS-AM (Hierarchical Hybrid Neural Architecture Search with Adaptive Mutation Policies), a novel approach that efficiently explores diverse architectural configurations. We introduce a few architectural templates to search on which organise the search spaces, where search spaces are designed on the basis of domain-specific cues. Our method employs mutation strategies that dynamically adapt based on performance feedback from previous iterations using Q-learning, enabling a more effective and accelerated traversal of the search space. The proposed model is fully probabilistic, enabling effective exploration of the search space. We evaluate our approach on the database id (db_id) prediction task, where it consistently discovers high-performing architectures across multiple experiments. On the Spider dataset, our method achieves an 8% improvement in test accuracy over existing baselines.
文章ページ#
HHNAS-AM：適応的突然変異ポリシーを使用した階層的ハイブリッド神経アーキテクチャ検索
PDF 获取#
抖音で QR コードをスキャンしてさらに素晴らしいコンテンツを見る