大規模言語モデル(LLM)を活用したWebブラウザ自動操作に関する論文発表

未分類

大規模言語モデル(LLM)を活用したWebブラウザ自動操作に関する論文を発表

アミフィアブル株式会社は、Webアプリケーションの自動テストにおいて、大規模言語モデル（LLM）を活用したSeleniumベースのWebブラウザ自動操作によるテストフレームワークに関する新たな論文を発表しました。

発表論文の概要

本論文は、以下の詳細で発表されました。

  • 論文タイトル: Finetuning LLMs for Automatic Form Interaction on Web-Browser in Selenium Testing Framework

  • 著者: 北陸先端科学技術大学院大学 グエン・ミン研究室 アミフィアブルAI研究部（Nguyen-Khang Le、 Hiep Nguyen、Ngoc-Minh Nguyen、 Son T. Luu、 Trung Vo、 Quan Minh Bui、 野村尚新、 Le-Minh Nguyen）

  • 発表媒体: KSE2025 (2025年11月6日～11月8日にベトナムで開催された知識工学とシステム工学分野の国際会議)

  • 論文リンク: https://arxiv.org/abs/2511.15168

研究の背景と目的

現代のWebアプリケーション開発では、SeleniumなどのWebブラウザ自動操作フレームワークがテスト自動化に不可欠です。しかし、テストスクリプトの手動作成には手間と時間がかかるという課題が存在します。近年、LLMの高いコード生成能力がこの課題解決に期待されていますが、実際のWebフォームに対して構文的に正しく、実行可能で、入力フィールドの意図に適合するSeleniumスクリプトを自動生成することは容易ではありません。また、Webブラウザ自動操作に特化したオープンなデータセットやベンチマークが不足している現状があります。

本研究は、このギャップを埋めることを目的とし、LLMが高品質なWebブラウザ自動操作用Seleniumテストケースを自動生成できるよう訓練する新しい手法の構築を目指しました。特に、構文の正確さ、実行可能性、入力フィールドのカバレッジという3つの基準を満たすデータセットと学習パイプラインの確立に焦点を当てています。

トレーニングデータ生成手順

本研究のポイント

本研究は、LLMを用いたWebブラウザ自動操作に対して体系的なアプローチを提示し、以下の点で既存の指標評価を大幅に上回る性能を示しています。

1. 初のWebブラウザ自動操作テスト専用データセットを構築

多様な実世界のウェブフォームを対象に、人手でアノテーションした例とLLM生成例を組み合わせた、フォームに特化した「Webブラウザ自動操作テスト用専用データセット」が公開されました。

2. 実行可能性を重視したデータ生成パイプライン

GPT-4oを中心に複数の生成パイプラインが設計されました。生成された複数のSeleniumコードを実際に実行し、失敗したスクリプトを削除することで、最終データには「構文的に正しい」「実行可能である」「入力フィールドの意図に適合している」有効なサンプルのみが残る仕組みが構築されています。

3. 既存の指標評価を大幅に上回る性能

Qwen2.5、Qwen3、Llama3.1といった最先端のOSS-LLMに対し、独自に作成した訓練用フォームの合成HTMLでファインチューニングが施されました。実在するフォーム画面および合成フォーム画面の両方における性能比較の結果、本手法によりチューニングされたLLMは、GPT-4oを含む商用LLMと比較して、すべての評価指標（構文の正確さ、実行可能性、入力フィールドカバレッジ）で従来よりも約10％向上するという明確に優れた性能を示しました。複数のデータ生成パイプラインから実行不可能なコードを除外するフィルタリング戦略が、生成スクリプトの信頼性向上に非常に効果的であることが確認されています。

今後の展望

本研究で構築されたベンチマーク、データセット、および方法論は、「フォーム中心のWeb自動化」に取り組む基盤として機能します。これらは今後、LLMベースのWebブラウザ操作自動化の応用研究を促進し、ソフトウェアテストの完全自動化の基礎となることが期待されます。

著者について

  • 野村尚新氏: ヨーク大学哲学部卒業後、東北大学大学院にて修士課程修了。北陸先端科学技術大学院大学博士課程修了後、国立情報学研究所の特任研究員として論理学や自然言語処理などの研究に従事。2021年よりアミフィアブルに入社し、産学連携とAI研究部のリードを務めています。

  • Quan Minh Bui氏: 北陸先端科学技術大学院大学博士課程修了。在学中より国立情報学研究所アシスタントを務め、某大企業との共同研究プロジェクトでAIの知見を深めました。2023年アミフィアブルに入社し、AI研究部の中核メンバーとして活躍中です。

アミフィアブル株式会社について

アミフィアブル株式会社は、「差別化されたAIテクノロジーから世界に新しい価値を提供する」をミッションとし、AI搭載テスト工程自動化プラットフォーム「Esplat」の開発及び運用を手掛けています。

労働集約性の高いソフトウェア開発のテスト工程をAIテクノロジーで自動化し、2021年6月に特許を取得（特許第6902814号）した自社開発の「Esplat」を通じて、多くの企業のソフトウェア開発効率化と品質向上に貢献しています。

また、「Esplat」導入によるソフトウェア品質向上・テスト工数削減だけでなく、QA（品質保証）チームの立ち上げ、テスト推進のPMO、設計書や各種業務の標準化支援など、総合的な品質管理コンサルティングを提供しています。顧客のニーズに合わせ、ITコンサルタント、AIコンサルタント、エンジニアが連携し、様々な課題解決に取り組んでいます。

  • 会社名: アミフィアブル株式会社

  • 代表者: 代表取締役 河村 隆一

  • 事業: AI搭載テスト工程自動化プラットフォーム「Esplat」の開発及び運用

  • URL: https://www.amifiable.co.jp/

  • TEL: 03-6420-0391

コメント

タイトルとURLをコピーしました