実稼働環境とテスト環境でのプロアクティブなモニタリングによりテスト カバレッジのギャップを埋める

要件の範囲の制限と不完全性

広い意味では、ソフトウェア テストは、ソフトウェア アプリケーションを評価して潜在的な欠陥を検出して修正し、指定された要件を満たし、意図したとおりに動作することを確認する、体系的かつ動的なプロセスです。

テスト カバレッジはソフトウェア テストにおけるテスト計画の重要な側面であり、テスト対象のソフトウェアの包括的な検証を保証する上で重要な役割を果たします。

テスト カバレッジにより、テスト プロセスが包括的であり、ソフトウェアの重要な側面をすべてカバーできるようになります。これは、テストのギャップを特定し、さまざまな機能、特長、ユーザー フローを確保するのに役立ちます。

その文脈において、要件カバレッジは、指定されたソフトウェア要件に関するテスト プロセスの完全性を評価するソフトウェア テストにおける重要な指標です。

これは、仕様書に記載された個々の要件が完全にテストされていることを確認するために、テスト ケースを作成して実行するという考えを中心に展開されています。

テストでカバーされていない、または十分にテストされていないソフトウェアの領域は、 「カバレッジ ギャップ」として知られています。これらのギャップは、ソフトウェアの動作が適切に検証されていない可能性がある潜在的な盲点を示しており、検出されない欠陥や機能上の問題が発生する余地が残されています。

カバレッジギャップを特定することは、潜在的な不確実性領域を明らかにし、テストチームが取り組みの優先順位を付けるのに役立つため、リスクを軽減するために非常に重要です。

カバレッジギャップは一般に、要件が誤解されている場合、仕様が不十分または曖昧である場合、およびソフトウェアの変更がテスト戦略に適切に組み込まれていない場合に発生します。

ただし、現実世界のユーザーの行動や好みが要件に十分に表現されていないために、カバレッジギャップが頻繁に発生します。書面化された要件ですべてのユーザーの対話と行動を予測し、包括的に説明することは、製品所有者やビジネス アナリストにとって困難な作業であることがわかります。

運用環境とテスト環境を監視してカバレッジを高める

テスト範囲を拡大し、テストを実際の使用状況と調整するために、テスト チームは運用環境とテスト環境のトレース、ユーザー分析、ログ、テレメトリを分析し、指定された要件と現実世界での実際のユーザーの行動との間のギャップを埋めることを目指します。

このタイプの分析により、使用パターン、一般的なユーザー ジャーニー、頻繁にアクセスされる機能の認識が容易になり、潜在的に不完全、定義が不十分、または曖昧な要件によって残されたギャップに効果的に対処できます。

継続的な観察を確保するには、実稼働環境とテスト環境からのデータ出力を収集して分析するメカニズムを確立する必要があります。これは、ライブ アプリケーションと対話するときにユーザーがどのように動作するか、またはテスト実行中にテストがアプリケーションとどのように対話するかを積極的に監視、測定、分析するためのツールとプロセスを導入することを意味します。

生の非構造化データを操作し、徹底的に分析する必要があります。目的は、データを細かくスライスして、使用パターンを探したり、最も頻繁に使用されている機能を見つけたり、重要な領域の傾向を特定したりすることによって、ユーザーがアプリケーションにどのように関与しているかについての洞察を得ることであります。

テストチーム用のツールの欠如

市場では、Google Analytics、Amplitude、SmartLook、Datadog などのツールが、あらゆる環境からの使用状況テレメトリの収集と分析に役立ちます。ただし、重要な課題は、これらのツールがテスト チームの特定のニーズに効果的に対処できるように調整されておらず、最大の価値を引き出す能力が制限されていることです。

これらのツールは主に、製品およびマーケティング分析、可観測性、APM (アプリケーション パフォーマンス管理)、デジタル エクスペリエンス モニタリングなどのさまざまな目的のために設計されており、通常は統合された総合的なソリューションが不足しています。

その結果、テスト チームは、これらの異種データ ソースから意味を抽出するために、エラーが発生しやすく時間のかかる分析を行うという大きな課題に直面しています。

重力が助けに来ます

Gravity は、テスト チームが運用環境とテスト環境の両方からの洞察を監視し、活用できるように設計された統合プラットフォームです。主要なデータと洞察を単一のソリューションに統合し、簡単にアクセスして分析できるようにします。

その主な機能は、機械学習メカニズムを採用して、トレース、ユーザー分析、ログ、テレメトリから使用パターン、頻繁にアクセスされる機能、重要なユーザー ジャーニーを特定し、チームがテスト範囲を広げるのに役立つ高品質な分析を備えたダッシュボードを生成することを目的としています。

Gravity は実稼働環境とテスト環境を監視する機能を備えているため、包括的なテスト ギャップ分析を実行できます。

Gravity は、本番環境での実際のユーザー インタラクションによってたどられるパスとテスト環境で実行されるテストを比較することにより、テスト チームがカバレッジ内のギャップを特定し、過剰テストまたは過小テストされている機能を特定し、冗長なテストを認識できるようにする洞察を生成します。それほど重要ではない分野での取り組み。

これにより、データ駆動型のテスト ケースの優先順位付けが可能になり、エンド ユーザー エクスペリエンスに直接影響を与える影響の大きい領域にテスト カバレッジを集中させることができます。 Gravity は、仮定と使用状況の洞察を橋渡しすることで、関連するカバレッジのテスト計画を最適化するのに役立ちます。

Gravity についてさらに詳しく知りたい場合は、ここでデモを予約できます: デモを予約する。

結論

ユーザーの行動を理解することは、本物のユーザー エクスペリエンスに焦点を当ててテスト カバレッジを高めるだけでなく、不十分な要件による制限に対する強力な解毒剤としても機能します。

これにより、テストの取り組みが文書化された要件の厳密な境界に限定されるのではなく、ユーザー インタラクションの動的で進化する状況にまで拡張され、より包括的なテスト戦略に貢献します。

この対象を絞ったアプローチにより、ユーザーにとって最も関連性があり影響力のあるソフトウェアの側面にテスト作業が集中することが保証され、それによってリソースの割り当てが最適化され、リスクが軽減されます。

著者: クリスティアーノ・カエターノ

Smartestingの成長責任者

Cristiano Caetano : この分野で 20 年の専門知識を持つソフトウェア テストの権威。ブラジル出身で、過去6年間ロンドンを故郷と呼んでいる。私は、アトラシアン エコシステムの主要なテスト管理アプリケーションである Zephyr Scale の創設者であることを誇りに思っています。

過去 10 年間、私の役割は、革新的なテスト ツールを構築して市場に投入するようテスト会社を指導する上で極めて重要でした。

現在、私は AI を活用したテスト ツールの開発に注力しているテスト会社 Smartesting で成長責任者の役職を務めています。