メモリ回帰分析

  • [アーティクル]

重要

Microsoft 365 のテスト ベースは、2024 年 5 月 31 日に終了 (EOL) に移行されます。 私たちは、可能な限りスムーズに移行するためのサポートとガイダンスを提供するために、各顧客と緊密に協力することにコミットしています。 質問、懸念事項、またはサポートが必要な場合は、 サポート リクエストを送信してください。

テスト ベースを使用すると、アプリを実行しているテスト VM のメモリ使用量が大幅に増加していることがわかります。 メモリ使用量などのパフォーマンス メトリックは、アプリケーションの全体的な正常性を示すものであり、この追加はアプリのパフォーマンスを最適に維持するのに大きく役立つと考えています。

詳細については、このビデオを参照するか、watch最新の改善点について簡単に説明します。

回帰分析に役立つ Microsoft 365 のテスト ベースの機能の詳細については、「プロセスの信頼性に基づく回帰結果」を参照してください。

メモリ回帰を詳しく見る

Microsoft 365 用テスト ベース ダッシュボードには、新しいプレリリース済み Windows 更新プログラムでアプリケーションによって消費されたメモリが表示され、最後にリリースされた Windows 更新プログラムで使用されたメモリと比較されます。

今月の機能強化により、メモリ回帰分析が、お気に入りのプロセスで紹介されるようになりました。 アプリケーションには複数のプロセスを含めることができます。また、[信頼性] タブを使用して、お気に入りのプロセスを手動で選択できます。このサービスでは、さまざまな Windows 更新プログラム のリリース間でテスト実行を比較しながら、これらのお気に入りのプロセスのメモリ回帰を特定します。 回帰が検出された場合は、回帰に関する詳細を簡単に使用できます。

次に、この機能を詳しく見て、Windows パフォーマンス アナライザーを使用してメモリ回帰のトラブルシューティングを行う方法について説明します。

メモリの回帰によって発生するエラー信号は、[メモリ使用率] の [テスト結果] ページの [テスト ベース for Microsoft 365] ダッシュボードに表示されます。

メモリ使用率の結果。

メモリ消費量の増加によるアプリケーションのエラーは、[テストの概要] ページにも表示されます Fail 。

テストの概要の結果。

障害シグナルを事前に提供することで、アプリケーションのエンド ユーザー エクスペリエンスを中断し、影響を与える可能性のある問題に明確にフラグを設定することが目標です。

その後、ログ ファイルをダウンロードし、Windows パフォーマンス アナライザーまたは任意のツールキットを使用して、さらに調査できます。 また、Microsoft 365 のテスト ベース チームと共同で問題の修復に取り組み、エンド ユーザーに影響を与える問題を防ぐことができます。

すべてのテスト実行について、Microsoft 365 のテスト ベース サービスの [メモリ使用率] タブでメモリ信号がキャプチャされます。 次の例は、プレリリースの 2020 年 8 月のセキュリティ更新プログラムに対するオンボード アプリケーション "Smoke Test Memory Stress" を使用した最近のテスト実行を示しています。 (このアプリケーションは、メモリ回帰を示すためにチームによって作成されました)。

メモリ回帰の結果。

この例では、お気に入りのプロセス "USLTestMemoryStress.exe" プロセスは、リリースされた 7 月の更新プログラムと比較して、プレリリースの 8 月の更新プログラムで平均約 100 MB を消費しました。そのため、Microsoft 365 のテスト ベースは回帰を特定しました。

"USLTestMemoryStress_Aux1.exe" と "USLTestMemoryStress_Aux2.exe" として示されている他のプロセスも同じアプリケーションに属していますが、2 つのリリースでほぼ同じ量のメモリを消費し、"渡された" ため、正常と見なされていました。

メイン プロセスの回帰は"統計的に有意" であると判断されたため、サービスはユーザーにこの違いを伝え、強調しました。 比較が統計的に有意でない場合、強調表示されません。 メモリ使用率はノイズが多くなる可能性があるため、統計モデルを使用して、ビルドとリリース間で、重要でない違いとは意味のある違いを区別します。

真の違いがない場合(偽陽性)、比較にフラグが設定されることはほとんどありませんが、これは回帰 (または真陽性) を正しく識別する可能性を高めるために必要なトレードオフです。

次の手順では、メモリ回帰の原因を理解します。 次に示すように、[ログ ファイルのダウンロード] オプションから、両方の実行の zip ファイルをダウンロードできます。

これらの zip ファイルには、ETL ファイルに含まれるスクリプトの結果やメモリ、CPU パフォーマンス データなど、テスト実行の結果が含まれます。

メモリ回帰テスト ファイル。

2 つのテスト実行のログをダウンロードして解凍し、各フォルダー内の ETL ファイルを探し、target.etl (プレリリース更新プログラムで実行されるテストの場合) と baseline.etl (最終リリースの更新で実行されたテストの場合) として名前を変更して、探索とナビゲーションを簡略化できます。

次の手順

インテリジェントな CPU 回帰分析の理解を開始するには、次の記事に進んでください。

次の手順