Friendly ハンズオン 13 アプリケーションドライバ -その4-

今回は対象アプリのライフサイクルの管理に関してやります。

あれ？でも今までも起動と終了を管理してましたよね。
それだけではダメなんでしょうか？

もちろん、今までのでもOKです。
一つのテストごとにexeを起動しなおすと、前回のテストに影響されずにテストができます。バッチリです。
でも・・・

大きなアプリだと起動と終了は遅い

だいたい、システムテストまで自動化したいと考えるのは大きなアプリであることが多いですね。
そして、そのようなアプリは起動も終了も大抵遅いのです。
平均で5秒と考えても1000ケースやたら1時間の無駄ですね。
なんとかならないでしょうか？

アプリの終了のタイミング

基本は、一つのアプリでテストを実行させ続けるようにして、以下のタイミングのどちらかで再起動します。
①テストが失敗した場合
②クラスに定義されたテストが完了したとき

①に関しては、テストが失敗した場合は内部状態が不正になっている可能性が高いからです。前回のテストの影響をうけます。これはあまりよろしくないですね。だから一度終了させます。もちろん成功している場合だって前のテストの影響を受けていることもあります。これはトレードオフなのです。

②に関してはまさにそれで、成功しているとは言え、長時間実行させ続けると、何か変な状態になる可能性があるので、クラス単位では終了させると。
「え、それって見つけたいんじゃないの？」って思うかもしれませんね。でも、そういうので不具合を見つけたとしても原因の解明が難しいのです。で、テストが不安定になり、本来そのテストで確認したいこと以外に大量に工数がとられて費用対効果が悪くなってしまうのです。

もちろんそういうのを見つけるために組んだ自動テストなら問題ないし、そのようなランニングテストもやっておくべきですが、それを通常のテストケースで一緒にやるのは避けた方が良いでしょう。テストにはそれぞれ目的があるのです。

実装方法

これを実現するために必要なことは次のものです。

• テストの成否をコード中で知る
• クラスの初期化と終了のタイミング

VSTestでは、こんなコードで知ることができます。
まあ、「なんでstaticやねん！」って思うかもしれませんが、こういうものなので・・・。

[ClassInitialize]
publicstaticvoid ClassInitialize(TestContext c)
{
}

[ClassCleanup]
publicstaticvoid ClassCleanup()
{
}

AppDriverもこのライフサイクル管理の仕様に合わせて書き換えてみましょう。
アタッチしたときに何らかの方法で初期状態にする必要がありますね。
もしくは、各テスト終了時は初期状態に戻すようにするか。
この辺は各アプリごとに初期化、終了方法を考えてみてください。

using Codeer.Friendly;
using Codeer.Friendly.Dynamic;
using Codeer.Friendly.Windows;
using Codeer.Friendly.Windows.Grasp;
using Ong.Friendly.FormsStandardControls;
using System.Diagnostics;

namespace EmployeeManagementDriver
{
    publicclass AppDriver
    {
        Process _process;
        WindowsAppFriend _app;
        public MainFormDriver MainForm { get; private set; }
        public Killer Killer;

        publicvoid Attach()
        {
            if (_process == null)
            {
                _process = Process.Start("EmployeeManagement.exe");
            }
            _app = new WindowsAppFriend(_process);
            MainForm = new MainFormDriver(new WindowControl(_app, _process.MainWindowHandle));

            //アプリを初期状態に戻す
            InitApp();

            Killer = new Killer(1000 * 60 * 5, _process.Id);
        }

        publicvoid Release(bool isContinue)
        {
            if (isContinue)
            {
                Killer.Finish();
                _app.Dispose();
            }
            else
            {
                EndProcess();
            }
        }

        privatevoid InitApp()
        {
            MainForm.ListBoxEmployee.Dynamic().Items.Clear();
        }

        publicvoid EndProcess()
        {
            try
            {
                _killer.Finish();
            }
            catch { }
            try
            {
                _process.Kill();
            }
            catch { }
            _process = null;
        }
    }
}

で、テストシナリオもこれに合わせて書き換えてみます。

using System;
using Microsoft.VisualStudio.TestTools.UnitTesting;
using EmployeeManagementDriver;
using Codeer.Friendly;
using Codeer.Friendly.Dynamic;
using Codeer.Friendly.Windows.NativeStandardControls;
using System.Diagnostics;
using System.Collections.Generic;
using EmployeeManagement;
using System.Linq;

namespace TestScenario
{
    [TestClass]
    publicclass AdjustDriver
    {
        static AppDriver _app;
        static Dictionary<string, bool> _tests;
        public TestContext TestContext { get; set; }

        [ClassInitialize]
        publicstaticvoid ClassInitialize(TestContext c)
        {
            _app = new AppDriver();
            _tests = typeof(AdjustDriver).GetMethods().Where(e => 0< e.GetCustomAttributes(typeof(TestMethodAttribute), true).Length).ToDictionary(e => e.Name, e => true);
        }

        [ClassCleanup]
        publicstaticvoid ClassCleanup()
        {
            _app.EndProcess();
        }

        [TestInitialize]
        publicvoid TestInitialize()
        {
            _app.Attach();
        }

        [TestCleanup]
        publicvoid TestCleanup()
        {
            if (TestContext.DataRow == null ||
                ReferenceEquals(TestContext.DataRow, TestContext.DataRow.Table.Rows[TestContext.DataRow.Table.Rows.Count - 1]))
            {
                _tests.Remove(TestContext.TestName);
            }
            _app.Release(TestContext.CurrentTestOutcome == UnitTestOutcome.Passed && 0< _tests.Count);
        }

        [TestMethod]
        publicvoid TestAdd()
        {
            var addForm = _app.MainForm.ButtonAdd_EmulateClick();
            addForm.TextBoxName.EmulateChangeText("ishikawa-tatsuya");
            addForm.TextBoxAddress.EmulateChangeText("Japan");
            addForm.RadioButtonMan.EmulateCheck();
            addForm.ButtonEntry.EmulateClick();
            Assert.AreEqual("ishikawa-tatsuya(男) Japan", _app.MainForm.ListBoxEmployee_GetItemText(0));
        }

        [TestMethod]
        publicvoid TestError()
        {
            var addForm = _app.MainForm.ButtonAdd_EmulateClick();
            addForm.TextBoxName.EmulateChangeText("ishikawa-tatsuya");
            addForm.TextBoxAddress.EmulateChangeText("Japan");
            Assert.AreEqual("性別を入力してください。", addForm.ButtonEntry_EmulateClickAndGetMessage());
            addForm.Close();
        }

        [TestMethod]
        publicvoid TestAddShortcut()
        {
            List<EmployeeData> data = new List<EmployeeData>();
            for (int i = 0; i < 10000; i++)
            {
                data.Add(new EmployeeData()
                {
                    Name = "Name" + i.ToString(),
                    Address = "Osaka-" + i.ToString(),
                    IsMan = i % 2 == 0
                });
            }
            _app.MainForm.AddEmployeeData(data.ToArray());
        }

        [TestMethod]
        publicvoid TestTimeup()
        {
            if (_app.IsDebug)
            {
                return;
            }

            _app.SetTimeup(1000);
            try
            {
                var addForm = _app.MainForm.ButtonAdd_EmulateClick();
                addForm.ButtonEntry_EmulateClickAndClose();
                Assert.Fail();
            }
            catch (FriendlyOperationException)
            {
                _app.EndProcess();
            }
        }
    }
}