方法: PLINQ を使用してファイル ディレクトリを反復処理する

  • [アーティクル]

この記事では、ファイル ディレクトリに対する操作を並列化する 2 とおりの方法を示します。 最初のクエリでは、GetFiles メソッドを使用して、ディレクトリとすべてのサブディレクトリ内のファイル名の配列を作成します。 このメソッドでは、配列全体が設定されるまで戻されないため、操作の開始時に待機時間が発生する可能性があります。 ただし、配列が作成されたら、PLINQ は配列を迅速に並列処理できます。

2 番目のクエリでは、即座に結果を返し始める静的な EnumerateDirectories メソッドと EnumerateFiles メソッドを使用します。 この方法での処理は、大規模なディレクトリ ツリーの反復処理では高速になる場合がありますが、処理時間は最初の例に比べると多くの要素に左右されます。

注意

これらの例は使用法を示すことを目的としており、同等の LINQ to Objects 順次クエリよりも実行速度が遅い場合があります。 高速化の詳細については、「PLINQ での高速化について」を参照してください。

GetFiles の例

この例では、ツリー内のすべてのディレクトリにアクセスできる場合、ファイル サイズが大きくない場合、アクセス時間が重要ではない場合の単純なシナリオで、ファイル ディレクトリを反復処理する方法を示しています。 この方法では、ファイル名の配列が作成されている間、最初に待機時間が発生します。


// Use Directory.GetFiles to get the source sequence of file names.
public static void FileIterationOne(string path)
{
    var sw = Stopwatch.StartNew();
    int count = 0;
    string[]? files = null;
    try
    {
        files = Directory.GetFiles(path, "*.*", SearchOption.AllDirectories);
    }
    catch (UnauthorizedAccessException)
    {
        Console.WriteLine("You do not have permission to access one or more folders in this directory tree.");
        return;
    }
    catch (FileNotFoundException)
    {
        Console.WriteLine($"The specified directory {path} was not found.");
    }

    var fileContents =
        from FileName in files?.AsParallel()
        let extension = Path.GetExtension(FileName)
        where extension == ".txt" || extension == ".htm"
        let Text = File.ReadAllText(FileName)
        select new
        {
            Text,
            FileName
        };

    try
    {
        foreach (var item in fileContents)
        {
            Console.WriteLine($"{Path.GetFileName(item.FileName)}:{item.Text.Length}");
            count++;
        }
    }
    catch (AggregateException ae)
    {
        ae.Handle(ex =>
        {
            if (ex is UnauthorizedAccessException uae)
            {
                Console.WriteLine(uae.Message);
                return true;
            }
            return false;
        });
    }

    Console.WriteLine($"FileIterationOne processed {count} files in {sw.ElapsedMilliseconds} milliseconds");
}

EnumerateFiles の例

この例では、ツリー内のすべてのディレクトリにアクセスできる場合、ファイル サイズが大きくない場合、アクセス時間が重要ではない場合の単純なシナリオで、ファイル ディレクトリを反復処理する方法を示しています。 この方法では、前の例よりも迅速に結果を生成し始めます。

public static void FileIterationTwo(string path) //225512 ms
{
    var count = 0;
    var sw = Stopwatch.StartNew();
    var fileNames =
        from dir in Directory.EnumerateFiles(path, "*.*", SearchOption.AllDirectories)
        select dir;

    var fileContents =
        from FileName in fileNames.AsParallel()
        let extension = Path.GetExtension(FileName)
        where extension == ".txt" || extension == ".htm"
        let Text = File.ReadAllText(FileName)
        select new
        {
            Text,
            FileName
        };
    try
    {
        foreach (var item in fileContents)
        {
            Console.WriteLine($"{Path.GetFileName(item.FileName)}:{item.Text.Length}");
            count++;
        }
    }
    catch (AggregateException ae)
    {
        ae.Handle(ex =>
        {
            if (ex is UnauthorizedAccessException uae)
            {
                Console.WriteLine(uae.Message);
                return true;
            }
            return false;
        });
    }

    Console.WriteLine($"FileIterationTwo processed {count} files in {sw.ElapsedMilliseconds} milliseconds");
}

GetFiles を使用する場合は、ツリー内のすべてのディレクトリに対して必要なアクセス許可があることを確認してください。 アクセス許可がないと例外がスローされ、結果は返されません。 PLINQ クエリで EnumerateDirectories を使用する場合、反復処理を続行できるように I/O 例外を適切に処理することが問題となります。 コードで I/O 例外または承認されていないアクセスの例外を処理する必要がある場合は、「方法: Parallel クラスを使用してファイル ディレクトリを反復処理する」で説明する方法を検討することをお勧めします。

ネットワーク経由のファイル I/O などで I/O の待機時間が問題となる場合は、「TPL と従来の .NET 非同期プログラミング」およびこのブログの投稿で説明する非同期 I/O の手法のいずれかを使用することを検討してください。

関連項目