c# 并行处理

以下是一个使用 C# 并行处理来读取大量小文件的例子，这个例子中我们使用 Parallel.ForEach 方法并结合 File.ReadAllLines 来提高读取速度：

using System;
using System.Collections.Concurrent;
using System.IO;
using System.Linq;

class Program
{
    static void Main(string[] args)
    {
        string directoryPath = @"path_to_your_directory";
        string searchPattern = "*.txt"; // 或其他符合你需求的文件扩展名

        // 获取指定目录下所有符合模式的小文件
        string[] files = Directory.GetFiles(directoryPath, searchPattern);

        ConcurrentBag<string[]> allLines = new ConcurrentBag<string[]>();

        // 使用并行处理读取所有文件
        Parallel.ForEach(files, file =>
        {
            // 一次性读取整个文件
            string[] lines = File.ReadAllLines(file);
            allLines.Add(lines);
        });

        // 合并并处理所有行
        string[] allFileContents = allLines.SelectMany(lines => lines).ToArray();

        // 在这里处理所有的文件内容
        foreach (string line in allFileContents)
        {
            // 在这里处理每一行
        }
    }
}

在这个例子中：

• 我们首先获取指定目录下所有符合特定模式（例如 .txt 扩展名）的文件。
• 使用 Parallel.ForEach 方法并行地读取每个文件的内容。这会利用多核处理器来同时读取多个文件，从而提高速度。
• 将每个文件的内容作为一个字符串数组添加到 ConcurrentBag 中。ConcurrentBag 是一个线程安全的数据结构，适合在多线程环境中使用。
• 使用 SelectMany 方法将包含多个字符串数组的 ConcurrentBag 合并成一个单一的字符串数组，这样就可以在一个循环中处理所有文件的内容。

请注意，这个例子假设你的系统和硬件能够支持并行处理，并且文件大小适中，可以一次性读入内存。在实际应用中，你可能需要根据具体的需求和环境进行调整。