深入理解 C# 自定义分区器（副标题：掌握并行编程中的 Partitioner.Create 与性能优化技巧）

为什么需要 C# 自定义分区器？

考虑以下场景：

• 数据项处理时间差异极大（例如有的耗时 1ms，有的耗时 1s）
• 数据源不是标准集合（如动态生成的数据流）
• 希望控制每个线程处理的数据块大小以减少锁竞争

这时，使用 并行编程自定义分区器 就能显著提升程序效率。

实现一个简单的自定义分区器

我们以 OrderablePartitioner<T> 为基础类，实现一个按固定块大小划分的分区器。这个例子展示了如何创建一个支持动态负载的分区器。

using System;using System.Collections.Concurrent;using System.Collections.Generic;using System.Threading.Tasks;using System.Collections.Concurrent.Partitioners;public class ChunkPartitioner<T> : OrderablePartitioner<T>{    private readonly IList<T> _source;    private readonly int _chunkSize;    public ChunkPartitioner(IList<T> source, int chunkSize)        : base(true, true, true) // keysOrderedInEachPartition, keysOrderedAcrossPartitions, dynamicPartitions    {        _source = source ?? throw new ArgumentNullException(nameof(source));        _chunkSize = chunkSize > 0 ? chunkSize : throw new ArgumentOutOfRangeException(nameof(chunkSize));    }    public override IList<IEnumerator<KeyValuePair<long, T>>> GetOrderablePartitions(int partitionCount)    {        var partitions = new List<IEnumerator<KeyValuePair<long, T>>>(partitionCount);        var position = 0L;        for (int i = 0; i < partitionCount; i++)        {            partitions.Add(GetPartitionEnumerator(ref position));        }        return partitions;    }    private IEnumerator<KeyValuePair<long, T>> GetPartitionEnumerator(ref long position)    {        while (true)        {            long startIndex, endIndex;            lock (_source)            {                if (position >= _source.Count) yield break;                startIndex = position;                position += _chunkSize;                endIndex = Math.Min(position, _source.Count);            }            for (long i = startIndex; i < endIndex; i++)            {                yield return new KeyValuePair<long, T>(i, _source[(int)i]);            }        }    }    public override bool SupportsDynamicPartitions => true;    public override IEnumerable<KeyValuePair<long, T>> GetOrderableDynamicPartitions()    {        return GetOrderablePartitions(Environment.ProcessorCount);    }}

如何使用自定义分区器？

下面是一个使用上述 ChunkPartitioner 的完整示例：

class Program{    static void Main()    {        var data = Enumerable.Range(1, 1000).ToArray();        var partitioner = new ChunkPartitioner<int>(data, chunkSize: 50);        Parallel.ForEach(partitioner, item =>        {            // 模拟处理            Console.WriteLine($"Thread {Task.CurrentId}: 处理索引 {item.Key}, 值 {item.Value}");            Task.Delay(10).Wait(); // 模拟耗时操作        });        Console.WriteLine("完成！");    }}

与 Partitioner.Create 对比

.NET 提供了 Partitioner.Create 方法来快速创建分区器，但它仅适用于简单场景。例如：

var defaultPartitioner = Partitioner.Create(data, loadBalance: true);Parallel.ForEach(defaultPartitioner, x => { /* 处理 */ });

然而，当你需要更精细的控制（如自定义块大小、处理非列表数据源等），就必须实现自己的分区器。这也是 Partitioner.Create 自定义 所不能替代的高级用法。

性能提示与最佳实践

• 避免在分区器中频繁加锁，可考虑使用无锁结构（如 ConcurrentQueue）
• 块大小不宜过小（增加调度开销）也不宜过大（导致负载不均）
• 测试不同 chunkSize 对性能的影响
• 对于只读数据，可设置 keysOrderedInEachPartition = false 提升性能

总结

通过本文，你已经掌握了 C# 并行任务优化 中的关键技术——自定义分区器。它不仅能解决默认分区策略的局限性，还能显著提升多线程程序的吞吐量和响应速度。记住，合理使用 C# 自定义分区器 是迈向高性能并行编程的重要一步。

现在，你可以尝试在自己的项目中应用这一技术，观察性能变化，并不断调优！