常见情况
| 瓶颈类型 | 特征（在 ITAC 中的表现） | 可能原因 | 分析方法 | 解决建议 |
|---|
| 1. 负载不均衡 | Timeline 中灰色计算阶段长度差异大；Summary 中各进程计算时间差异大 | 数据划分不均，进程计算量不一致 | 查看各进程的计算时间对比；检查任务划分策略 | 使用动态任务分配；优化域划分方法 |
| 2. 通信阻塞 | 某些进程长时间停在 MPI_Recv、MPI_Wait、MPI_Barrier | 发送进程没有及时发送消息；通信顺序不当 | Timeline 查看消息发送与接收的对应关系；查看 Message Matching | 使用非阻塞通信 (MPI_Isend/Irecv)；避免进程依赖链 |
| 3. 集体通信瓶颈 | MPI_Barrier、MPI_Bcast、MPI_Reduce 占用时间长，Summary 中集体通信占比较大 | 集体通信数据量大，拓扑不适合，或等待慢进程 | Timeline 查看是否有进程长时间等待；查看 Statistics 中相关调用耗时 | 使用非阻塞集体通信（如 MPI_Ibcast）；优化同步点；减少使用 barrier |
| 4. 等待同步过多 | 大量 MPI_Wait，进程在等数据或其他通信完成 | 异步通信写法不当；通信太晚开始 | Timeline 中长时间橙色块；查看某进程发起通信的时间点 | 尽早启动通信；使用双缓冲等优化手段 |
| 5. 通信频繁，消息粒度太小 | Timeline 中频繁的蓝色/红色块，每次时间很短 | 通信开销占比高；太多小消息 | 统计发送次数、数据大小；Message Matching 查看通信量 | 批量合并小消息，减少通信频次 |
| 6. I/O 操作成为瓶颈 | Timeline 中出现 I/O 操作，导致计算或通信阻塞 | 所有进程写入同一个文件；串行 I/O | 查看 I/O 操作对应的时间段；是否引起 MPI 等待 | 使用并行 I/O (MPI_File_write 等)；按 rank 分片写入 |
| 7. 进程启动/通信初始化慢 | 程序前期时间长无计算 | MPI 初始化过程慢；拓扑配置不佳 | Timeline 起始阶段分析；查看 MPI_Init 的耗时 | 设置高效的进程绑定策略；优化启动脚本 |
| 8. 进程数过多导致通信拥堵 | 增加进程数后反而变慢，Timeline 中通信更频繁 | 网络拥塞；集体通信开销指数级上升 | 对比不同进程数的 trace 文件性能差异 | 减少通信依赖；选择合理的进程数 |
| 9. 不匹配的 MPI_Send / MPI_Recv | Message Matching 中出现长时间 unmatched 或 unmatched 警告 | 不同步的通信逻辑、缺少 MPI_Wait | 查看发送与接收的时间点是否对齐 | 保证通信顺序一致；使用 MPI_Waitall 完成匹配 |
10. 使用 MPI_Barrier 过多 | Timeline 中反复出现紫色 MPI_Barrier | 同步点设计过多或不必要 | 查看每个 MPI_Barrier 前后的操作是否有依赖 | 移除无必要的 barrier；换用更轻量的同步机制（如 MPI_Test） |