并行计算和分布式计算

并行计算和分布式计算，从理论计算机的角度看，主要区别应在通讯的延迟和成本。

并行计算中不同单元之间的通信延迟和成本很低，相对于串行计算而言，一般可分为时间并行和空间并行。时间并行可以看做是流水线操作，类似CPU执行的流水线，而空间并行则是目前大多数研究的问题，例如一台机器拥有多个处理器，在多个CPU上执行计算，例如MPI技术，通常可分为数据并行和任务并行。

而分布式计算一般认为通讯的延迟和/或成本很高，是相对单机计算而言的，利用多台机器，通过网络连接和消息传递协调完成计算。把需要进行大量计算的工程数据分区成小块，由多台计算机分别计算，再上传运算结果后，将结果统一合并得出最终结果。一种常用的抽象是假设节点内部的计算没有成本，算法的复杂度用节点之间的通讯量来衡量。节点之间的总通讯量被称为通讯复杂度（communication complexity）。通讯复杂度这个概念是由姚期智引入的。