现代社会越来越需要数据，尤其是随着AI的使用持续呈指数级增长。因此，确保足够的内存以及可持续支持该内存的能力已成为一个主要问题。为了提升AI运算的速度，存算一体技术逐渐成为主角。
本文引用地址：
不过，在存算一体盛行的AI计算领域里，一项违反直觉的进步可能会使AI系统更快、更节能。软件公司 Kove 找到了一种以显著提高内存效率的方式池化和动态分配服务器内存的方法，通过利用外部池化内存来产生结果其速度比使用本地内存更快。根据合作伙伴的数据显示，Red Hat 使用Kove系统后延迟减少了9%，Red Hat与服务器公司Supermicro合作，通过使用 Kove 的系统实现了高达54%的能源节省。Swift测试了Kove的方法，与相同硬件相同作业但使用传统内存方法的虚拟机相比，在训练模型时速度提高了60 倍。
Kove 的首席执行官 John Overton 已经研究此软件解决方案长达 15 年。他强调，满足对内存的高需求是计算机行业面临的最紧迫的问题之一。“人们总是抱怨内存不足，”他说，并指出AI和机器学习算法需要大量数据。然而，计算机只能在内存允许的范围内以最快的速度处理数据，并且如果没有足够的数据，就会在任务中途崩溃。Kove的软件定义内存 （SDM） 解决方案旨在通过池化内存并将其动态分配给服务器来缓解这个问题。
软件定义内存的工作原理
Overton 指出，许多计算机科学家认为使用外部存储器（至少与在本地处理数据的效率相同）是不可能的，这样的壮举将违背物理定律。问题归结为电子只能以光速传播的事实。因此，如果外部存储器距离它所服务的计算机150米，则到达外部服务器的电子将不可避免地存在约500纳秒的延迟：数据必须传输的每一米大约有3.3纳秒的延迟。“人们认为这个问题是无法解决的，”Overton 说。SDM能够克服这个问题并以超快的速度利用池内存，因为它战略性地划分正在处理的数据。它确保在本地最有效地处理的数据保留在CPU中，而其他数据驻留在外部内存池中。虽然这实际上传输数据的速度并不比光速快，但它比使用 CPU 在本地处理所有数据更有效。通过这种方式，SDM 实际上可以比将数据保存在本地更快地处理数据。
“我们很聪明地确保处理器从本地主板获得所需的内存，”Overton 解释说。“结果是惊人的。”例如，他指出该公司的合作伙伴之一Red Hat使用Kove的系统后，延迟减少了 9%。
池化内存的节能
Kove 方法的另一个关键优势是能源需求大幅减少。通常，科学家需要在他们可用的任何服务器上运行模型，并且通常需要在大型服务器上运行中型模型，以适应内存需求的临时峰值。这意味着为相对较小的计算作业运行更大、更耗能的服务器。
但是，当内存被池化并在不同的服务器之间动态分配时，就像 SDM 一样，将使用所需的确切服务器内存量。因此只需要更少的服务器来获得相同的结果，从而使用更少的功率。Kove 声称，Red Hat与服务器公司Supermicro合作，通过使用Kove的系统实现了高达54%的能源节省。这减少了公司为GB作业购买TB级服务器的需求，从而节省了成本并提高了效率。
“给出记忆需要200毫秒，”Overton 说，并指出这大约是一个人眨眼需要多长时间。“所以真的眨眨眼，你就会得到你需要的记忆。”
Kove的客户全球金融消息传递网络Swift，测试了Kove的方法，与在相同硬件上运行相同作业但使用传统内存方法的虚拟机相比，在训练模型时速度提高了60倍。“想象一下，如果一份60天的工作需要1天，或者一份1小时的工作需要1分钟。只需点击几下 [使用我们的软件]，“Overton 说。
0 条