一些分配器是懒惰的吗？

问题描述：

我在 Linux 中编写了一个 C 程序，它分配内存，循环运行它，而 TOP 没有显示任何内存消耗。

然后我对该内存做了一些操作，TOP 确实显示了内存消耗。

当我 malloc 时，我是否真的“获得内存”，或者是否存在“懒惰”的内存管理，只有当我使用它时才给我内存？

（还有一个选项是，TOP 仅在我使用时才知道内存消耗，所以我不确定这一点。）

谢谢

解决方案 1：

在 Linux 上，malloc 使用 sbrk() 或 mmap() 请求内存 - 无论哪种方式，您的地址空间都会立即扩展，但 Linux 直到第一次写入相关页面时才会分配实际的物理内存页面。您可以在 VIRT 列中看到地址空间扩展，而实际的物理内存使用情况则在 RES 中看到。

解决方案 2：

这开始有点偏离主题（然后我会把它和你的问题联系起来），但发生的事情类似于在 Linux 中 fork 进程时发生的事情。fork 时有一种称为写时复制的机制，它只在内存被写入时复制新进程的内存空间。这样，如果 fork 进程立即执行一个新程序，那么你就节省了复制原始程序内存的开销。

回到你的问题，这个想法是相似的。正如其他人指出的那样，请求内存会立即获得虚拟内存空间，但实际页面仅在写入时才分配。

这样做的目的是什么？它基本上使 mallocing 内存成为一个或多或少恒定时间操作 Big O(1)，而不是 Big O(n) 操作（类似于 linux 调度程序将其工作分散开来而不是将其集中在一个大块中的方式）。

为了证明我的意思我做了以下实验：

rbarnes@rbarnes-desktop:~/test_code$ time ./bigmalloc 

real    0m0.005s
user    0m0.000s
sys 0m0.004s
rbarnes@rbarnes-desktop:~/test_code$ time ./deadbeef 

real    0m0.558s
user    0m0.000s
sys 0m0.492s
rbarnes@rbarnes-desktop:~/test_code$ time ./justwrites 

real    0m0.006s
user    0m0.000s
sys 0m0.008s

bigmalloc 程序分配了 2000 万个 int，但并未对它们执行任何操作。deadbeef 将一个 int 写入每个页面，导致写入次数为 19531 次，而 justwrites 分配了 19531 个 int 并将其清零。如您所见，deadbeef 的执行时间比 bigmalloc 长约 100 倍，比 justwrites 长约 50 倍。

#include <stdlib.h>    

int main(int argc, char **argv) {

int *big = malloc(sizeof(int)*20000000); // allocate 80 million bytes

return 0;

}

。

#include <stdlib.h>    

int main(int argc, char **argv) {

int *big = malloc(sizeof(int)*20000000); // allocate 80 million bytes

// immediately write to each page to simulate all at once allocation

// assuming 4k page size on 32bit machine

for ( int* end = big + 20000000; big < end; big+=1024 ) *big = 0xDEADBEEF ;    

return 0;

}

。

#include <stdlib.h>

int main(int argc, char **argv) {

int *big = calloc(sizeof(int),19531); // number of writes

return 0;
}

解决方案 3：

是的，除非您触摸它，否则内存不会映射到您的内存空间中。 mallocing 内存只会设置分页表，以便他们知道当您在分配的内存中出现页面错误时，应该映射内存。

解决方案 4：

您是否在使用编译器优化？也许优化器已经删除了分配，因为您没有使用分配的资源？

解决方案 5：

该功能称为过度使用- 内核通过增加数据段大小“承诺”为您提供内存，但不为其分配物理内存。当您触摸该新空间中的地址时，进程会页面错误进入内核，然后内核会尝试将物理页面映射到该地址。

解决方案 6：

是的，请注意VirtualAlloc标志，

MEM_RESERVE
MEM_COMMIT

。

呵呵，但是对于Linux或任何POSIX/BSD/SVR#系统，vfork() 已经存在很长时间了，并且提供了类似的功能。

vfork() 函数与 fork() 的唯一区别在于，子进程可以与调用进程（父进程）共享代码和数据。如果 vfork() 被误用，这将大大加快克隆活动的速度，但会危及父进程的完整性。

除作为立即调用 exec 系列函数或 _exit() 的前奏之外，不建议将 vfork() 用于任何目的。

vfork() 函数可用于创建新进程，而无需完全复制旧进程的地址空间。如果分叉进程只是调用 exec，则不会使用通过 fork() 从父进程复制到子进程的数据空间。这在分页环境中效率特别低，因此 vfork() 特别有用。根据父进程数据空间的大小，vfork() 可以比 fork() 显著提高性能。