我可以在 Linux 中执行写时复制 memcpy 吗?

2024-11-14 08:30:00
admin
原创
205
摘要:问题描述:我有一些代码,我经常复制一大块内存,但通常只对其进行很小的更改。我已经实现了一个跟踪更改的系统,但我认为如果可能的话,告诉操作系统对内存进行“写时复制”,并让它只处理更改部分的复制,这样可能会更好。然而,虽然 Linux 确实进行写时复制,例如在 fork() 时,但我找不到控制它并自己执行的方法。...

问题描述:

我有一些代码,我经常复制一大块内存,但通常只对其进行很小的更改。

我已经实现了一个跟踪更改的系统,但我认为如果可能的话,告诉操作系统对内存进行“写时复制”,并让它只处理更改部分的复制,这样可能会更好。然而,虽然 Linux 确实进行写时复制,例如在 fork() 时,但我找不到控制它并自己执行的方法。


解决方案 1:

最好的机会可能是将mmap()原始数据保存到文件中,然后mmap()再次使用同一个文件MAP_PRIVATE

解决方案 2:

根据您复制的具体内容,持久数据结构可能是解决您问题的一种方法。

解决方案 3:

使用面向对象语言(如 C++)实现写时复制更容易。例如,Qt 中的大多数容器类都是写时复制的。

当然,如果您也可以在 C 中做到这一点,那只是需要做更多的工作。当您想要将数据分配给新的数据块时,您不需要进行复制,而是只需复制数据包装器 strcut 中的指针即可。您需要在数据块中跟踪数据的状态。如果您现在更改了新数据块中的某些内容,则需要进行“真实”复制并更改状态。当然,您不能再使用简单的运算符(如“=”)进行赋值,而是需要使用函数(在 C++ 中,您只需进行运算符重载)。

更强大的实现应该使用参考计数器而不是简单的标志,我把它留给你。

举个简单粗暴的例子:如果你有一个

struct big {
//lots of data
    int data[BIG_NUMBER];
}

您必须自己实现分配函数和 getter/setter。

// assume you want to implent cow for a struct big of some kind
// now instead of
struct big a, b;
a = b;
a.data[12345] = 6789;

// you need to use
struct cow_big a,b;
assign(&a, b);   //only pointers get copied
set_some_data(a, 12345, 6789); // now the stuff gets really copied


//the basic implementation could look like 
struct cow_big {
    struct big *data;
    int needs_copy;
}

// shallow copy, only sets a pointer. 
void assign(struct cow_big* dst, struct cow_big src) {
    dst->data = src.data;
    dst->needs_copy = true;
}

// change some data in struct big. if it hasn't made a deep copy yet, do it here.
void set_some_data(struct cow_big* dst, int index, int data } {
    if (dst->needs_copy) {
        struct big* src = dst->data;
        dst->data = malloc(sizeof(big));
        *(dst->data) = src->data;   // now here is the deep copy
       dst->needs_copy = false;
   }
   dst->data[index] = data;
}

您还需要编写构造函数和析构函数。我强烈建议使用 c++ 来完成这项工作。

解决方案 4:

例如 fork() 所采用的写时复制机制是 MMU(内存管理单元)的一项功能,它负责处理内核的内存分页。访问 MMU 是一项特权操作,也就是说,用户空间应用程序无法执行此操作。我也不知道有任何写时复制 API 导出到用户空间。

(再说一次,我并不是 Linux API 方面的专家,所以其他人可能会指出我错过的相关 API 调用。)

编辑:瞧,MSalters 不负众望。;-)

解决方案 5:

您应该能够通过 /proc/$PID/mem 打开您自己的内存,然后使用 MAP_PRIVATE 将其有趣的部分 mmap() 到其他地方。

解决方案 6:

这是一个有效的例子:

#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

#define SIZE 4096

int main(void) {
  int fd = shm_open("/tmpmem", O_RDWR | O_CREAT, 0666);
  int r = ftruncate(fd, SIZE);
  printf("fd: %i, r: %i
", fd, r);
  char *buf = mmap(NULL, SIZE, PROT_READ | PROT_WRITE,
      MAP_SHARED, fd, 0);
  printf("debug 0
");
  buf[SIZE - 2] = 41;
  buf[SIZE - 1] = 42;
  printf("debug 1
");

  // don't know why this is needed, or working
  //r = mmap(buf, SIZE, PROT_READ | PROT_WRITE,
  //  MAP_FIXED, fd, 0);
  //printf("r: %i
", r);

  char *buf2 = mmap(NULL, SIZE, PROT_READ | PROT_WRITE,
    MAP_PRIVATE, fd, 0);
  printf("buf2: %i
", buf2);
  buf2[SIZE - 1] = 43;
  buf[SIZE - 2] = 40;
  printf("buf[-2]: %i, buf[-1]: %i, buf2[-2]: %i, buf2[-1]: %i
",
      buf[SIZE - 2],
      buf[SIZE - 1],
      buf2[SIZE - 2],
      buf2[SIZE - 1]);

  unlink(fd);
  return EXIT_SUCCESS;
}

为了安全起见,我有点不确定是否需要启用注释掉的部分。

相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   1565  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1354  
  信创国产芯片作为信息技术创新的核心领域,对于推动国家自主可控生态建设具有至关重要的意义。在全球科技竞争日益激烈的背景下,实现信息技术的自主可控,摆脱对国外技术的依赖,已成为保障国家信息安全和产业可持续发展的关键。国产芯片作为信创产业的基石,其发展水平直接影响着整个信创生态的构建与完善。通过不断提升国产芯片的技术实力、产...
国产信创系统   21  
  信创生态建设旨在实现信息技术领域的自主创新和安全可控,涵盖了从硬件到软件的全产业链。随着数字化转型的加速,信创生态建设的重要性日益凸显,它不仅关乎国家的信息安全,更是推动产业升级和经济高质量发展的关键力量。然而,在推进信创生态建设的过程中,面临着诸多复杂且严峻的挑战,需要深入剖析并寻找切实可行的解决方案。技术创新难题技...
信创操作系统   27  
  信创产业作为国家信息技术创新发展的重要领域,对于保障国家信息安全、推动产业升级具有关键意义。而国产芯片作为信创产业的核心基石,其研发进展备受关注。在信创国产芯片的研发征程中,面临着诸多复杂且艰巨的难点,这些难点犹如一道道关卡,阻碍着国产芯片的快速发展。然而,科研人员和相关企业并未退缩,积极探索并提出了一系列切实可行的解...
国产化替代产品目录   28  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用