为什么要安装包而不是仅仅链接到特定的环境?

2025-01-21 09:01:00
admin
原创
67
摘要:问题描述:我注意到,通常当使用各种包管理器(用于 python)安装包时,它们是在/home/user/anaconda3/envs/env_name/conda 上安装的,并且在/home/user/anaconda3/envs/env_name/lib/python3.6/lib-packages/con...

问题描述:

我注意到,通常当使用各种包管理器(用于 python)安装包时,它们是在/home/user/anaconda3/envs/env_name/conda 上安装的,并且在/home/user/anaconda3/envs/env_name/lib/python3.6/lib-packages/conda 上使用 pip 安装。

但是 conda 也缓存了所有最近下载的包。

所以,我的问题是:为什么 conda 不将所有包安装在一个中心位置,然后在特定环境中安装时创建到该目录的链接而不是将其安装在那里?

我注意到环境变得相当大,这种方法可能会节省一些空间。


解决方案 1:

Conda 已经做到了这一点。但是,由于它利用了硬链接,因此很容易高估实际使用的空间,尤其是当一次只查看单个环境目录的大小时。

为了说明这种情况,让我们用它du来检查实际的磁盘使用情况。首先,如果我单独计算每个环境目录,我会得到未校正的每个环境使用情况

$ for d in envs/*; do du -sh $d; done
2.4G    envs/pymc36
1.7G    envs/pymc3_27
1.4G    envs/r-keras
1.7G    envs/stan
1.2G    envs/velocyto

从 GUI 来看,它看起来是这样的。

相反,如果我将du它们一起计算(即校正硬链接),我们得到

$ du -sh envs/*
2.4G    envs/pymc36
326M    envs/pymc3_27
820M    envs/r-keras
927M    envs/stan
548M    envs/velocyto

可以看出这里已经节省了大量空间。

大多数硬链接都会返回到pkgs目录,因此如果我们也将其包括在内:

$ du -sh pkgs envs/*
8.2G    pkgs
400M    envs/pymc36
116M    envs/pymc3_27
 92M    envs/r-keras
 62M    envs/stan
162M    envs/velocyto

可以看出,除了共享包之外,环境相当轻量。如果您担心我的的大小pkgs,请注意我从未conda clean在此系统上运行过,所以我的pkgs目录中充满了 tarball 和被取代的包,以及我保留在基础中的一些基础设施(例如 Jupyter、Git 等)。

相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   1579  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1355  
  信创产品在政府采购中的占比分析随着信息技术的飞速发展以及国家对信息安全重视程度的不断提高,信创产业应运而生并迅速崛起。信创,即信息技术应用创新,旨在实现信息技术领域的自主可控,减少对国外技术的依赖,保障国家信息安全。政府采购作为推动信创产业发展的重要力量,其对信创产品的采购占比情况备受关注。这不仅关系到信创产业的发展前...
信创和国产化的区别   8  
  信创,即信息技术应用创新产业,旨在实现信息技术领域的自主可控,摆脱对国外技术的依赖。近年来,国货国用信创发展势头迅猛,在诸多领域取得了显著成果。这一发展趋势对科技创新产生了深远的推动作用,不仅提升了我国在信息技术领域的自主创新能力,还为经济社会的数字化转型提供了坚实支撑。信创推动核心技术突破信创产业的发展促使企业和科研...
信创工作   9  
  信创技术,即信息技术应用创新产业,旨在实现信息技术领域的自主可控与安全可靠。近年来,信创技术发展迅猛,对中小企业产生了深远的影响,带来了诸多不可忽视的价值。在数字化转型的浪潮中,中小企业面临着激烈的市场竞争和复杂多变的环境,信创技术的出现为它们提供了新的发展机遇和支撑。信创技术对中小企业的影响技术架构变革信创技术促使中...
信创国产化   8  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用