如何限制提交的文件大小?

2024-10-12 10:28:00
admin
原创
248
摘要:问题描述:提交时是否有限制文件大小的选项?例如:文件大小超过 500K 会产生警告。文件大小超过 10M 会停止提交。我完全意识到这个问题,从技术上讲,这使得它重复,但答案只提供了推送的解决方案,这对于我的要求来说太晚了。解决方案 1:此预提交钩子将执行文件大小检查:.git/hooks/预提交#!/bin/...

问题描述:

提交时是否有限制文件大小的选项?

例如:文件大小超过 500K 会产生警告。文件大小超过 10M 会停止提交。

我完全意识到这个问题,从技术上讲,这使得它重复,但答案只提供了推送的解决方案,这对于我的要求来说太晚了。


解决方案 1:

此预提交钩子将执行文件大小检查:

.git/hooks/预提交

#!/bin/sh
hard_limit=$(git config hooks.filesizehardlimit)
soft_limit=$(git config hooks.filesizesoftlimit)
: ${hard_limit:=10000000}
: ${soft_limit:=500000}

list_new_or_modified_files()
{
    git diff --staged --name-status|sed -e '/^D/ d; /^D/! s/.s+//'
}

unmunge()
{
    local result="${1#\ "}"
    result="${result%\ "}"
    env echo -e "$result"
}

check_file_size()
{
    n=0
    while read -r munged_filename
    do
        f="$(unmunge "$munged_filename")"
        h=$(git ls-files -s "$f"|cut -d' ' -f 2)
        s=$(git cat-file -s "$h")
        if [ "$s" -gt $hard_limit ]
        then
            env echo -E 1>&2 "ERROR: hard size limit ($hard_limit) exceeded: $munged_filename ($s)"
            n=$((n+1))
        elif [ "$s" -gt $soft_limit ]
        then
            env echo -E 1>&2 "WARNING: soft size limit ($soft_limit) exceeded: $munged_filename ($s)"
        fi
    done

    [ $n -eq 0 ]
}

list_new_or_modified_files | check_file_size

上述脚本必须保存.git/hooks/pre-commit为启用执行权限(chmod +x .git/hooks/pre-commit)。

默认的软(警告)和硬(错误)大小限制设置为 500,000 和 10,000,000 字节,但可以分别通过hooks.filesizesoftlimithooks.filesizehardlimit设置覆盖:

$ git config hooks.filesizesoftlimit 100000
$ git config hooks.filesizehardlimit 4000000

解决方案 2:

@Leon 脚本的较短、特定于 bash 的版本,它以人类可读的格式打印文件大小。它需要较新的 git 才能使用以下--diff-filter=d选项:

#!/bin/bash
hard_limit=$(git config hooks.filesizehardlimit)
soft_limit=$(git config hooks.filesizesoftlimit)
: ${hard_limit:=10000000}
: ${soft_limit:=1000000}

status=0

bytesToHuman() {
  b=${1:-0}; d=''; s=0; S=({,K,M,G,T,P,E,Z,Y}B)
  while ((b > 1000)); do
    d="$(printf ".%01d" $((b % 1000 * 10 / 1000)))"
    b=$((b / 1000))
    let s++
  done
  echo "$b$d${S[$s]}"
}

# Iterate over the zero-delimited list of staged files.
while IFS= read -r -d '' file ; do
  hash=$(git ls-files -s "$file" | cut -d ' ' -f 2)
  size=$(git cat-file -s "$hash")

  if (( $size > $hard_limit )); then
    echo "Error: Cannot commit '$file' because it is $(bytesToHuman $size), which exceeds the hard size limit of $(bytesToHuman $hard_limit)."
    status=1
  elif (( $size > $soft_limit )); then
    echo "Warning: '$file' is $(bytesToHuman $size), which exceeds the soft size limit of $(bytesToHuman $soft_limit). Please double check that you intended to commit this file."
  fi
done < <(git diff -z --staged --name-only --diff-filter=d)
exit $status

与其他答案一样,这必须以执行权限保存.git/hooks/pre-commit

示例输出:

Error: Cannot commit 'foo' because it is 117.9MB, which exceeds the hard size limit of 10.0MB.

解决方案 3:

您需要执行您已经在钩子中寻找的eis脚本。pre-commit

从文档中,我们了解到pre-commit 钩子

不接受任何参数,在获取建议的提交日志消息并进行提交之前调用。以非零状态退出此脚本会导致 git commit 命令在创建提交之前中止。

基本上,调用这个钩子来检查用户是否被允许提交他的更改。

eis在其他帖子上编写的脚本变为

#!/bin/bash
# File size limit is meant to be configured through 'hooks.filesizelimit' setting
filesizelimit=$(git config hooks.filesizelimit)

# If we haven't configured a file size limit, use default value of about 10M
if [ -z "$filesizelimit" ]; then
        filesizelimit=10000000
fi

# You specify a warning limit
filesizewarning=500000

# With this command, we can find information about the file coming in that has biggest size
# We also normalize the line for excess whitespace
biggest_checkin_normalized=$(git ls-tree --full-tree -r -l HEAD | sort -k 4 -n -r | head -1 | sed 's/^ *//;s/ *$//;s/s{1,}/ /g' )

# Based on that, we can find what we are interested about
filesize=`echo $biggest_checkin_normalized | cut -d ' ' -f4,4`

# Actual comparison
# To cancel a push, we exit with status code 1
# It is also a good idea to print out some info about the cause of rejection
if [ $filesize -gt $filesizelimit ]; then

        # To be more user-friendly, we also look up the name of the offending file
        filename=`echo $biggest_checkin_normalized | cut -d ' ' -f5,5`

        echo "Error: Too large push attempted." >&2
        echo  >&2
        echo "File size limit is $filesizelimit, and you tried to push file named $filename of size $filesize." >&2
        echo "Contact configuration team if you really need to do this." >&2
        exit 1
elif [ $filesize -gt $filesizewarning ]; then
        echo "WARNING ! A file size is bigger that $filesizewarning"
fi
exit 0

解决方案 4:

有一个通用的预提交钩子。您可以编写一个脚本来检查文件大小,然后接受或拒绝提交。但是,Git 允许用户绕过检查)从命令行输入“git help hooks”以获取更多信息。以下是有关预提交钩子的相关信息。

预先承诺

此钩子由 git commit 调用,可使用 --no-verify 选项绕过。它不带参数,在获取建议的提交日志消息并进行提交之前调用。以非零状态退出此脚本会导致 git commit 中止。

解决方案 5:

只是想评论一下@Leon 提供的解决方案非常棒。我遇到了一个小问题,如果空目录开始尝试跟踪,它就会中止。所以我不得不添加

[ -d "$f" ] && continue 

ls-files避免错误。

我本来希望发表评论,因为这不是一个答案,但我没有声誉点。

注意:我知道 git '忽略' 目录,但显然在运行预提交钩子之前不知道。

解决方案 6:

我进一步修改了@connor-mckay 和@vtwaldo21。它在空文件上抛出了一些错误。它只在(硬限制)大于 GitHub 文件大小限制时显示错误,并通过在该文件上运行 git rm --cached 从缓存中删除该文件,如果尚未添加,它还会将该文件路径添加到 .gitignore 文件中。这是最常见的用例,可能每个人都想要,我建议所有人都使用它,这个 sh 脚本也可以在 Windows 及其命令提示符下运行。

#!/usr/bin/env bash

# this file should be placed at .git/hooks/pre-commit

hard_limit=$(git config hooks.filesizehardlimit)
soft_limit=$(git config hooks.filesizesoftlimit)
: ${hard_limit:=52428800}  # 50 MB
: ${soft_limit:=49408000}  # ~47 MB

status=0

bytesToHuman() {
  b=${1:-0}; d=''; s=0; S=({,K,M,G,T,P,E,Z,Y}B)
  while ((b > 1000)); do
    d="$(printf ".%02d" $((b % 1000 * 100 / 1000)))"
    b=$((b / 1000))
    let s++
  done
  echo "$b$d${S[$s]}"
}

# Iterate over the zero-delimited list of staged files.
while IFS= read -r -d '' file; do
  [ -d "$file" ] && continue 
  hash=$(git ls-files -s "$file" | cut -d ' ' -f 2)
  size=$(git cat-file -s "$hash" 2>/dev/null)

  if [ -z "$size" ] || [ "$size" -eq 0 ]; then
    echo "Warning: Unable to determine size for '$file'."
    continue
  fi

  if (( size > hard_limit )); then
    echo "Error: '$file' is $(bytesToHuman $size), which exceeds the hard size limit of $(bytesToHuman $hard_limit). Removing from commit and adding to .gitignore."
    
    # Remove file from staging area
    git rm --cached "$file"
    
    # Add file path to .gitignore if not already present
    if ! grep -q "^$(echo "$file" | sed 's/[].[^$\ *]/\ &/g')$" .gitignore; then
      echo "$file" >> .gitignore
    fi
    
    status=1
  elif (( size > soft_limit )); then
    echo "Warning: '$file' is $(bytesToHuman $size), which exceeds the soft size limit of $(bytesToHuman $soft_limit). Please double check that you intended to commit this file."
  fi
done < <(git diff -z --staged --name-only --diff-filter=d)


# exit $status 
#because file is removed from cache we dont need to stop commit anymore 

exit 0
相关推荐
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1325  
  IPD(Integrated Product Development)流程作为一种先进的产品开发管理模式,在众多企业中得到了广泛应用。它涵盖了从产品概念产生到产品退市的整个生命周期,通过整合跨部门团队、优化流程等方式,显著提升产品开发的效率和质量,进而为项目的成功奠定坚实基础。深入探究IPD流程的五个阶段与项目成功之间...
IPD流程分为几个阶段   4  
  华为作为全球知名的科技企业,其成功背后的管理体系备受关注。IPD(集成产品开发)流程作为华为核心的产品开发管理模式,其中的创新管理与实践更是蕴含着丰富的经验和深刻的智慧,对众多企业具有重要的借鉴意义。IPD流程的核心架构IPD流程旨在打破部门墙,实现跨部门的高效协作,将产品开发视为一个整体的流程。它涵盖了从市场需求分析...
华为IPD是什么   3  
  IPD(Integrated Product Development)研发管理体系作为一种先进的产品开发模式,在众多企业的发展历程中发挥了至关重要的作用。它不仅仅是一套流程,更是一种理念,一种能够全方位提升企业竞争力,推动企业持续发展的有效工具。深入探究IPD研发管理体系如何助力企业持续发展,对于众多渴望在市场中立足并...
IPD管理流程   3  
  IPD(Integrated Product Development)流程管理旨在通过整合产品开发流程、团队和资源,实现产品的快速、高质量交付。在这一过程中,有效降低成本是企业提升竞争力的关键。通过优化IPD流程管理中的各个环节,可以在不牺牲产品质量和性能的前提下,实现成本的显著降低,为企业创造更大的价值。优化产品规划...
IPD流程分为几个阶段   4  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用