如何限制提交的文件大小?

2024-10-12 10:28:00
admin
原创
96
摘要:问题描述:提交时是否有限制文件大小的选项?例如:文件大小超过 500K 会产生警告。文件大小超过 10M 会停止提交。我完全意识到这个问题,从技术上讲,这使得它重复,但答案只提供了推送的解决方案,这对于我的要求来说太晚了。解决方案 1:此预提交钩子将执行文件大小检查:.git/hooks/预提交#!/bin/...

问题描述:

提交时是否有限制文件大小的选项?

例如:文件大小超过 500K 会产生警告。文件大小超过 10M 会停止提交。

我完全意识到这个问题,从技术上讲,这使得它重复,但答案只提供了推送的解决方案,这对于我的要求来说太晚了。


解决方案 1:

此预提交钩子将执行文件大小检查:

.git/hooks/预提交

#!/bin/sh
hard_limit=$(git config hooks.filesizehardlimit)
soft_limit=$(git config hooks.filesizesoftlimit)
: ${hard_limit:=10000000}
: ${soft_limit:=500000}

list_new_or_modified_files()
{
    git diff --staged --name-status|sed -e '/^D/ d; /^D/! s/.s+//'
}

unmunge()
{
    local result="${1#\ "}"
    result="${result%\ "}"
    env echo -e "$result"
}

check_file_size()
{
    n=0
    while read -r munged_filename
    do
        f="$(unmunge "$munged_filename")"
        h=$(git ls-files -s "$f"|cut -d' ' -f 2)
        s=$(git cat-file -s "$h")
        if [ "$s" -gt $hard_limit ]
        then
            env echo -E 1>&2 "ERROR: hard size limit ($hard_limit) exceeded: $munged_filename ($s)"
            n=$((n+1))
        elif [ "$s" -gt $soft_limit ]
        then
            env echo -E 1>&2 "WARNING: soft size limit ($soft_limit) exceeded: $munged_filename ($s)"
        fi
    done

    [ $n -eq 0 ]
}

list_new_or_modified_files | check_file_size

上述脚本必须保存.git/hooks/pre-commit为启用执行权限(chmod +x .git/hooks/pre-commit)。

默认的软(警告)和硬(错误)大小限制设置为 500,000 和 10,000,000 字节,但可以分别通过hooks.filesizesoftlimithooks.filesizehardlimit设置覆盖:

$ git config hooks.filesizesoftlimit 100000
$ git config hooks.filesizehardlimit 4000000

解决方案 2:

@Leon 脚本的较短、特定于 bash 的版本,它以人类可读的格式打印文件大小。它需要较新的 git 才能使用以下--diff-filter=d选项:

#!/bin/bash
hard_limit=$(git config hooks.filesizehardlimit)
soft_limit=$(git config hooks.filesizesoftlimit)
: ${hard_limit:=10000000}
: ${soft_limit:=1000000}

status=0

bytesToHuman() {
  b=${1:-0}; d=''; s=0; S=({,K,M,G,T,P,E,Z,Y}B)
  while ((b > 1000)); do
    d="$(printf ".%01d" $((b % 1000 * 10 / 1000)))"
    b=$((b / 1000))
    let s++
  done
  echo "$b$d${S[$s]}"
}

# Iterate over the zero-delimited list of staged files.
while IFS= read -r -d '' file ; do
  hash=$(git ls-files -s "$file" | cut -d ' ' -f 2)
  size=$(git cat-file -s "$hash")

  if (( $size > $hard_limit )); then
    echo "Error: Cannot commit '$file' because it is $(bytesToHuman $size), which exceeds the hard size limit of $(bytesToHuman $hard_limit)."
    status=1
  elif (( $size > $soft_limit )); then
    echo "Warning: '$file' is $(bytesToHuman $size), which exceeds the soft size limit of $(bytesToHuman $soft_limit). Please double check that you intended to commit this file."
  fi
done < <(git diff -z --staged --name-only --diff-filter=d)
exit $status

与其他答案一样,这必须以执行权限保存.git/hooks/pre-commit

示例输出:

Error: Cannot commit 'foo' because it is 117.9MB, which exceeds the hard size limit of 10.0MB.

解决方案 3:

您需要执行您已经在钩子中寻找的eis脚本。pre-commit

从文档中,我们了解到pre-commit 钩子

不接受任何参数,在获取建议的提交日志消息并进行提交之前调用。以非零状态退出此脚本会导致 git commit 命令在创建提交之前中止。

基本上,调用这个钩子来检查用户是否被允许提交他的更改。

eis在其他帖子上编写的脚本变为

#!/bin/bash
# File size limit is meant to be configured through 'hooks.filesizelimit' setting
filesizelimit=$(git config hooks.filesizelimit)

# If we haven't configured a file size limit, use default value of about 10M
if [ -z "$filesizelimit" ]; then
        filesizelimit=10000000
fi

# You specify a warning limit
filesizewarning=500000

# With this command, we can find information about the file coming in that has biggest size
# We also normalize the line for excess whitespace
biggest_checkin_normalized=$(git ls-tree --full-tree -r -l HEAD | sort -k 4 -n -r | head -1 | sed 's/^ *//;s/ *$//;s/s{1,}/ /g' )

# Based on that, we can find what we are interested about
filesize=`echo $biggest_checkin_normalized | cut -d ' ' -f4,4`

# Actual comparison
# To cancel a push, we exit with status code 1
# It is also a good idea to print out some info about the cause of rejection
if [ $filesize -gt $filesizelimit ]; then

        # To be more user-friendly, we also look up the name of the offending file
        filename=`echo $biggest_checkin_normalized | cut -d ' ' -f5,5`

        echo "Error: Too large push attempted." >&2
        echo  >&2
        echo "File size limit is $filesizelimit, and you tried to push file named $filename of size $filesize." >&2
        echo "Contact configuration team if you really need to do this." >&2
        exit 1
elif [ $filesize -gt $filesizewarning ]; then
        echo "WARNING ! A file size is bigger that $filesizewarning"
fi
exit 0

解决方案 4:

有一个通用的预提交钩子。您可以编写一个脚本来检查文件大小,然后接受或拒绝提交。但是,Git 允许用户绕过检查)从命令行输入“git help hooks”以获取更多信息。以下是有关预提交钩子的相关信息。

预先承诺

此钩子由 git commit 调用,可使用 --no-verify 选项绕过。它不带参数,在获取建议的提交日志消息并进行提交之前调用。以非零状态退出此脚本会导致 git commit 中止。

解决方案 5:

只是想评论一下@Leon 提供的解决方案非常棒。我遇到了一个小问题,如果空目录开始尝试跟踪,它就会中止。所以我不得不添加

[ -d "$f" ] && continue 

ls-files避免错误。

我本来希望发表评论,因为这不是一个答案,但我没有声誉点。

注意:我知道 git '忽略' 目录,但显然在运行预提交钩子之前不知道。

解决方案 6:

我进一步修改了@connor-mckay 和@vtwaldo21。它在空文件上抛出了一些错误。它只在(硬限制)大于 GitHub 文件大小限制时显示错误,并通过在该文件上运行 git rm --cached 从缓存中删除该文件,如果尚未添加,它还会将该文件路径添加到 .gitignore 文件中。这是最常见的用例,可能每个人都想要,我建议所有人都使用它,这个 sh 脚本也可以在 Windows 及其命令提示符下运行。

#!/usr/bin/env bash

# this file should be placed at .git/hooks/pre-commit

hard_limit=$(git config hooks.filesizehardlimit)
soft_limit=$(git config hooks.filesizesoftlimit)
: ${hard_limit:=52428800}  # 50 MB
: ${soft_limit:=49408000}  # ~47 MB

status=0

bytesToHuman() {
  b=${1:-0}; d=''; s=0; S=({,K,M,G,T,P,E,Z,Y}B)
  while ((b > 1000)); do
    d="$(printf ".%02d" $((b % 1000 * 100 / 1000)))"
    b=$((b / 1000))
    let s++
  done
  echo "$b$d${S[$s]}"
}

# Iterate over the zero-delimited list of staged files.
while IFS= read -r -d '' file; do
  [ -d "$file" ] && continue 
  hash=$(git ls-files -s "$file" | cut -d ' ' -f 2)
  size=$(git cat-file -s "$hash" 2>/dev/null)

  if [ -z "$size" ] || [ "$size" -eq 0 ]; then
    echo "Warning: Unable to determine size for '$file'."
    continue
  fi

  if (( size > hard_limit )); then
    echo "Error: '$file' is $(bytesToHuman $size), which exceeds the hard size limit of $(bytesToHuman $hard_limit). Removing from commit and adding to .gitignore."
    
    # Remove file from staging area
    git rm --cached "$file"
    
    # Add file path to .gitignore if not already present
    if ! grep -q "^$(echo "$file" | sed 's/[].[^$\ *]/\ &/g')$" .gitignore; then
      echo "$file" >> .gitignore
    fi
    
    status=1
  elif (( size > soft_limit )); then
    echo "Warning: '$file' is $(bytesToHuman $size), which exceeds the soft size limit of $(bytesToHuman $soft_limit). Please double check that you intended to commit this file."
  fi
done < <(git diff -z --staged --name-only --diff-filter=d)


# exit $status 
#because file is removed from cache we dont need to stop commit anymore 

exit 0
相关推荐
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   601  
  华为IPD与传统研发模式的8大差异在快速变化的商业环境中,产品研发模式的选择直接决定了企业的市场响应速度和竞争力。华为作为全球领先的通信技术解决方案供应商,其成功在很大程度上得益于对产品研发模式的持续创新。华为引入并深度定制的集成产品开发(IPD)体系,相较于传统的研发模式,展现出了显著的差异和优势。本文将详细探讨华为...
IPD流程是谁发明的   7  
  如何通过IPD流程缩短产品上市时间?在快速变化的市场环境中,产品上市时间成为企业竞争力的关键因素之一。集成产品开发(IPD, Integrated Product Development)作为一种先进的产品研发管理方法,通过其结构化的流程设计和跨部门协作机制,显著缩短了产品上市时间,提高了市场响应速度。本文将深入探讨如...
华为IPD流程   9  
  在项目管理领域,IPD(Integrated Product Development,集成产品开发)流程图是连接创意、设计与市场成功的桥梁。它不仅是一个视觉工具,更是一种战略思维方式的体现,帮助团队高效协同,确保产品按时、按质、按量推向市场。尽管IPD流程图可能初看之下显得错综复杂,但只需掌握几个关键点,你便能轻松驾驭...
IPD开发流程管理   8  
  在项目管理领域,集成产品开发(IPD)流程被视为提升产品上市速度、增强团队协作与创新能力的重要工具。然而,尽管IPD流程拥有诸多优势,其实施过程中仍可能遭遇多种挑战,导致项目失败。本文旨在深入探讨八个常见的IPD流程失败原因,并提出相应的解决方法,以帮助项目管理者规避风险,确保项目成功。缺乏明确的项目目标与战略对齐IP...
IPD流程图   8  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用