微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

gitLab清理大文件_包括历史记录中的大文件

git aide_941 8℃

取消保护:

"Settings" -> "Repository" -> scroll down to "Protected branches".

 

操作
1、拉取项目:将项目所有分支拉下来

 

git clone xxx # 默认拉取master分支
cd xx #进入拉取的文件夹
git branch -r | grep -v '\->' | while read remote; do git branch --track "${remote#origin/}" "$remote"; done
git fetch --all
git pull --all

 

2、查找大文件(若是知道具体的文件,不需要查)

# 将最大的10个文件查询下来

git rev-list --objects --all | grep "$(git verify-pack -v .git/objects/pack/*.idx | sort -k 3 -n | tail -10 | awk '{print$1}')"

比如我查询了

486fa66baeb237a456266dccfab8bab14cde98ba pro_web_front_202009101858.gz
d644ed6c55ecc6e058a0a7d0c39c4e49984a37d1 src/assets/img/2.png
f45b37335083ad5c5598e3cf5a75a9fc07b9a803 static/pdf/build/pdf.worker.js.map
21e9d2cd0c73b246d86f603c7ff0e5cd8b8312bc static/pdf/web/operationManual.pdf
7c65cab916684f43d66053e570dbdf453e8ca507 src/assets/img/login.png
f8aebc2a121c89c99190553ac9b3dcc853315182 src/assets/img/login_2.png
13868adfda3704f8a8b10f64da068a11a418ccf2 src/assets/img/login_3.png

其中需要删的是 pro_web_front_202009101858.gz

 

3、处理记录

#文件可以是文件夹,也可以是文件 ,
#例如:文件夹的话可以是 /dist.js/
#例如:文件可以是 static/pdf/build/pdf.worker.js

git filter-branch --force --index-filter 'git rm -rf --cached --ignore-unmatch 文件' --prune-empty --tag-name-filter cat -- --all

 

# 会在项目根目录生成 .git_....文件夹,里面就是改的记录
# 一次只能处理一个文件/文件夹

# 回收空间

git for-each-ref --format='delete %(refname)' refs/original | git update-ref --stdin
rm -rf .git/refs/original/
git reflog expire --expire=now --all
git gc --prune=now
git gc --aggressive --prune=now

 

此时查看本地,会发现项目明显减小了,若是还有需要的文件,就重复第3步即可

4、推送到服务器

git push origin --force --all
git remote prune origin

 

此时 ,拉取项目就已经是减小后的大小

但是查看服务器,服务器显示的大小还是原来的大小

 

5、清理服务器缓存

进入git服务器–>这个操作需要root权限,不然连文件夹都进不去

cd /var/opt/gitlab/git-data/repositories

 


#根据项目,进入对应的git项目文件夹
# 进入 项目.git文件,就可以看到和本地的.git目录中一样的目目录了
#查询git项目大小

git count-objects -vH # 此时还是旧的大小
git gc --prune=now # 清理无效文件
git count-objects -vH # 此时就和本地一样,从库减小了

 

貌似gitlab服务器有缓存,此时服务器的仓库中文件大小已经减小了,但是在浏览器上通过页面查看,还是原来的大小

再次申明:清理完之后,每个人一定要删掉之前拉取的项目,重新从git上拉项目。不要使用之前的项目了!!!之前的项目中的.git文件会将已将删除的文件重新加进来,甚至变的更大

转载请注明:SuperIT » gitLab清理大文件_包括历史记录中的大文件

喜欢 (0)or分享 (0)