git lfs使用（huggingface下载大模型文件）

0、git lfs是Git的一个扩展工具,用于管理大型文件(如音视频文件、数据集等),避免将它们存储在Git仓库中,而是单独存储在Git LFS服务器上。

1. 安装

Linux安装步骤：

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git lfs install

2. 下载HuggingFace文件

最近在看BLOOM，但是Huggingface的仓库里除了我想要的pytoch_model_xxxxx.bin,放了一些别的格式的checkpoints，全部下载的话太大了，而且很慢很慢

2.1 首先通过git下载小文件

git lfs install
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/bigscience/bloom-7b1

需要注意，GIT_LFS_SKIP_SMUDGE=1和后面的git clone必须在同一行才能生效，表示不下载大文件（小文件、大文件的区分依据是有没有使用git lfs）。

此时git会下载所有的小文件，比如tokenizer.json ，但是对于git lfs存储的大文件，只会存储一个文本的pointer file.

2.2 手动pull需要的大文件
由于我只需要仓库里的pytorch_model-00001-of-00002.bin和pytorch_model-00002-of-00002.bin ，所以可以这样写：
注意：此处需要进入到下载的文件夹中：

cd bloom-7b1
git lfs pull --include="*.bin"

此时*.bin会匹配这两个文件，然后等着他下载完毕就可以了。

如果你只想要单个文件，写文件名就可以。

3. 另外一种方式：下载HuggingFace全部文件（包括大小文件）

命令：

git lfs install
git lfs clone https://huggingface.co/bigscience/bloom-7b1

4. git lfs 下载中断了，继续下载的命令 

git lfs fetch

5、命令对比解释：

• git lfs install：安装 Git LFS 并设置全局配置。这是开始使用 Git LFS 的第一步。

• git lfs clone：克隆一个仓库并且同时下载所需的大文件。这个命令在 Git 2.9 版本后已经被废弃，因为标准的 git clone 命令已经足够高效。

• git lfs fetch：从远程仓库下载 Git LFS 对象，但不更新工作目录中的文件。这个命令通常用于预先下载对象以便稍后使用。

• git lfs pull：下载 Git LFS 对象并更新工作目录中的文件。这个命令相当于 git lfs fetch 和 git checkout 的组合。

• git checkout：这个命令主要用于切换分支或恢复工作目录中的文件。当你执行 git checkout 时，Git 会更新工作目录中的文件以匹配你所指定的分支或提交的快照。如果你的仓库使用了 Git LFS，那么在 checkout 过程中，Git LFS 会自动将 LFS 指针文件替换为实际的大文件1。

• git lfs fetch：这个命令专门用于下载 Git LFS 管理的大文件。它会从远程仓库下载 Git LFS 对象到本地 .git/lfs 目录下，但不会更新工作目录中的文件。这意味着，即使你下载了大文件，你的工作目录中的文件内容不会发生变化2

• git lfs clone 命令的过程中确实包含了自动将 LFS 指针文件替换为实际的大文件的步骤。这个命令是 git clone 的一个优化版本，专门用于处理包含大文件的仓库。当你使用 git lfs clone 时，Git LFS 会在克隆过程的最后阶段自动替换指针文件，下载实际的大文件到你的工作目录