将Git LFS大文件转换为普通文件

Git LFS(Large File Storage)常用于大文件的管理,比如大型的预训练模型、数据集等内容,由于GitHub对上传文件大小的限制,太大的文件一般使用LFS格式上传

将GitHub、Hugging Face等网站上的LFS格式的大文件转换为普通文件的方法如下

这里以Hugging Face上的三个数据集的大文件夹举例:

可见其中的images_partaa、images_partab、images_partac三个文件都是LFS格式,并且都是几十G的大文件。

要用到cat命令,这里建议使用Linux系统,如果是Windows+WSL也是可以的

我的环境是Windows 11+WSL2(Ubuntu 22.04)

1.首先将需要使用的文件下载到本地

如果三个文件都需要使用的话,就要下载到本地的同一个文件夹下面

2.执行以下命令将需要的文件放到一个压缩包里面,名为images

cat images_parta* > images.zip

在Linux系统中,images_partaa、images_partab、images_partac这三个文件名可以被images_parta*同时检索到

3.解压上面得到的images.zip压缩包即可得到常用的格式的文件

说明:

由于文件实在太大,这个转换的命令可能会运行很久,期间命令行的光标一直在闪,生成的images.zip文件在转换结束前的大小一直都是0KB,需要耐心等待

Windows系统下会有点问题

注意:我试过直接把下载得到的images_partaa、images_partab、images_partac这三个文件的名字改为.zip后缀的,虽然WinRAR软件可以打开并查看里面的图片文件,但是不能直接复制、解压,会报错是文件已损坏,具体原因不太清楚。

如果大家在Windows系统下有其他的解决办法,欢迎与我交流。

相关推荐

  1. python 普通文件转换ts文件,用udp-ts 发送

    2024-03-24 02:58:01       31 阅读
  2. jupyter转换python文件

    2024-03-24 02:58:01       34 阅读
  3. pythonvisio转换 PDF 文件

    2024-03-24 02:58:01       11 阅读
  4. VueFile二进制文件转换base64格式

    2024-03-24 02:58:01       38 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-03-24 02:58:01       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-03-24 02:58:01       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-03-24 02:58:01       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-03-24 02:58:01       18 阅读

热门阅读

  1. 软件测试:C++ Google Test单元测试框架GTest

    2024-03-24 02:58:01       21 阅读
  2. 【Rust】Shared-State Concurrency

    2024-03-24 02:58:01       20 阅读
  3. 计算机二级考试注意事项(Python程序设计篇)

    2024-03-24 02:58:01       18 阅读
  4. perl:获取同花顺数据--业绩预告

    2024-03-24 02:58:01       19 阅读
  5. Hive在虚拟机中的部署

    2024-03-24 02:58:01       18 阅读
  6. C++语句,空语句,复合语句

    2024-03-24 02:58:01       19 阅读
  7. SQL题:

    SQL题:

    2024-03-24 02:58:01      16 阅读
  8. Python 类的学习

    2024-03-24 02:58:01       16 阅读
  9. 洛谷 P1011 [NOIP1998 提高组] 车站

    2024-03-24 02:58:01       17 阅读