python-windows10普通笔记本跑bert mrpc数据样例0.1.001

背景

看了介绍说可以在gpu或者tpu上去微调,当前没环境,所以先在windows10上跑一跑,看是否能顺利进行,目标就是训练的过程中没有报错就行

参考章节

参考这个链接https://github.com/google-research/bert/tree/master?tab=readme-ov-file,其中的这个章节Sentence (and sentence-pair) classification tasks

获取数据

文章提高的使用 GLUE data by running this script,但是我使用这个脚本下载不了,因为是内网,没有办法只能手动下载了,方法如下

  1. 下载download_glue_data.py这个脚本后
  2. 找到第39和40行,将里面的链接打开保存文件就可以获得msr_paraphrase_train.txt和sr_paraphrase_test.txt文件了
MRPC_TRAIN = 'https://dl.fbaipublicfiles.com/senteval/senteval_data/msr_paraphrase_train.txt'
MRPC_TEST = 'https://dl.fbaipublicfiles.com/senteval/senteval_data/msr_paraphrase_test.txt'
  1. 数据不大,我直接修改的文本格式为tsv,最后得到test.tsv和train.tsv文件

下载bert模型

下载bert-base-uncased模型,如下图
在这里插入图片描述

下载bert代码

将这个链接https://github.com/google-research/bert/tree/master?tab=readme-ov-file的代码clone下来到本地,进入到这个文件夹里,执行如下命令即可:

python run_classifier.py --task_name=MRPC --do_train=true --do_eval=true --data_dir=D:\jpdir\bert\glue_data\MRPC --vocab_file=D:\jp

相关推荐

  1. python-win10通chattts笔记(亲测可)0.8.010

    2024-06-08 08:38:03       8 阅读
  2. windows10 安装iis asp.net

    2024-06-08 08:38:03       8 阅读
  3. opencv的SIFT(CPP/python)

    2024-06-08 08:38:03       35 阅读
  4. Frida相关脚本代码(Windows下经过测试)

    2024-06-08 08:38:03       20 阅读
  5. leetcode-hot100-普通数组

    2024-06-08 08:38:03       21 阅读
  6. python中多态的概念及简单

    2024-06-08 08:38:03       11 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-06-08 08:38:03       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-06-08 08:38:03       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-06-08 08:38:03       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-06-08 08:38:03       18 阅读

热门阅读

  1. 速盾:服务器cdn加速超时如何解决?

    2024-06-08 08:38:03       8 阅读
  2. WDF驱动开发-PNP和电源管理(一)

    2024-06-08 08:38:03       11 阅读
  3. xmind父主题快捷键Ctrl+Enter

    2024-06-08 08:38:03       8 阅读
  4. 关于json文件的保存

    2024-06-08 08:38:03       8 阅读
  5. 本地打包.Tar上传到服务器,服务器解压缩

    2024-06-08 08:38:03       8 阅读
  6. Hudi CLI 安装配置总结

    2024-06-08 08:38:03       6 阅读
  7. Go每日一库之rotatelogs

    2024-06-08 08:38:03       8 阅读
  8. python字典

    2024-06-08 08:38:03       9 阅读
  9. HTTPS和TCP

    2024-06-08 08:38:03       8 阅读