《昇思25天学习打卡营第20天|onereal》

应用实践/LLM原理和实践/基于MindSpore的GPT2文本摘要

基于MindSpore的GPT2文本摘要

数据集加载与处理

  1. 数据集加载

    本次实验使用的是nlpcc2017摘要数据,内容为新闻正文及其摘要,总计50000个样本。

  2. 数据预处理

    原始数据格式:

    article: [CLS] article_context [SEP]
    summary: [CLS] summary_context [SEP]
    

    预处理后的数据格式:

    模型构建

  3. 构建GPT2ForSummarization模型,注意shift right的操作。

    模型推理

    数据处理,将向量数据变为中文数据

  4. ---------------------训练结果因为算力不足,暂未成功

相关推荐

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-14 15:30:03       67 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-14 15:30:03       72 阅读
  3. 在Django里面运行非项目文件

    2024-07-14 15:30:03       58 阅读
  4. Python语言-面向对象

    2024-07-14 15:30:03       69 阅读

热门阅读

  1. Rust编程-I/O

    2024-07-14 15:30:03       17 阅读
  2. Lua协程(同步的多线程)

    2024-07-14 15:30:03       18 阅读
  3. 如何利用Gunicorn的日志记录监控Web应用

    2024-07-14 15:30:03       18 阅读
  4. AMD CPU加 vega 显卡运行ollama本地大模型

    2024-07-14 15:30:03       23 阅读
  5. 面试经验总结

    2024-07-14 15:30:03       25 阅读
  6. 14. DDL-约束的管理

    2024-07-14 15:30:03       19 阅读
  7. Spring Cloud

    2024-07-14 15:30:03       25 阅读