开源大模型源代码

开源大模型的源代码可以在多个平台上找到,以下是一些知名的开源大模型及其源代码的获取方式:

1. **艾伦人工智能研究所的开放大语言模型(Open Language Model,OLMo)**:
   - 提供了完整的模型权重、训练代码、训练日志、消融研究、训练指标和推理代码。
   - 包含了一个高达3T token的预训练开源语料库,以及产生这些训练数据的代码。
   - 提供了四个不同架构、优化器和训练硬件体系下的7B大小的模型,以及一个1B大小的模型,所有模型都在至少2T token上进行了训练。
   - 提供了用于模型推理的代码、训练过程的各项指标以及训练日志<searchIndex index="1" />。

2. **BERT**:
   - BERT项目的源代码可以在GitHub上找到,地址为:https://github.com/google-research/bert#fine-tuning-with-bert<searchIndex index="2" />。

3. **ELMo**:
   - ELMO的源代码可以在GitHub上找到,地址为:https://github.com/allenai/allennlp<searchIndex index="2" />。

4. **蚂蚁集团的CodeFuse**:
   - CodeFuse是一个代码大模型,已经开源,可以在HuggingFace下载模型。
   - 开源内容包括代码框架、模型等,其中模型包括CodeFuse-13B、CodeFuse-CodeLlaMa34B-MFT两个大模型。

5. **DeepSeek Coder**:
   - DeepSeek Coder是一个智能代码助手,可以在Hugging Face和GitHub上开源。
   - 在国际权威数据集的测试中表现出色<searchIndex index="3" />。

6. **LLaMA**:
   - LLaMA的源码可以在transformers仓库中找到,地址为:https://github.com/huggingface/transformers<searchIndex index="4" />。

请注意,获取开源大模型的源代码时,需要遵守相应的许可协议,并在使用时引用原始来源。同时,由于开源项目的更新和维护可能会发生变化,建议直接访问上述提供的链接以获取最新的源代码和相关信息。

相关推荐

  1. 开源模型源代码

    2024-06-07 21:08:05       26 阅读
  2. 开源模型对比

    2024-06-07 21:08:05       30 阅读
  3. 开源语言模型简记

    2024-06-07 21:08:05       52 阅读
  4. 开源模型 Llama 3

    2024-06-07 21:08:05       36 阅读
  5. 盘点热门开源模型

    2024-06-07 21:08:05       28 阅读
  6. 开源模型与闭源模型浅析

    2024-06-07 21:08:05       29 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-07 21:08:05       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-07 21:08:05       100 阅读
  3. 在Django里面运行非项目文件

    2024-06-07 21:08:05       82 阅读
  4. Python语言-面向对象

    2024-06-07 21:08:05       91 阅读

热门阅读

  1. 在RT-Thread下为MPU手搓以太网MAC驱动-4

    2024-06-07 21:08:05       28 阅读
  2. PyTorch、显卡、CUDA 和 cuDNN 之间的关系

    2024-06-07 21:08:05       31 阅读
  3. type 相关的几个试验

    2024-06-07 21:08:05       31 阅读
  4. 补充SimGNN

    2024-06-07 21:08:05       27 阅读
  5. c++入门笔记——头文件

    2024-06-07 21:08:05       20 阅读
  6. 爬虫技术笔记

    2024-06-07 21:08:05       23 阅读
  7. 【学习笔记】Git常用命令

    2024-06-07 21:08:05       25 阅读
  8. 实战指南:Go语言中的OAuth2认证

    2024-06-07 21:08:05       25 阅读
  9. 简单使用vue2和elementUI自定义audio支持拖拽进度

    2024-06-07 21:08:05       31 阅读