deepspeed chat RLHF 个人笔记(待完成)

一、linux配置

# 新的linux配置:
1. 查看linux版本
uname -a
2. linux装软件
    ubuntu:
        安装软件:sudo apt install 软件名
        更新软件源:sudo apt update
        升级已安装的软件:sudo apt upgrade

3. ubuntu 查看终端类型
    printenv | grep TERM
3. 安装 c++编译器
sudo apt-get update
sudo apt-get install build-essential

4. 安装 git 
sudo apt install 软件名

5.安装 git-lfs
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git lfs install

7. screen 滚动、中文乱码问题
# 加上 -U 表示以 utf-8编码,解决中文乱码
screen -U -S name  #创建一个虚拟终端,其中name是模拟终端的名字
#接下来会打开新的终端,在终端中执行自己想执行的代码,跑起来之后
#按ctrl+a之后再按d 就能报存这个终端窗口,就像是后台任务挂起,这样就返回到一开始创建name的那个终端中去了
screen -ls  #查看已创建的终端
screen -U -dr name  #恢复终端
————————————————
# screen 不能滚动
vim ~/.screenrc
写入: termcapinfo xterm* ti@:te@


8. 安装 netstat
sudo apt-get install net-tools
netstat -tuln | grep 29500  ---- 查端口

sudo apt install lsof


================================ 遇到 Ninja 错误, bash 运行没有问题, vscode 调试出错
pip install Ninja
sudo apt-get install ninja-build

===================== 线上机器root pip安装包后的 cuda cudnn ,有可能存在的环境变量问题 ==

# 1) 当前虚拟环境的 cuda是否成功
#     nvcc --version
# -bash: nvcc: command not found  说明没有成功,但是包我们已经下载了,需要手动指定环境变量命令.如果输出显示nvcc命令无法被识别或者找不到,那就意味着CUDA尚未安装或者环境变量PATH尚未正确设置。因此,nvcc --version命令提供了一种直接而简单的方式来验证CUDA是否安装成功,并检查其版本号。这对于确保与您的GPU和深度学习框架兼容非常有用。

# =====> 可能得原因,安装包的时候没有加入 --user ,导致包安装到了其他目录中了,没有添加到环境变量中

# 然后遇到问题:

# WARNING: The script cpuinfo is installed in '/root/.local/bin' which is not on PATH.
#   Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location. 等等

#   ====> 手动添加'/root/.local/bin' 到环境变量到 PATH中,使用 .bashrc文件, 
#   按照后 source ~/.bashrc
#   export PATH="/root/.local/bin:$PATH" 这个一定要加

相关推荐

  1. deepspeed chat RLHF 个人笔记完成

    2024-03-27 14:10:03       42 阅读
  2. rust练习(完成....)

    2024-03-27 14:10:03       36 阅读
  3. RocketMq实战(完善)

    2024-03-27 14:10:03       55 阅读
  4. 学习redis(完善

    2024-03-27 14:10:03       54 阅读
  5. Zookeeprt实战(完善)

    2024-03-27 14:10:03       48 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-27 14:10:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-27 14:10:03       101 阅读
  3. 在Django里面运行非项目文件

    2024-03-27 14:10:03       82 阅读
  4. Python语言-面向对象

    2024-03-27 14:10:03       91 阅读

热门阅读

  1. 【Postman】如何给请求的参数设置随机数

    2024-03-27 14:10:03       38 阅读
  2. excel创建和部分使用

    2024-03-27 14:10:03       41 阅读
  3. 数据结构链栈实现(c语言)

    2024-03-27 14:10:03       44 阅读
  4. 软件工程的相关知识点

    2024-03-27 14:10:03       36 阅读
  5. 使用 React Hooks 管理状态和引用

    2024-03-27 14:10:03       38 阅读
  6. Web开发:深入探讨React Hooks的使用和最佳实践

    2024-03-27 14:10:03       38 阅读
  7. mysql怎么创建索引?

    2024-03-27 14:10:03       32 阅读
  8. Kotlin object

    2024-03-27 14:10:03       38 阅读