任务
之前看到一个很有意思的工作SAM-Lighting。他用了flash attention技术。我想知道他是怎么调用flash attention的,也想看看实际效果。可惜他的权重和训练脚本都还没开源,暂时只能clone看看模型代码。如果谁发现这个项目完全开源了,告诉我。
过程呢改
下载
这个项目用了Anonymous GitHub。坏处就是没法直接git clone。需要先下载一个用于clone的代码库:
git clone https://github.com/kynehc/clone_anonymous_github.git
cd clone_anonymous_github/
然后用这个代码库的脚本去clone Anonymous GitHub 中的项目:
python download.py --url https://anonymous.4open.science/r/SAM-LIGHTENING-BC25/ --dir ../