vllm安装踩坑

今天是2024/7/18.

vllm0.5.2最近一周出了个不好搞的新issue，会遇到torch.ops._C没有rms_norm，或者没有reshape_and_cache_flash这两个属性的问题。

完整报错如下:
AttributeError: ‘_OpNamespace’ ‘_C_cache_ops’ object has no attribute ‘reshape_and_cache_flash’
AttributeError: ‘_OpNamespace’ ‘_C’ object has no attribute ‘rms_norm’

rms_norm issue链接
reshape_and_cache_flash issue链接

————————————————————

我没找到好的解决办法，issue里说的情况都是在用源码安装后遇到的，我直接在干净环境ubuntu20.24 cuda12.2下面pip安装，仍然遇到了问题。而且问题指向是torch里的class缺少属性，因此我猜测是torch的问题，vllm的每个版本又强制要求某个torch版本，因此我只能选择之前的vllm版本。

出错的安装环境:
torch2.3.1, vllm0.5.2

我回退了几个版本，用了pip install vllm0.4.0，它默认使用torch2.1.2，然后就不报错了。(如果不知道vllm有哪些版本，可以这样:pip install vllm3516356 随便打个数字，pip会报错说没有这个版本，然后告诉你可选择的所有版本)

下面是vllm官网quickstart里的例子，可用于测试vllm是否工作。

from vllm import LLM, SamplingParams
prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

llm = LLM(model="facebook/opt-125m")

outputs = llm.generate(prompts, sampling_params)

# Print the outputs.
for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")
~                                                                                                                                                                                         
~                                                                            

——————————————————————
其他的错误

有些人虽然正常运行了，但是能看见warning: 没有flash attention。
你安装pip install flash-attn，运气不好又遇到这个：
ImportError: cannot import name ‘packaging’ from ‘pkg_resources’
原因是setuptools太新了，回退到pip install setuptools==69.5.1 --no-cache-dir就可以了。