今天成功安装了vllm

KimmyGLM

llama.cpp VLLM安装都算简单友好的；

KTransformers 装起来才要命，配套的环境要严格匹配，编译一直出错；
V0.3 更像是一个课题组搞的测试，自己跑通即可，不用管其他部署起来好不好用；
我都快被折磨得抑郁了，他们自己的docker 还没适配0.3
issue里面一大堆稀奇古怪的问题，哎；