资源需求

[dreamfly-jiefa]

看了大佬B站的视频，请教下，部署这个需要多少的资源需求？内存，CPU。另外chat模型和模型是否可以直接以API接口方式调用云上的大模型（如阿里官网千文、deepseek官网api等）

[liweiphys]

普通i5，i7，i9CPU都可以运行，服务器级别更好。针对不同CPU，可以通过调整gunicorn_config里的worker数量，如果你的CPU核数很多，worker数量就可调整很高，并发量就更大。GPU有显存要求，我的测试环境用的是4090，实测显存占用在13-14G左右，你的GPU显存小于这个值，需要调整app/rag/colbert_service里的batch_size，默认是2，调整为1应该可以降低显存占用。云上的大模型可以兼容的，开始对话前有个模型配置，你可以输入llm名称，api_url，以及api_key

[liweiphys]

普通i5，i7，i9CPU都可以运行，服务器级别更好。针对不同CPU，可以通过调整gunicorn_config里的worker数量，如果你的CPU核数很多，worker数量就可调整很高，并发量就更大。GPU有显存要求，我的测试环境用的是4090，实测显存占用在13-14G左右，你的GPU显存小于这个值，需要调整app/rag/colbert_service里的batch_size，默认是2，调整为1应该可以降低显存占用。云上的大模型可以兼容的，开始对话前有个模型配置，你可以输入llm名称，api_url，以及api_key

需要注意的是，不支持deepseek，只支持类似Qwen2.5-vl之类的视觉或者多模态大模型

[dreamfly-jiefa]

普通i5，i7，i9CPU都可以运行，服务器级别更好。针对不同CPU，可以通过调整gunicorn_config里的worker数量，如果你的CPU核数很多，worker数量就可调整很高，并发量就更大。GPU有显存要求，我的测试环境用的是4090，实测显存占用在13-14G左右，你的GPU显存小于这个值，需要调整app/rag/colbert_service里的batch_size，默认是2，调整为1应该可以降低显存占用。云上的大模型可以兼容的，开始对话前有个模型配置，你可以输入llm名称，api_url，以及api_key

需要注意的是，不支持deepseek，只支持类似Qwen2.5-vl之类的视觉或者多模态大模型

那知识库的向量化，只能依靠本地计算资源吗？不能调用云上的向量模型吗？

[liweiphys]

普通i5，i7，i9CPU都可以运行，服务器级别更好。针对不同CPU，可以通过调整gunicorn_config里的worker数量，如果你的CPU核数很多，worker数量就可调整很高，并发量就更大。GPU有显存要求，我的测试环境用的是4090，实测显存占用在13-14G左右，你的GPU显存小于这个值，需要调整app/rag/colbert_service里的batch_size，默认是2，调整为1应该可以降低显存占用。云上的大模型可以兼容的，开始对话前有个模型配置，你可以输入llm名称，api_url，以及api_key

需要注意的是，不支持deepseek，只支持类似Qwen2.5-vl之类的视觉或者多模态大模型

那知识库的向量化，只能依靠本地计算资源吗？不能调用云上的向量模型吗？

现在还不支持，未来会开放接口

[dreamfly-jiefa]

普通i5，i7，i9CPU都可以运行，服务器级别更好。针对不同CPU，可以通过调整gunicorn_config里的worker数量，如果你的CPU核数很多，worker数量就可调整很高，并发量就更大。GPU有显存要求，我的测试环境用的是4090，实测显存占用在13-14G左右，你的GPU显存小于这个值，需要调整app/rag/colbert_service里的batch_size，默认是2，调整为1应该可以降低显存占用。云上的大模型可以兼容的，开始对话前有个模型配置，你可以输入llm名称，api_url，以及api_key

需要注意的是，不支持deepseek，只支持类似Qwen2.5-vl之类的视觉或者多模态大模型

那知识库的向量化，只能依靠本地计算资源吗？不能调用云上的向量模型吗？

现在还不支持，未来会开放接口

好的，非常棒的项目
奈何自己没有好的GPU显存电脑，chat和embedding都得靠云上api来提供呀。