我想知道有没有人在本地部署deepseek R1,该怎么才能尽量降低硬件需求?
我试过8B的,用的3060Ti,还算是能流畅运行。32B就带不动了
用低精度量化和小参数量模型
可以试试ktransformers