预算肯定是很拉跨的,但导师项目经费也是拉跨的。😵
L20?4090 48G 魔改?或者别的推荐配置,魔改 4090 48G 可能更有性价比,但身边没有见到有人用过,不知道用起来如何?
没有 nvlink,推理和训练会差多少呢?这些卡相比 A100/H100 训练会差多少嘞?
只在实习时候用过公司的 A 、H卡
如上奇怪的配置也没了解过,只是潜水在群里看到有人聊过,求友友给些建议
其实感觉到最后买来可能也就是推理用,训练还是得临时租/白嫖其他地方的,弄好权重拿来部署。
PS:友友最近实习在做 RL-based DeepSearch/DeepResearch相关(古早为verl 贡献的多轮 rl 的search tool支持pr:1682
目前刚博二,导师交叉方案,组里自己一个人弄llm 相关,毕业用交叉保毕业,主力还是放在 llm 相关,没有别的师兄弟样本参考,好折磨。
有意欢迎戳我v:Lins_1105(i 人,但努力希望找到可以一起学习的组织,一个人短期效率还行,长期效率确实不太高
相关方向的友友欢迎交流哇😭