最近导师想做这种自己的微调LLM,但感觉LLM内部的结构都不是很了解,所以具体怎么去像alpaca那些那样用LLama来蒸馏,微调之类呢?感觉最近友友们在做的应该也挺多(在食堂吃个饭,都能听到旁边也在说导师也想做个类似的自己领域的chatGPT)
所以请教大家有没有什么论文,或者教程可以分享分享。(跟着网上倒腾部署了一些量化的Vicuna/Chinese-LLaMA-Alpaca之类的)
目前LLM这块我是偶然看到李宏毅23年最新的深度学习课,他是围绕生成式ai讲的一系列课,刷了一遍,但具体细节也还是不清楚。再看论文也不知道从哪看起。又苦于组内基本就自己在弄这块,没人能请教,全是自己倒腾,所以来这里求一下分享感谢读到这里!