开头简单介绍一下你自己。项目花两分钟介绍一下你的项目。你的harness是怎么设计的?你的harness遇到异常情况是怎么处理的?你项目的SFT的数据是怎么构建的?SFT的损失是怎么算的?你用的模型?参数量?为什么要用LoRA微调?介绍一下LoRA微调。LoRA微调中的Rank是什么意思?Rank变大或者变小有什么区别?假如你的Rank是32,需要多少GPU显存?简单介绍一下DPO。为什么要用GRPO而不用DPO和PPO?讲解一下GRPO。GRPO是on policy还是off policy。你的reward是怎么设计的?你的policy是什么?为什么要上GRPO?SFT不够吗?为什么不够?结尾1.你有什么问题想问我?
开头
项目
结尾
1.你有什么问题想问我?