ROLL 的下个版本会支持 FSDP 嘛？ #307
Description
ROLL 的 LoRA （使用 Deepspeed 后端）无法启用梯度检查，会在反向过程中抛出张量形状元数据和前向不一致的异常，在相同环境下，采用 TRL 进行 LoRA 微调并没有遇到该问题，TRL 使用的是 FSDP，因此想问下个版本会支持 FSDP 嘛，或者有什么其他方法解决？
{{ message }}
ROLL 的 LoRA （使用 Deepspeed 后端）无法启用梯度检查，会在反向过程中抛出张量形状元数据和前向不一致的异常，在相同环境下，采用 TRL 进行 LoRA 微调并没有遇到该问题，TRL 使用的是 FSDP，因此想问下个版本会支持 FSDP 嘛，或者有什么其他方法解决？