是否考虑过直接使用混合损失单个lora微调？ #33
Description
很棒很大胆的尝试！用很少的改动实现了很棒的效果。但是我注意到似乎可以直接混合多个类型的损失训练单个lora微调模型，不知道您是否对比过两种方案的效果。此外，是否考虑过微调别的模块比如VAE encoder？两个lora模块的方法是加权，很简单有效，但是我好奇您是否研究过使用稍复杂点的方法比如使用RRDB等模块来自适应融合？
{{ message }}
很棒很大胆的尝试！用很少的改动实现了很棒的效果。但是我注意到似乎可以直接混合多个类型的损失训练单个lora微调模型，不知道您是否对比过两种方案的效果。此外，是否考虑过微调别的模块比如VAE encoder？两个lora模块的方法是加权，很简单有效，但是我好奇您是否研究过使用稍复杂点的方法比如使用RRDB等模块来自适应融合？