Skip to content

关于decoder外的reg head问题 #23

@Abraham-M97

Description

@Abraham-M97

tmp = self.reg_branches[lvl](hs[lvl])

你好,我在迁移你的mapqr代码到我自己的数据集上训练时发现一个问题,你这一行在decoder layer外又过了一次reg head,我想问一下具体原因,因为我发现在我自己的数据集上收敛存在问题,然后去除了这一行的reg head,但是一旦去除会导致loss反传报错,后续继续检查发现是你下面这个地方的L137-L142存在问题
reference_points = new_reference_points.detach()

这里你在append points的时候应该append new_reference_points而不是detach过后的reference_points,这种情况会导致每一层只会自己学习,也会存在没有反传loss的参数,我在修改了上述两个地方后能够训练取得一个更好的结果 (我修改成了类似OPUS的做法),具体问题细节如果有兴趣可以联系我

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions