论文细节

[WUHE-art]

作者您好，我对您的文章非常感兴趣，但是，有些内容我没有一个很好的理解，希望能够得到您的解答。
首先，VSR作为控制信号是预先给定的吗，GSRL将VSR中的语义角色和图像区域特征建立联系，那么GSRL步骤是对COCO数据集的扩展吗？
其次，在SSP步骤里，句子级别的SSP的输入：动词和语义角色的词嵌入特征是从GSRL模块的输出得到的吗？公式（5）中的decoder里的H代表什么含义呢？
最后，在Role-shift模块中，输入的语义结构序列是R-level SSP的输出吗？
以上是我对论文的一些理解和疑惑，希望能够得到您的解答，非常感谢。

[mad-red]

谢谢您对文章的关注。

1. 是给定的；GSRL是将控制信号中的语义角色和图像区域联系起来，在COCO Entities和Flickr30k Entities都有这个组成部分，对COCO数据集的扩展是COCO Entities的构建。
2. 词嵌入特征不是GSRL模块输出的，是可学习的；H是动词和语义角色特征的encode的输出，包含着由输入的动词和语义角色构成的语义结构的信息。
3. 是由S-level SSP和R-level SSP结合的最终结果，多个semantic structure的结果参考Fig 4.

[WUHE-art]

作者您好，对于词嵌入特征我还有一点疑问
1.GSRL中也使用到了verb和semantic role，这两个词嵌入特征是ground truth呢，还是也是学习来的。
2.S-level SSP中的词嵌入特征是学习来的，那么是在VSR步骤学习来的吗，然后再输入到transformer中的吗？
期待您的回复。

[mad-red]

您好！1. 是学习来的。2. 否，是重新学习得到的。