Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

请问在论证attentions maps在各个位置都相同时,计算余弦和JS时,vi,vj具体指什么,怎么得到的? #24

Open
ascenoputing opened this issue Aug 7, 2019 · 4 comments

Comments

@ascenoputing
Copy link

ascenoputing commented Aug 7, 2019

代表位置的向量,很费解。在代码上如何表示?

@ZhangYuanhan-AI
Copy link

论文3.2节Statistical Analysis中有提到,vi指的是一个sample的feature vector,比如,如果计算attention 的cosine distance,vi指的是(HW1)的向量,vj指的是当前feature map上其他的position,也是(HW1)的向量,这样的vj有p个;那么一个vi可以计算出p个不同的distance。由于可以有p个vi的不同取值,所以最后可以有p^2个不同的distance。最后,table1中att的值就是所有distance(p^2个)的平均值。其他同理。

@ascenoputing
Copy link
Author

感谢回复,“vi指的是(HW1)的向量,vj指的是当前feature map上其他的position,也是(HW1)的向量,这样的vj有p个;” 这里还是不太理解。(HW1)的向量是什么意思呢? p是指像素点个数吗?
请问对应的代码是哪一块啊?

@ZhangYuanhan-AI
Copy link

感谢回复,“vi指的是(HW1)的向量,vj指的是当前feature map上其他的position,也是(HW1)的向量,这样的vj有p个;” 这里还是不太理解。(HW1)的向量是什么意思呢? p是指像素点个数吗?

(HW1)的向量是什么意思呢?:假设我们这个时候想要计算的是当前feature map上所有position的attention(前提)之间的的average distance,那么vi和vj的值指的就是HW * 1 vector,这个HW * 1 vector指的就是一个position(可以理解为一个像素点)的attention值。如果这个时候不是计算attention之间的average distance,那么vi,vj的值和含义也会相应改变。
p是指像素点个数吗:可以这么理解

请问对应的代码是哪一块啊?
代码我还没看。

@ascenoputing
Copy link
Author

非常感谢,原来你也不是原作者啊,哈哈,一开始以为你是原作者:)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants