Swin-transformer

mask 作用

swin采用了滑动窗口的机制

好处是之间被分割的小窗口只能在窗口内部通信，大窗口滑动后能够使得曾经不能在一起通信的图像像素现在能互相计算了。

大窗口滑动后，将被移出去的图像又对称性得移动到大窗口中来。此时为了限制原始图像时不是挨着的窗口 就算移动后现在挨着了也不能相互通信，因此采用mask方式来限制（即给想要丢弃的部分赋值为无穷或者-100，使得其softmax之后为0）