Swish精品文章

• 

  谷歌大腦的 Swish 激活函數(shù)與 ReLU 激活函數(shù)對比

  ...om/p/95e3... 最近谷歌大腦公布了一個新的激活函數(shù)，叫做 Swish 激活函數(shù)。這個函數(shù)非常的有趣，很多人都把它應(yīng)用到一些小的神經(jīng)網(wǎng)絡(luò)和大的神經(jīng)網(wǎng)絡(luò)中去測試它的性能。所以，我也打算去 kaggle 上面測試一些這個函數(shù)的性能如...

  wujl596 2019-07-30 15:10 評論0 收藏0
• 

  激活函數(shù)可視化

  ...es}, ext{ where $0 < alpha < 1$} $$ 形狀差不多的還有Softplus，Swish，Exponential Linear Unit (ELU)，以及Scaled ELU(SELU)，公式如下： $$ ext{Softplus: } f(x) = log(1 + e^x)$$ $$ ext{ELU: }f(x) = egin{cas...

  tolerious 2019-07-31 11:06 評論0 收藏0