ReLUを最後に使う深層学習

深層学習では最後に特殊な数学的ステップを使ってラベルを選択するが、負の数をゼロにするシンプルなReLUルールを使うこともできる。通常の滑らかな選択ステップの代わりに、ネットワークの最後の信号を取り、負の数をゼロにしてから最大の値を選択する。この方法は単純で、モデルが解釈しやすく、多くの場合高速である。追加の滑らかな関数は不要で、ReLUを最後に使うことで直接的で誠実な選択ができる。試してみると、モデルが適切に学習し、より明確な決定が得られる場合がある。