Dynamic Slimmable Network

[ryoherisson]

一言でいうと

推論時の入力に応じて予測的に畳み込みフィルタを刈り込むことで，ハードウェア効率を向上させるダイナミックネットワーク手法を提案．

論文リンク

著者/所属機関

Changlin Li, Guangrun Wang, Bing Wang, Xiaodan Liang, Zhihui Li, Xiaojun Chang
(Monash University, Univeristy of Oxford, Alibaba Group, Sun Yat-Sen University, Qilu University of Technology)

投稿日付(yyyy/MM/dd)

2021/03/24

概要

ダイナミックプルーニングは，異なる入力に関して畳み込みフィルタを予測的にプルーニングする手法だが，疎なパターンの変化はハードウェアでの計算とは相性が悪く，その多くがゼロマスキングや非効率なパスインデックスとして実装されており，理論的な解析と実用的な加速の間に大きなギャップがあった．

本手法は，ネットワーク・パラメータを動的にスライスする一方で，ネットワーク・パラメータを静的かつ連続的にハードウェアに格納することで，マスキング，インデックス，ウェイト・コピーなどの余分な負荷を回避し，ハードウェア効率を向上させた．

新規性・差分

• ダイナミック・プルーニング手法とは異なり，ネットワークパラメータを動的にスライスする一方で，ネットワーク・パラメータを静的かつ連続的にハードウェアに格納することで，マスキング・インデックス・ウェイトコピーなどの余分な負荷を回避．
• IEBとSGSを持ちた2段階の学習方式を提案し，性能を向上．
• ほかの静的・動的なモデル圧縮手法と比較して，2~4倍の計算量削減と1.62倍の高速化を達成．

手法

結果

コメント