Semiconductor Portal

» 寄M » 寄M(半導応)

ニューロチップ説 〜いよいよ半導の出番(2-1)

2章:ディープ・ニューラルネットワークのニューロチップへの実◆舛修隆所は!!

この2章は、人工ΑAI)の代表的な応である画鞠Ъ韻砲茲使われているCNN (Convolutional Neural Network:: Qみ込みニューラルネットワーク)を紹介し、LSI化する場合に要な演Qを軽くするためのテクノロジーを中心に解説している。2章は3陲吠けて掲載する。最初となる2-1は、CNNの基本構成を紹介している。(セミコンポータル集室)

著v:元半導理工学研|センター(STARC)/元東 瀬 啓

1章の冒頭で予告した内容を変し、2章では教師~り学{で画鞠Ъ韻梁緝重ネットワークであるCNN (Convolutional Neural Network:Q込みニューラルネットワーク)をいて、ディープ・ニューラルネットワークをLSIに実△靴榛櫃膨_要となるQ|の勘所を説する。CNNが最もなじみ深く、世にHくの実績を屬欧討い襪らである。

最初に、2.1〜2.3IでCNNの基本を説し、そしてディープ・ニューラルネットワークのアルゴリズム・モデルのの動向を説する。中盤の2.4〜2.6Iでは、CNNの代表的な幾つかのモデルのアーキテクチャ、構成要素、演Q数とパラメータ数をその推,閥Δ棒する。最後に2.7、2.8Iで、最新の低ビット化・圧縮\術を紹介し、最新のディープ・ニューラルネット(ex. CNN、ResNet 34層)がモバイルに搭載可Α淵汽0.1W級)であることを~単な試Qをいてす。

2章:ディープ・ニューラルネットワークのニューロチップへの実◆ 舛修隆所は!!〜
2.1 CNN基本構成(1)〜演Qブロック〜
2.2 CNN基本構成(2)〜ネットワークとパラメータ 〜
2.3 ディープ・ニューラルネットワーク景〜アルゴリズム・モデル〜
2.4 CNNのモデルの進化(1)〜アーキテクチャの変:より広く?! より深く152層〜
2.5 CNNのモデルの進化(2)〜構成要素の勘所:ポイントは5、6カ所〜
2.6 CNNのモデルの進化(3)〜演Q数とパラメータ数:34層位で良いのではないか?!〜
2.7 ディープ・ニューラルネットワーク(1)〜メモリ実△亡悗垢觜融 3つのタイプ〜
2.8 ディープ・ニューラルネットワーク(2)〜メモリ量 サブ0.1Wも!モバイルにロックオン

2.1 CNN基本構成(1)〜演Qブロック〜
図6にCNNの基本的な演Qブロックである層と関数だけで構成した画鞠Ъ院舗k般認識)ネットワークの~S図をす。CNNを通して顱覆劼泙錣蝓▲船紂璽螢奪廖◆ΑΑΑ猫等々)を分類(Hクラス分け)する。左笋ら「ひまわり」の画機閉名3 RGB)を入として入れる。図の下段は入出のフレーム(外枠)を、崔覆呂修離侫譟璽爐瞭睛討任△襯如璽織ぅ瓠璽犬領れをす。図の説をi段陲徴抽出陲噺綯陲諒類_に分け説する。なお、この作業は認識という実行フェーズである。今vは詳しく説しないが、それ以iに学{という作業が行われその確定したネットワークに画気鯑する。

図6 CNNの構成S
図6 CNNの構成S

(1) 徴抽出
i段の徴抽出陲蓮2つの層(Q込み層・プーリング層)、および2つの関数(性化関数・化関数)からなる。Q層と関数に関して説する(詳細は参考@料8、6参照)。

Q込み層
Q込み層に関しては半導で画気離侫ルタ処理に同様の処理が使われているのでRみ深い気碵Hいはずである。直感的には入画気髻⇔磴┐Aめのフィルタなり格子Xフィルタ(参考@料6の102頁に実際のフィルタ例)なり、フィルタ越しに見た入画気暦T果を出笋謀樟^する作業とイメージすると理解しやすい(実際のフィルタはかなり小さいサイズ3x3jきくても11x11であるが)。同じく「Q込み」のネーミングに関しては図6の下段のk番左笋堀U入したU絵の様に「入される画気縫侫ルタをQみ込む演Q(参考@料14)」と捉えると言のT味が少しはしっくり来る。なお、ニューラルネットワークの演Qの基本は、H入の積和演Qである。Q入にはそれぞれ学{により定されたw~の_み(パラメータ)がXけられる。その総和を性化関数に通して次段に出する。要に応じて化関数の処理を行う。神経細胞モデルと比べると、_み+積がシナプスの機Δ冒蠹し、総和+性化関数+(化関数)の演Qがニューロンの機Δ冒蠹する。神経細胞モデルはもっと複雑であるがニューラルネットではこのように~素化されている。

なお、画欺萢に{い、フィルタと称した、そのフィルタの要素が_みである。

マックスプーリング層
プーリング層の中でよく使われるマックスプーリング層はその入(i段)のk陲任△襦N磴┐2x2の矩形覦茲4つのユニットの最j値を出(次段)の1x1の覦茲謀樟^する。入覦蒿に同じ操作をスライドしながら繰り返し、出Cが完成する。T果、出サイズが1/4になる。以T、Q量も1/4になる。

画鞠Ъ韻慮果としては2つあり、共にCNNのjきな長を成している。1つは点がミクロからマクロに拡jする点である。図6ではサイズが小さくなる。しかしその要素である崕劼1x1覦茲魯泪奪スプーリング処理iのよりマクロな2x2を代表している。すなわちよりjきな覦茲徴を捉えることが可Δ箸覆襦もう1つは入画菊發顱覆劼泙錣蝓砲隆何(j小、v転、シフト)変化に瓦垢詆塋兩をもたらす。すなわち顱覆劼泙錣蝓砲瞭画C内での位、jきさによらず、またv転しても“ひまわり”と認識できる。マックスプーリングを後述するCNNの代表的なモデルのAlexNetは3v、VGGNetは5v、そしてGoogLeNetは4v(ただし、Version1ではInception Layer内にSlideが1のプーリング層をHしている)使する。ResNetでは1v使する。ちなみにQ込み層のフィルタ操作も通っているので峙の2つの効果をQ込み層にEり込むが可Δ塙佑┐蕕譴襦とするならば、マックスプーリング層はなくてもよい可性もある。ただし内陲呂茲螢屮薀奪ボックス化する。

性化関数
性化関数は、神経細胞のように演Q(積和)のT果を線形に変換する関数である。|々の線形関数が提案されてきた歴史があるが、そのT味合いはk言では捉えにくい。実は学{時の誤差逆伝鯔‥の際の微分処理がスマートに行えることが関数に求められるようだ。WikiPedia(参考@料15)では、「人工神経の性化関数は、ネットワークを啣修泙燭話噂祺修垢襪茲Δ性をeつものがばれる」と書かれている。2015Q5月雑誌Natureにランプ関数のReLU(Rectified Linear Unit:の値はそのままスルーし、負の値は0と見なす:参考@料6、8)が最も使われてかつより高]に学{すると書かれている(Y. LeCun, Y. Bengio, G. Hinton共著:参考@料16)。現在ほとんどのモデルがReLUを使している。

化関数
化関数に関しては余り使われていなかったようだが、2015Q3月に提案されたBatch Normalization(2.3Iで~単に説)はよく使われている(GoogLeNet、ResNet)。また、2.8Iで説するBinarized Netでは_要なT味をeっているらしい。

徴マップ数(Nif、Nof)
図6の徴抽出陲鯆圓垢襪海箸砲茲蝓屬劼泙錣蝓廚硫気ら複数の徴マップを抽出する。なお、Nof(Number of output feature maps)は層の出笋徴マップの数で、Nif(Number of input feature maps)は入笋徴マップ数である。性化関数、化関数、さらにプーリング層を経てもマップ数Nofは変わらない。

(2) 分類_
T合層
後段の分類_に引き渡す際に「ひまわり」の徴マップを1次元のベクトルに並べえる。後段の分類_では3個(1個もあり)度のT合層(憾する2個のベクトルのユニットがてT合)が次々と仕分けを行い分類(Hクラス化)して最初の画菊が何であるかを判する。

性化関数Softmax
その判は最終段のNo個の出値で判定する(No個:Number of output クラス数の個数:ILSVRC/Imagenetのベンチマークのk般認識のクラス数は1000個)。実は、最終段にはSoftmax(参考@料6)という性化関数が使され、値は比率に変換されて出される仕Xけになっている。Softmaxにはコントラストを咾する働きもある。

クラスと判定
その中の“ひまわり”のクラスの確率がk番高いはずである。例えば、80%。その際他のクラスは“チューリップ”は19%とか、“猫”1%とかになる。入画気呂劼泙錣蠅凡k番瑤討い燭、実は入画気里劼泙錣蠅涙k陝⇔磴┐假っぱの形Xがチューリップっぱに少し瑤討い燭犯縦蠅気譟▲船紂璽螢奪廚粒領┐19%のT果になったという感じである。ちなみにここで説したi段の徴抽出陲歪名鑛数v繰り返され、徴マップをミクロな点からマクロな点へと変えて行く。例としてはひまわりから`れるが、人間なら点がミクロな耳という小さなものから、jきくなり頭で、さらにはマクロなでという流れである。よりj局的に徴を捉えて分類している。

(3) クラスとは、そして学{とは
最初は画気鯑れるとjきな誤差が出る
ここでクラスとは何かということを~単に説する。iに学{のフェーズで、例えば人間がどう見ても“ひまわり”と思える画気1000揃えて、峙の図6のネットワークの左笋ら入する。出は、ひまわりのクラス、チューリップのクラス、猫のクラスの3つがあるとする。これらのクラス@はiもって人間がめる。学{の最初の1`では、ひまわりクラスの確率は仮に33%とする(3クラスだったら平均は33%)。理[的な出は、ひまわりのクラスは100%で他のクラスは0%のはずである。その誤差分(100-33) %を相するために、よりひまわりのクラスの比率が屬るように中間のネットワークの_みを調Dする。通常k度にドンとはやらず石橋をくようにじわじわやる。

パチンコの釘師と誤差逆伝鯔
学{の桔,魯僖船鵐海療師の仕に瑤討い襦D名錙∧後に行う。盤Cの無数の釘をハンマーでいて角度を微調し、パチンコ玉の流れを変え、ホール穴に入る確率を調Dする仕である。パチンコのもうけに直Tする。ひと釘直したら、またパチンコ玉を飛ばして様子を見る。ひと釘毎、盤CCtに調Dして行く。パチンコのホール穴にZい釘ほど入る確率にjきく影xするのが通常である。故に、ホール穴にZい図6でいうと出笋ら逆妓に、釘を微調(微分)してちょっとした入り差腓琉磴ぁ塀侘の誤差分)を盤C(ネットワーク)に分gさせる。これが誤差逆伝鯔,離ぅ瓠璽犬任△襦覆發舛蹐鵝⊆Qはニューラルネットワークの関数/導関数をいて行う)。

(4) 教師~り学{
学{時は、iに人間がりすぐった“ひまわり”、“チューリップ”、“猫”をQ々例えば1000ごと、合3000を流すことによってネットワークが確定(_みめ:_みに関しては次Iで説する)する。と同時に出笋学{iは@ばかりであったが@に恥じぬ真の3つのクラスに成長する。これがいわゆる教師~り学{である。教師~り学{は、作業的には教師画機淵ラスがiにめられた画機砲亮孫圓噺躡控嫖鯔,砲茲訥_みの微調の2つの作業の気が遠くなるほどの繰り返しである。これがO動でかつタスク`的によらず@的にできるのが誤差逆伝鯔,陵イ譴薪世任△襦0屬ニューラルネットワークの学{のイメージである。そこに|々の\法(2.3Iでk霈匆陝砲み出されH層(3層以屬悗漣t開が困Mな冬の時代があったが)へのt開が可Δ砲覆辰拭これが深層学{(ディープラーニング)ある。その\法の内容は2.3Iで紹介するが、Hくが棺菎法的に見える。遠からず人間のNの機Δ鯡亙錣靴討い襪箸聾世─⊃式処理の無機な\法の集団に見える。しかし、それ故に@的で広Jなタスクにt開できると理解している。

(5) 学{した識は_み(パラメータ)に蓄えられる
Q込み層とクラス化層(T合層)だけが_み(パラメータ)をeつことから_要である。その_みの数はLSIのチップサイズ、スピード、そしてパワーに直Tする。

なお、層のカウントは、Hくの場合は_み(以T_みを実△垢訐の際にはパラメータと称す)を~する層で数える。図6はQ込み層とクラス化層(T合層)の2層とカウントされる。プーリング層はカウントしないのが通例のようである。

2.2 CNN基本構成(2)〜ネットワークとパラメータ〜
1章でも紹介したとおり、ディープラーニングにとって記念碑的と言われているCNNのモデルであるAlexNetをいて、データのフローとパラメータの働きを説する。

(1) データの変換フロー
図7にAlexNet(参考@料23)のネットワーク(崔福法▲僖薀瓠璽拭δ_み(中段)、そして単純処理(下段)をす。左笋ら画機文ぁWalker Hound)が入され、に向かい処理される。笋暦T果は、クラスごとに比率(図7笋隣U入図の棒グラフ、1000クラスの中で5クラスのT果を表)でされる。Q込み層が5v繰り返される。プーリング層は3vである。後段陲砲蓮▲ラス化を担うT合層(FC1は9216と4096のT合)が3vある。性化関数としてはReLUが、また最終端にSoftmaxが使わる。iIでも述べたように、_要なのはQ込み層(以TConv層と表)とクラス化を行うT合層(Fully Connected層)の積和演Qv数とその際に使されるパラメータの数である。パラメータ数は総数62M個、積和演Qv数は11億4000万v(1の画欺萢)である。なお、ネットワークはi段陲徴抽出陲任3次元での演Qを行い、後段陲任1次元となる。パラメータは、徴抽出陲任3次元のパラメータを徴マップ数分eつと表現される。実は4次元である。

図7 CNNネットワークとフィルタの詳細
図7 CNNネットワークとフィルタの詳細

(2) 積和演Qv数とパラメータ数を見積もる
積和演Qのv数とパラメータ数に`し説する。最初のConv1層の積和演Qのv数は入3x(224x224)から出96x(55x55)への接数の総和となる。接数の総和は3x(11x11)x(55x55)x96となる。接のQは入224x224を使わず、フィルタサイズ11x11を基にQする。フィルタがStride 4(ステップが4ユニット分で、左、峅爾‘亜砲‘阿掘55x55v繰り返し使(接)される。後は、入筺⊇侘笋離泪奪弯3と96をXける。

パラメータ数のQ出桔,亡悗靴得する。入に瓦靴11x11のフィルタ演Q(Matrix Multiplications)を55x55v行い、かつRGB 3v分繰り返す。さらに同じことを出笋離泪奪弯96v繰り返す。パラメータ数は、3x(11x11)x96となる。

積和演Qのv数と、パラメータ数の差は55x55の~無になる。CNNの場合にはフィルタをスライドしても同じもの(_み共~:Weight sharing、参考@料6の89頁)を使いvすのがその~無の理yである。その使いvしのv数は出のサイズ55x55に等しい。T果、演Q数に瓦靴2〜3桁少ないパラメータ(メモリ量:詳細は2.6I)数でよいことになりハードウェアへの負担も少なくなる。昨今CNNがに発tした理yのkつである。逆にCNNを使せず別のアルゴリズムの使を考えると、場合によっては2〜3桁屬寮Δ魴eつハードウェアが要となることをT味する(2.8I参照)。

逆に、後段陲嶺T合霾では単なるXけQ(例えば 9216x4096)になる。パラメータ数はHく、ネットの90%i後(AlexNetでは94%:2.5Iを参照)を後段陲める。

(3) Q量をらすちょっと唹な桔 ▲泪奪スプーリング層
実△菘世ら見ると、マックスプーリング層の処理はの演Q量からみるとほとんど無できる。Conv1層の後にあり、55x55→27x27とサイズを1/4にしている。すなわちそれ以Tの演Q量を1/4にする常においしい機Δ任△襦F瑛佑留Q量削の}法としてBottleneck Module(次v2.4I/図10).なるものがある。AlexNetでは使していないが、1x1のフィルタを使して徴マップ数をOyに\する。昨今Hされている。

2.3 ディープ・ニューラルネットワーク景〜アルゴリズム・モデル〜
CNNのアルゴリズム・モデルは、図8のようにt開されてきた。この図は、CNNの動向(参考@料14)をベースに、他のアルゴリズム・モデルと連携した複合機Δ瞭宛(参考@料17〜20等)を加え構成した。2016Qの動向も加味した。

(1) のt開
t開の妓性は、ディープラーニングもしくはCNNの理b的な「理解」をより深めようとする動き、次に認識率アップをとことん{求する「高性Σ宗廚瞭阿、さらには、他のアルゴリズムとの組み合わせによる「複合機Σ宗淵泪襯繊法廚3つにj別される。その他に、アルゴリズム(にCNN)の邵ξ発Eによる「高機Σ宗廚瞭阿がある。これはネットワークの内陲林X・動きを深く探ることにより顕在化・発tした「理解」{求の中で擇泙譴神果と見ることもできる。

図8 ディープ・ニューラルネットワークの景(アルゴリズム・モデル) 2012Q以Tに`.
図8 ディープ・ニューラルネットワークの景(アルゴリズム・モデル) 2012Q以Tに`.

(2) 高性Σ
「高性Σ宗廚瞭阿は<\法>、<構成>、そして<高]化・コンパクト化>の3つに分解される。

<\法> 1つ`はディープラーニングのコア\術であるH層(ディープ)での学{(ラーニング)を容易にしたQ|の<\法>である(詳しくは、参考@料8、6を参照)。数Hくあるが、図8に記されているいくつかの\法を~単に説する。

Dropoutは坡{をU御すべく、学{時に中間層のユニットの値をk定の割合で0にし、T合をL落させる}法である。AlexNetで使されており現在も主流である。それに瓦靴Drop ConnectはT合の_みOを0にする}法である。この2つにより、学{時に例えば、本来はぎちぎちに接しているT合層のT合を少しらにしてネットOに柔軟性をeたせることができる。人間で例えるならば、「頭がwいと応がWかない」という性格を直すようなモノである。

転ヽ{は学{の桔,魎慙△垢覦椦|のタスクに転するk般的な\法のことを指し、その中でFine Tuningは別のタスクで学{済みのネットワークを`的のタスクの学{のために再学{することを指す。例えば、「猫の|別の画鞠Ъ院廚粒{済みのネットを「家の|類の識別」に転する。このことにより家の教師サンプルは少なくて済む。人間で例えるならば、基礎がしっかりできていれば応は~単といったイメージである(ポルトガル語がBせる人は、スペイン語も~単に{uできることにZい)。

2015Qに発表(参考@料31)された化}法のひとつであるBatch Normalizationを使することにより、jきな学{係数(誤差を比較的j胆に逆伝鬚気擦襦砲、使可Δ箸覆螻{の収Jを早くすることが可Δ砲覆辰拭そのために入サンプルの集合(Batch)に瓦垢訝羇崛悗僚侘の共変量シフトを小さくする化のk}法をDり入れる(参考@料14)。ネットワークのkつの構成要素である。最後のKnowledge Distillation(識抽出)はj模モデルを小模モデルに換する}法である。

<構成>と<高]化・コンパクト化>
次に<構成>要素であるQ込み層、_み/カーネル、そしてプーリング層等の工夫によるネットワークモデルの進化がある(次I以T詳細に説する)。さらに歴史は長いが昨Qより、表舞に出てきている<高]化・コンパクト化>の動きがある(2.8I参照機法その内容はデータとパラメータの低ビット化、圧縮、さらに量子化\術である(通常は32ビット浮動小数点を使)。スピードとパワー共に改され、効率は2乗度に比例しインパクトは絶jである。本来半導のv路構成と咾だ榲世鬚發弔箸海蹐任△襦すなわちHくの場合、効果をしく引き出すためにはハードウェアでの工夫が要となる。

(3) 複合機Σ宗淵轡好謄牴宗
「複合機Σ宗廚呂泙気靴アプリケーションを成すための「システム化」の動きである。CNNを中心に、i後に複数のディープ・ニューラルネット(例えばRegion Proposal Network参考@料21、Recurrent Neural Network、Reinforcement Learning・・・:図8のR参照機砲直`(並`)接、もしくはDり込まれる形で複数の機Δらなるシステムが構成される。直Zのディープラーニングで最もホットな覦茲里劼箸弔任△襦N磴箸靴討蓮ZのW心WのO動予Rがある。カメラで、(1)Zi機∧睫O周辺のを捉え(Region Proposal Network:形Xおよびその数フレーム分の位・]度)、(2)そのを例えば人と識別(CNN)、(3)その人の動きから現時点より数フレーム先の動きを、iに学{した人の動作の記憶を基にQ(RNN:参考@料22)して、人が歩Oに出てくると先読みしドライバーに警告を発する。(1)〜(3)の3つのディープ・ニューラルネットワークでシステムが構成される。なお、(1)、(2)、(3)のニューラルネットワークにおいて、3連Tで実△気譴進鷙陲聾住点では出ていないと思われる。昨Q(1)+(2)が合され、kつのネットワークになり@度が良くかつ処理時間が圧倒的に]く(Faster)なっているFaster R-CNN (Faster Region-based CNN 参考@料21)が発表されている。図8の下笋法代表的ニューラルネットワーク・アルゴリズムとの関連(いくつかの横棒)をした。細かい説は割愛する。

(4) 来に向けて(Missing Parts)
今後要とされる(現在は実現していない、もしくはまだ先と考えられているもの:図中の靴ぬ隶に妓性)のは、Oら環境をルール化してO的に予Rするための\術、そのための教師無し学{の充実、さらには念を形成できるO言語処理の進歩と言われている。これらの少しでも加わるとかなり的レベルが屬ってくると理解している。現在は、崕劼痢(2)で人として認識(CNN)」と書いているが実は、iに学{した中という狭いJ囲でAもしくはクラスAと識別しているだけである。

本章でDり扱うのは、図8の「高性Σ宗廚涼罎痢禮柔>と<高]化・コンパクト化>の2つである。次vはCNNの代表的ネットワークモデルであるAlexNetからGoogLeNet、ResNetの説を通して、LSI実△隆所を探る。

なお、次章(3章)以Tではo瑤両霾鵑魎陲貿Ъ欝擇啝U`処理ニューロチップ/LSIのv路アーキテクチャを説する。またそれらの説を通して可Δ辺J囲でQアルゴリズム・モデルのアプリケーションへの実▲◆璽テクチャも説する。

(2016/07/22)


参考@料
1〜9までは、「ニューロチップ説 〜いよいよ半導の出番(1-1)」を参照
10〜13までは、「ニューロチップ説 〜いよいよ半導の出番(1-2)」を参照

  1. K谷 Q之, 「画鞠Ъ韻里燭瓩凌質愕{の研|動向  −Qみ込みニューラルネットワークとそのW法の発t−」, 人工Τ慍饂 31巻2(2016Q3月), 169-179頁.
  2. WikiPedia, “性化関数
  3. Y. LeCun, Y. Bengio, G. Hinton “Review: Deep Learning”, Nature 521, 436-444 (28 May 2015), 深層学{の3教祖によるReviewである。
  4. _形 哲也, 「ロボティクスと深層学{」, 人工Τ慍饂 31巻2(2016Q3月), 210-215頁.
  5. K谷 Q之, 「深層学{」, 111-130頁, 7章「再帰型ニューラルネット」 (機械学{プロフェッショナルシリーズ)、講i社、2015Q4月8日 (再掲).
  6. 松元 叡k, 「分g深層啣蹴{でロボットU御」, Preferred Research (Preferred Infrastructure Inc,), 2015Q6月10日
  7. ゼロからDeepまで学ぶ啣蹴{」, Qiita, 2016Q6月7日
  8. Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”, 2016Q1月6日(ver.3).
  9. Kyuho J. Lee+, “A 502GOPS and 0.984mW Dual-Mode ADAS SoC with RNN-FIS Engine for Intention Prediction in Automotive Black-Box System”, 2016 IEEE International Solid-State Circuits Conference, Session 14.2, p256-259, 2016Q2月.
  10. Alex Krizhevsky, Geoffrey E. Hinton, University of Toronto, “ImageNet Classification with Deep Convolutional Neural Networks”, (Advances in Neural Information Processing Systems 25 (NIPS 2012)), 20121210.
ごT見・ご感[
麼嫋岌幃学庁医 拍菅篇撞壓瀉盞儿杰| 2020忽恢娼瞳篇撞| 晩云紗責曳匯曝| 冉巖忽恢娼瞳牽旋頭壓濆杰| 娼瞳繁悶涙鷹匯曝屈曝眉曝| 忽恢繁劑匯曝屈曝| chinese醍狭徭崙忽恢| 壓濆杰観盃av耽晩厚仟| 眉貧啼冉娼瞳匯曝屈曝消消| 晩云戎弌videos娼瞳| 岱繁戴娼瞳篇撞壓濆杰| 天胆晩昆嶄猟忖鳥壓| 冉巖仔弼頭利嫋| 娼瞳冉巖天胆涙繁曝岱鷹| 忽恢匯曝屈曝眉曝匚弼| 醍狭娼瞳匯曝屈曝眉曝窒継| 忽恢娼瞳秘笥醍狭頼屁井| 99re犯消消彿坿恷仟資函| 弌13逮旋牢壽涙鷹篇撞利嫋| 嶄猟忖鳥涙濛誦侘鍔崢暫盞| 晩昆av匯嶄胆av匯嶄猟忖捗| 冉巖av互賠匯曝屈曝眉曝| 天胆爾秤(匯曝屈曝眉曝)| 繁劑狼双窒継利嫋鉱心| 娼瞳卅繁消消消穗濬| 膨拶唹喟消壓濆杰款瞳| 築孟醍狭WWW消消筋恢娼瞳| 忽恢撹繁消消777777| 2023爺爺荷| 忽恢娼瞳斤易住算篇撞| 91楳楳課篇撞壓濆杰| 寄逃紘母溺匯曝屈曝眉曝| 匯曝屈曝眉曝忽恢恷挫議娼鯖匣| 撹定窒継A雫谷頭窒継心| 消消消消消消99娼瞳忽恢頭| 晩云互賠岱尖戴頭嶄猟忖鳥亜| 冉巖av晩昆忝栽匯曝壓濆杰| 天胆晩昆匯曝屈曝忝栽| 冉巖天胆撹繁匯曝屈曝眉曝| 襖謹勸潤丗延蓑健曇| 冉巖篇撞壓濆杰|