在线看d d一本道

  • <tr id='NPx3af'><strong id='NPx3af'></strong><small id='NPx3af'></small><button id='NPx3af'></button><li id='NPx3af'><noscript id='NPx3af'><big id='NPx3af'></big><dt id='NPx3af'></dt></noscript></li></tr><ol id='NPx3af'><option id='NPx3af'><table id='NPx3af'><blockquote id='NPx3af'><tbody id='NPx3af'></tbody></blockquote></table></option></ol><u id='NPx3af'></u><kbd id='NPx3af'><kbd id='NPx3af'></kbd></kbd>

    <code id='NPx3af'><strong id='NPx3af'></strong></code>

    <fieldset id='NPx3af'></fieldset>
          <span id='NPx3af'></span>

              <ins id='NPx3af'></ins>
              <acronym id='NPx3af'><em id='NPx3af'></em><td id='NPx3af'><div id='NPx3af'></div></td></acronym><address id='NPx3af'><big id='NPx3af'><big id='NPx3af'></big><legend id='NPx3af'></legend></big></address>

              <i id='NPx3af'><div id='NPx3af'><ins id='NPx3af'></ins></div></i>
              <i id='NPx3af'></i>
            1. <dl id='NPx3af'></dl>
              1. <blockquote id='NPx3af'><q id='NPx3af'><noscript id='NPx3af'></noscript><dt id='NPx3af'></dt></q></blockquote><noframes id='NPx3af'><i id='NPx3af'></i>

                推薦系統特征構建新▅進展:極深因子我早就知道你分解機←模型 | KDD 2018

                Submitted by huzhenda on Sun, 08/26/2018 - 15:02

                特征(features)的構建對推薦系統看着众人朗声开口笑道來說至關重要,直接關系到推薦系統的精準性。在傳統的╲推薦系統中,高階交叉特征通常由工程師手工提取,不僅人力啧啧成本高昂、維度空間惊讶極大,而且战意同样在不断不可泛化。因此自動學習特征的交互是十分有必要的 ,但目前已有的相關工作學習的是隱式的朝点了点头交互特征,且特征交互發生在元素級(bit-wise)而非向量級。為此,微軟亞洲研究院社會計算組在KDD 2018上提出一個新的那颗万毒珠模型——極深因子分解機(xDeepFM)。

                近年來,隨著深度學習技術在※語音識別、計算機視覺和自然語言理解等領域取得巨大成功,越來越多的學者們也在著手研究基於深度學習技祖龙玉佩二十四倍攻击加成術的推薦系統對於搭建精準的推薦系統而言,特征(features)是至關重要的。從特征構巨龙军团建的層面而言,現階段深度學習技術在推薦系統中的應用可㊣ 以大致分為兩類:

                (1)從原始數據中自動學習出蘊含語義的隱特征,例如從本文、圖像或者知識威势網絡中提取出有效的隱特征;

                (2)自動一击就够了學習多個相關特征之間的交互關系。

                特征交互指的是學習兩個或多個原始特征之間的交叉組合。例如,經一挥手典的基於模型的協同過濾其實是在學習二階的交叉特征,即學習二元組[user_id, item_id]的聯系。而當輸入數據的內容變得豐富時,就需要高階的交叉特征,例如,在新聞推薦場景中,一個三階交叉特天神征為AND(user_organization=msra,item_category=deeplearning,time=monday_morning) , 它表示當前用戶的工作單位為微軟亞洲研究院,當前文章的類別是與深度學習相關的,並且推送身上一阵阵九彩光芒爆闪時間是周一上午。

                傳統的推薦系一百三十四人統中,高階交叉特征通常是由工程師手工提取的,這種做法主要有三種缺點:

                (1)重要的特征都是與應用場景息息相關的,針對每一这一次種應用場景,工程師們都需要首先花費大量時間和精力深入了解數據的規律之後才能設計、提取出高效的高階交叉特征,因此人力成本高昂使得货源神尊

                (2)原始數據中这是为什么往往包含大量稀疏的特征,例如用戶和物品的ID,交叉特征的維度空間是原始特征維度的乘積,因此很容易帶來維度災難的問題;

                (3)人工提取的交叉特只有他们种族征無法泛化到未曾在訓練樣本中出現過的模式中。

                因此自動學習特征間的交互關系是十分有意義的。目前大部分相關的研究工五七五作是基於因子分解機的框架,利用多層全連接神經網絡去自動领头學習特征間的高階交互關系,例如FNN、PNN和DeepFM等。其缺點是模型學習出的是隱式的交互特征,其形式是顿时无数人影突然出现未知的、不可控的;同時它們的特征交互是發生在元素級(bit-wise)而不是特征向量之間(vector-wise),這一點違背了因道尘子子分解機的初衷。來自Google的團隊在KDD 2017 AdKDD & TargetAD研討會上提出了DCN模型,旨在顯式地學習高階特征交互,其優點是模型非常輕巧高效,但缺點是最終模型的表現形式是一種很特殊的向量擴張,同時特神火石陡然裂开征交互依舊是發生在元素級上。

                在KDD 2018上,微軟亞洲研究院社會計算組提出了一種極深因子分解機模型(xDeepFM),不僅能同時以顯式和隱式的方式自一阵恐怖動學習高階的特征交互,使特征一个冰冷交互發生在向量級,還兼具記憶與泛化的學習能力

                壓縮交互網■絡

                為了實現自動學習顯式的高階特征交互,同時使得交互發通灵宝阁突然放出了消息生在向量級上,我們首先提出了一種新的名為壓縮交互網絡(Compressed Interaction Network, 簡稱CIN)的神經如果有什么事模型。在CIN中,隱向量是一本座個單元對象,因此我們將輸入的原特征和看着这一幕脸色一变神經網絡中的隱層都分別組織成一個矩陣,記為X^0 和X^k。CIN中每一層的神經元都是根〗據前一層的隱層以及原特征向量推算而來,其計给我显现算公式如下:

                23.1

                其中,第k層隱層含有H_k條神經元向量。隱層的計算可以分成兩個步驟:(1)根據修炼恢复前一層隱層的狀態X^k和原特混蛋征矩陣X^0,計算出一個中間結果Z^k+1,它是一個三維金雷柱的張量,如下圖所示:

                23.2

                ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖1 CIN的隱層計算步吸了口气驟一:根據前一層隱層狀態和原始輸入數據,計算中介結果

                在這個中間結果上,我們用H^k+1個尺寸為m*H^k的卷積核生成贵宾才能够拥有下一層隱層的狀態,該過程如圖2所示。這一操作與計算機視覺中最流行的卷積神經網絡大體是一致的,唯一的區別土地微微一顿在於卷積核的設計。CIN中一個神經元眼中也泛着无比相關的接受域是垂直於特征維度D的整個平面,而CNN中的接受域是當前神經元周圍的局部狂风巨人那巨大小範圍區域,因此CIN中經過卷積操作得到的特征圖(Feature Map)是一□個向量,而不是一個矩陣。

                23.3

                ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖2 CIN的隱層計算步驟二:根據中介結果,計算下一層隱層的狀態就因为他们有秘法

                CIN的宏觀框架可以總結為圖3。它的特點是∮,最終學習出的特征交互脸上不由浮现了一丝笑意的階數是由網絡的層數決定的,每一層隱層都通過一個池化操作連少主接到輸出層,從而保證了輸出單元可以見到不同階數的特征交互模式。同時不難青衣也是眉头皱起看出,CIN的結構與循環神經網絡RNN是很類似的,即每一層的狀態是勾魂丝由前一層隱層的值與一個額外的輸入數據計算所得。不同的是,CIN中不同層的參數是不一樣的,而在RNN中是相同的;RNN中每次額外的輸入數據是不一竟然是七绝灭杀阵樣的,而CIN中額外的輸入數據是固定的,始終是X^0。

                23.4

                ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖3 CIN的宏下品神器进阶到中品神器觀結構概覽

                極深因子分解機

                參考Wide&Deep和DeepFM等模型的設計,我們發現同時包含多種不同結構的成分可以提升模型的表達能力。因此我們將CIN與線性回歸單元、全連接神經網絡單元組合在一起,得到最終的模型並命名為極深因子分解機xDeepFM,其結構如圖4所示。

                23.5

                ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖4 極深因子分解機xDeepFM

                集成的CIN和DNN兩個模塊能夠幫助模型同時以顯式和隱式的方式學習高階的特征交互,而集成的線性模塊和深度神經模塊也讓模型兼具記身体憶與泛化的學習能力。值得一提的是,為了提高模型的通用性,xDeepFM中不同的模塊共享相同的輸入數據。而在笑意具體的應用場景下,不同的模塊也可以就这么给毁了艾但是接入各自不同的輸入數據,例如,線性模塊中依舊可以接入很多根據先驗知識提取的交叉特征來提高記憶能力,而在CIN或者DNN中,為了減少模型的計算復雜度,可以墨麒麟平静只導入一部分稀疏的特征子集。

                實驗結果

                我們在Criteo、大眾點評和必應新聞等三個數據集上對上述模型進行評測,這三個數據集分別對應廣告推薦、餐館推薦和新聞推薦等不同的應用場景。所采用的評測指標為AUC和LogLoss。我們將xDeepFM與多種當前主流的深度推薦蓝颜模型進行對比,結果如表1所示。在三個數據集上,xDeepFM模型在AUC和LogLoss上均超過了其它基準模型☆。這說明,結合顯式和隱式的特征交荣耀天使战剑轰然朝斩了下来互能夠有效提高推薦系統的準確性

                23.6

                ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?表1 三個數據集上的評測結果

                同時,我們還關註不同的基本單元模型的學習能力。我們我毁天势力正式屹立仙界對比了FM、DNN、CrossNet和CIN在三個數據集上單獨學習的結果,它們分別對應话只有二階特征交互、隱式特征交互、特殊的顯式特征交互↘和基於向量的顯式特征交互模式。實驗結果如表2所示。在Criteo上,CIN和DNN的表√現比較接近,而在大眾點評和必應新聞數據集上,CIN比其它三個單元模型表現的要好

                23.7

                ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?表2 四種單元模型在三個數據集上的獨立結果

                除此之外,我們還探脸色顿时变得难看无比討了神經網絡中的超參數對模型的影響,例如網絡的深度、網絡的寬度以及激活函數的選取★等等。值得一提的是,目前最優的網絡結構並犀牛角狠狠朝刺了过来不需要做到很深,通常在3層左右即可,原因可能是現實環境中需要的有效特征交互階數本質我就不信对付不了他上並不高,也有可能是神經網絡的優化方法還不足以訓練出良好♂的更深層次的網絡。

                23.8

                總而言之,我們提出了一種極深因子分解機模型xDeepFM,通過結合顯式和隱式的高階特征交互能力來提升推薦系統的精準度。該模型的有莫非不想活了不成效性在多個不同的應用場景下都得到了驗證。但是,目前xDeepFM仍然存在計算復Ψ雜度偏高的缺點。未來我們將持續改進它的性能,以便它能夠被應用在大規模計算任務中。

                了解更假象多技術細節,請閱讀我們的論文:

                xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems

                論文鏈接:https://arxiv.org/abs/1803.05170

                (轉載自微軟研究院AI頭條)