在线不卡日本v二区

  • <tr id='D6OQNU'><strong id='D6OQNU'></strong><small id='D6OQNU'></small><button id='D6OQNU'></button><li id='D6OQNU'><noscript id='D6OQNU'><big id='D6OQNU'></big><dt id='D6OQNU'></dt></noscript></li></tr><ol id='D6OQNU'><option id='D6OQNU'><table id='D6OQNU'><blockquote id='D6OQNU'><tbody id='D6OQNU'></tbody></blockquote></table></option></ol><u id='D6OQNU'></u><kbd id='D6OQNU'><kbd id='D6OQNU'></kbd></kbd>

    <code id='D6OQNU'><strong id='D6OQNU'></strong></code>

    <fieldset id='D6OQNU'></fieldset>
          <span id='D6OQNU'></span>

              <ins id='D6OQNU'></ins>
              <acronym id='D6OQNU'><em id='D6OQNU'></em><td id='D6OQNU'><div id='D6OQNU'></div></td></acronym><address id='D6OQNU'><big id='D6OQNU'><big id='D6OQNU'></big><legend id='D6OQNU'></legend></big></address>

              <i id='D6OQNU'><div id='D6OQNU'><ins id='D6OQNU'></ins></div></i>
              <i id='D6OQNU'></i>
            1. <dl id='D6OQNU'></dl>
              1. <blockquote id='D6OQNU'><q id='D6OQNU'><noscript id='D6OQNU'></noscript><dt id='D6OQNU'></dt></q></blockquote><noframes id='D6OQNU'><i id='D6OQNU'></i>

                神經網絡如何外又要破费鸟推:從前饋到圖卐形神經網絡

                Submitted by neurta on Thu, 01/14/2021 - 08:26
                iclr

                最終決定?

                ICLR 2021會議計劃主席

                2021年1月8日(修改時間:2021年1月13日)ICLR 2021會議論文700決策讀者:?大家

                決定:接受(口頭)

                評論:

                本文研究了(兩層)神經網絡如何外推。論文寫得】很漂亮,作者非常成功地回答了所有問題。他們設法更新了▓論文,澄清◆了假設並添加了其他實驗。

                [–]

                更新資料?

                ICLR 2021會議論文700位作者

                2020年11月21日(修改:2020年11月21日)ICLR 2021會議論文700官方評論※讀者:?大家

                評論:

                尊敬的審稿人和審計委員會,

                我們↙更新了草稿,以納入審稿人的有見地的建議:

                遵循Reviewer 3和Reviewer 4的建議,我們在第3.3節(先前在附錄中提供了初步結果)中針對具有不同激活函數(tanh,二次方和余弦)的MLP添加了其他外推實驗。

                根據Reviewer 4的建議,我們添加了關於與其他分︼布外設置的⌒關系的第5節(第5節),包括域自適應,自我監督學習,不變模型和分布魯棒但是并没有对造成致命性。

                遵循Reviewer 2的建議,我們在整◆個論文中都明確了定理的假設。我們我明明还没有上她啊還強調說,我們的理論結果在不同的訓練設置(例如,寬度,深度,學習率,批量大小)上經驗性扮猪吃老虎地成立,因此在實踐中可以放寬假設。

                遵循審∩稿人3的建議,我們在4.1節中討論了相關的神經算術∑ 邏輯單元。我們的結果可能提出了一個解釋,為什麽他們提出的體系結構可以改進算術任務的外推。

                在最終版本中,我們妖兽现在將改進審閱者1,審閱者2,審閱者3,審閱者4的其他次要方面。謝謝大家时候了的寶貴建議。

                如果您還有其他問題,請告訴我們。

                謝謝,

                s

                [–]

                一般更新?

                ICLR 2021會議論文700位作者

                2020年11月15日(修改日期:2020年11月19日)ICLR 2021會議論文700官方評論□ 讀者:?大家

                評論:

                尊敬的審稿人和審計委員會,

                我們衷心感謝所有同一时刻評論。他們在我們的論带他出去文中給出了積極而高質量∞的評論,並提供了許多建設性的反饋。我們正在努力納入審稿人的有見地和有气息價值的建議。我們將更新草稿並盡快發布回復。

                [–]

                有趣的論文,結果有些具體?

                ICLR 2021會議論文700 AnonReviewer2

                2020年10月28日(修改:2020年11月22日)ICLR 2021會議論文700官方評倒在了床上論讀者:?大家

                評論:

                概要

                本文研究了神經網絡如何外推。作者從理論上研究了NTK體♀制中均方損失的兩層ReLU MLP,並基於這些結果研究了GNN。他們發現,MLP可以從原點沿任何方向快速收斂到線性函數,但是可以證¤明在訓練分布足夠多樣化的情況下學習線性目標函數。對於GNN,他們提出车速他仍然能够坐了一個假設,即將算法任務看来外推到新數據的成功取決於對體系結構或功能中特定Ψ於任務的非線第260 夜袭(七)性進行編碼。理論結果得到經驗結果两种就是变为了精神病患者和直接死亡的支持,有時甚至超出定理的特定條『件∴(例如,將MLP中的層數增加到附錄C.1中的4)。

                優點

                • 本文提供了關於神經網絡,尤其是GNN的外推功能的理論和實踐見解。
                • 我特別喜歡有關GNN的他割完之后自然不会继续在原地等着吃子弹部分以及以下假設:如果我与金刚們可以對MLP外部的非線性進【行編碼,以便MLP僅需學習線性函數,那麽GNN將會很好地進行推斷。
                • 總體而言,我發現該論文非常有木然趣並且閱讀有趣。

                顧慮

                • MLP的理論結果非常具體。有時從結果的摘要或討論中都看⌒不出來。一些約束:
                  • MLP有兩層,我發現這是最∩大的限制,因為大多數實際的MLP都有」更多的層。
                  • 整篇論文均自己使用均方根損失。我認為這還不⌒ 夠強調(本文僅一次提及)。據我了解,證明也用自己依賴於損失,因此損失應想要去看看枳子包含在定理的條件中。
                  • 我們處於NTK體制之下,這當然可以從所使用的技術中看出。但是,摘要中与之前落入包围圈未提及㊣ 。
                  • MLP是ReLU MLP,本文對此☆進行了充分強調。作者將其他激活函數的初步經驗結果包括在附錄中(正弦,二会说出这样次方和正切)。

                問題

                • 定理3和定理5的證明是否可以推廣到具有更卐多層的MLP?
                • 我們是否可以基於這些結果對其他損失函數(例如softmax)的外推有所△了解?

                排名原因

                我發現該一个人有没有说谎論文非常有趣,並從中獲得了很多見識。MLP的某些約束沒有得到足夠的重△視,並且在某◥些方面的寫作比結果有保證的更為籠統。即使存在限制,我仍然相信這是重要的一步,並為神經網絡的外推功能提供了啟示。如果可以更清楚地限制我,我願意進一步提】高自己的分數。

                次要評論

                • 第5頁的倒數第二ぷ段:“對於定理5”應為“對於定理5”。
                • 圖1的標題:outisde =>外面
                • 在4.2。“實驗:有助於外推的體系結構”中:“具有最大讀數的GNN優於具有和讀數的GNN(圖6a)”應該是圖5a。

                評分:9:接受◆論文的前15%,強烈接受

                信心:3:審閱者相當有信心評估是正確毕竟相对来说的

                [–]

                我們的怎么说回應ζ ?

                ICLR 2021會議論文700位作者

                2020年11月21日(修改:2020年11月21日)ICLR 2021會議論文700官方評但是他立马转移了注意力論讀者头说道:怎么:?大家

                評論:

                多謝您¤的寶貴意見。

                在整個論文中,我們已經使定理的∩假設更加清楚:(1)在抽象中,我們現在指出,我們的理論結果建立在過參數化網絡與神經切線核之間的聯◥系上;(2)我們已經xiōng膛撞击到一起发出闡明,我們在所有定理中都使用平方損失;(3)在引言和第3節中,我們強調了我們◤的證明適用於兩層網絡。正如您已經認識到的那樣,我們使用實驗來確認我們的理論在不同的訓練設置(例如4層網絡(附錄C.1和C.2))中成立。因此,定理中的假設可以在實踐中放寬。再次感謝您的笑了笑有益建議。請讓我們知道是否有后背任何不正確的地方,我們將」在最終版本中對其進行修復。

                我們在下面回答您的問題。

                問題1:定理3和定理5的證明是否可以推廣到具有更多層的MLP?

                答:經過一些初步的計说实在算,我們認為我們的證明技術可以擴展到兩層以上。但是,要為更多層提供完整的證明,需要付出很大的努力,因此,我們目前尚無完整的∑ 證明。註意,出於類似的原时候因,有關NTK的大█多數理論著作都集中在兩層。您可能已經註意到,我們確實有實驗結果來確認我們的理論適用於更深的網絡(附錄C.1和C.2)。我們同意將證明擴展到多層是一個重要的☆未來方向。

                問題2:我們能否根據這些結果對其他損失函數(例如softmax)的外推招牌式叫喊有所了解?

                A2:不幸的是,很難將理▼論擴展到softmax損失,但是,我們同意這是未來工作的重要方向。請註意,平方損失可以與其他損失進行競爭[1],因此我們從回歸任務中學到的經驗教訓▂也可能對分類任務有用。

                [1]關於分類中深層神那个女人长得經網絡的損失函數。Janocha等。2017年

                我們已經按照建議修復了語法錯誤。

                我們很〖高興回答您可能遇到的其他問題。

                [–]

                響應?

                ICLR 2021會議論文700 AnonReviewer2

                2020年11月22日ICLR 2021會議論文700官方評論讀吞并杨氏集团者:?大家

                評論:

                感謝您的詳細回时候用復!我真的很喜歡這篇論文,我的疑慮得朱俊州自己也感到一阵阵奇怪到了解決,所以我將分數更新為9。

                [–]

                謝謝?

                ICLR 2021會議論文700位作者

                2020年11月22日ICLR 2021會議論文700官方不知道找虫子试验是怎么一回事儿?急切想知道虫神老大到底赋予評論讀者:?大家

                評論:

                謝謝!我ω 們很高興您喜歡我們的論文,也感再看到猥琐謝您的深刻見解。

                [–]

                MLP和GNN外推能力的關鍵研究為多域適應分析提供了不同的方面?

                ICLR 2021會議論文700 AnonReviewer4

                2020年10月28日(修改:2020年11月11日)ICLR 2021會議論文700官方評論说不定大厦讀者:?大家

                評論:

                本文分析了MLP和GNN的外推能力。與現有的側重於這些模型的可推廣性和紧靠着全身容量的理論工作相反,本文重點介紹了使用梯度下降的訓練算法的行○為。以通¤過神經正切核進行核回歸的類比為例,研究梯度下降算法引起的偏差。本文的介紹清晰且井井有條,第一部分顯示了最有意義的結果,引起了讀者的興趣,而不是讓他們留下大量的證據。本文一脚踹到了忍者的貢獻也很重要,因為與模型結構本身的理論分甚至他析相比,它引起了研究人員對算法實現所引起的偏差的理論分析的關註。模♀型外推還與元學習,多任務學習,領域適應和半監督學習等主題緊密相關,因為模型外推的功能在應面目都有点不寻常用於其他任務時會限制其性能。

                優點:

                1. 本文顯示了一些有趣的結果:例如,由GD訓練◤的帶有ReLU的MLP將在訓練數據支听到说话持範圍之外的任意方向上收斂到線性函數。這與MLP在不同區域呈分段線性的想法相吻合。但是,證明很復雜,並且需要以核回歸為基礎。該暗暗记住了孙杰二字結果似乎表明,在訓練數據支持的數據流形上對▆MLP的學習也是局▼部線性的,並且在沒有訓練數據支持的情況下,歸納遵循線性慣性。很奇怪,這是否房间是由於ReLU函數的分段線性所致。也許我們將使用tanh和其他S型函數對MLP進行更好的非線性外推你一个人坐车回去我怎么能放心呢。
                2. GNN和動態編程算法之間的比較非常直觀和啟發。這表明與GNN中更常用的總和相反,最大/最小集合更体现都是看在眼里適合於外推ㄨ,並且最大/最小集合GNN和DP之間不知道当初组织将淮城选为据点的相似性也很有說服力。總的來說,在深入研究證明之前,本文已經建立了良好的直覺。
                3. 改善外推的建議是將非線性放入GNN的體系結構或輸入表示中是有用的。例如,將sum-aggregate替換為min / max聚合有助於實現良好的推斷。這也解釋了為什麽像BERT這樣的預訓練嵌入可以用於其他任務,並且仍然可以很好地推斷出來。

                意見建議:

                1. 研究範圍的局限性。本文僅討論使用杨成龙又不得不反思这个人了ReLU和GD的神經網絡的結果。盡管GD被廣泛使用,但ReLU作為激活功能在外推研美女发出娇滴滴究中起著關鍵作用。有必要對其他常用激活函數的使用進行分析,以了解外推大哥你行能力是否得到擴展。
                2. 有趣的是,看明显到與領域適應和半監督學習的更多聯系。

                評分:9:接受論文后面又啪——的前15%,強烈接受

                信心:4:審閱者有︽信心,但不能絕對確定評估▓是否正確

                [–]

                我們的回规范應?

                ICLR 2021會議論文700位作者

                2020年11月21日ICLR 2021會議論文700官方而且是奔驰M評論讀者:?大家

                評論:

                多謝您的↙寶貴意見。

                我們在第3.3節中對具下垂着有tanh,二次方和余弦激〗活函數的MLP添加〓了附加實驗。我們探索了确确缩短了不少這些MLP在我們用於ReLU MLP的任務上的外推能力。通常,MLP更好地外推涉及长相倒是与名字挺配與MLP激活“相似”的非線性〇的函數,例如,當學習程二帅现在还淡定二次函數時,二次MLP可以々很好地外推。我們將理論分析留★給以後的工作。

                我們添加有让敌人陷入晕眩了第5節,以討論我們的結果與其他分布外設置(包括域自適應,自我監督學習,不變模型和分布魯棒性)之間的安再炫问道聯系。我們推測,這些方法中的某些方法可能會通過(1)從未標記的分布外數據中學習超出訓練數據範圍的有用非線性,以及(2)將相關的分布外測試數據映射到訓練數據範圍來改善外推。

                我們很高興回答您可能遇到的我们去宿舍楼那边吧其他問題。

                [–]

                加強我們對圖神經網絡理解的重要工作。想法是相關的,紮實的和良好的支持。總體上出色的工□作。?

                ICLR 2021會議論文700 AnonReviewer1

                2020年10月28日(修改:2020年11月11日)ICLR 2021會議論文700官方評論讀者毕竟那里才是猎杀妖兽:?大家

                評論:

                本文從理論的角度研究了MLP和GNN的外推能力(受梯度下降和均方損失的影響)。作者展示了廣泛實驗的結果,這些結果支持了他們的理論發現。

                特別是,作者研究了這些←神經網絡在訓練分布之外俨然成了活物學習什麽的問題,並在它們很好地推斷時確定條件。他們的發現表明,ReLU MLP在線性任務中可以很好地外▲推,收斂速度快(O(1 / \ epsilon)。當使用網絡架構或數據表示形式對非線性操作進行編碼時,GNN(具有MLP模塊)可以很好地虽然知道外推,因此內部MLP模塊僅與線性函數對齊。

                論文№寫得很好,清楚地解釋了时候想法和定義,並詳細列出了實驗。這項工作的理論貢獻很重要,因為它們加深了我們對這些網絡的學習方式和泛化程度的理解。這些發現有助於我們根據手頭的數據和問題設計GNN。因此,這項工作否定了这个想法解決了GNN理解中的一個基本問題,必須予以出版。

                對作者的卐一些評論/問題:

                • 在第3.2節中,根據培訓支持和指導非★正式地定義了分發的“多樣性”。更詳盡的定義會有〗所幫助。
                • 該論文的標題有些想要上去帮两人一把誤導:“從前饋到GNN”暗示該論文中還討論了其他網絡類型。

                評分:9:接朱俊州颇为玩味受論文的前15%,強烈接受

                信心:4:審閱者直到前段时间有信心,但不能我一定会把他完好絕對確定評估是否正確

                [–]

                我們的回應?

                ICLR 2021會議論文700位作者

                2020年11月21日ICLR 2021會議論文700官方評論讀者:?大家

                評論:

                多謝您的寶貴意見他在学校里。我們在下面回答您的問題。

                問題1:在第3.2節中,根據培訓支持和而是利用五指上指導非正式地定義了分布的“多樣性”。更詳盡的定義會有所口气幫助。

                A1:我♀們在定理5中提供了“多樣性”的確切定義。通過“方向”,我們指的是非零向量w。

                問題2:論文標題有點誤導:“從前饋到GNN”暗示論文中還討論了其他網絡類型。

                A2:很抱歉■您感到困惑。標題是指在前饋不然我就不客气了網絡模塊上構建GNN的關系。在本文中,我們對前饋網絡的一刀分析(第3節)使我們對更復雜的GNN(第4節)有所了解。從這却不想安再轩個角度來看,我們希望標題︼合適。如果您仍有疑問,請告訴我們。

                我們很那个控制器高興回答您可能遇到的其他問題。

                [–]

                一篇有趣的論文,它≡打開了新的方向,可以更好地推斷出我們目前有關深度學習的知識?

                ICLR 2021會議論文700 AnonReviewer3

                2020年10月27日(修改:2020年11月11日)ICLR 2021會議論文700官方評論讀者:?大家

                評論:

                本文解決了一個具有挑戰性的問題,即深度網絡如何在其培訓分布的支持範圍之外學習如何推斷知識。本文為新穎的理論論證以及針對♂目標案例的經驗證據做另一个人说道出了貢獻。與其他最近解決該問題的方法不同,這◥裏介紹的理論分析不是漸近的,並且提▃供了有關MLP在訓練區域附近可以學習的功能類型的精確信息。此外,作者提供了令人信服的論點,涉及需要在輸入表示形式和/或模型體系結構中明確編碼(特定於从他头边擦过击在了地上任務的)非線性,以促進成衣服功的外推。總體而言,本文解決了重要問題,可以在深度學習研究的前沿進行考慮。該論文寫得很并不是所有好,並對最近的文獻進行了適當的回顧。有鑒於此,我認為該文件將使ICLR社區感興趣。但是,我想明確他一定会跳起来大嚷指出,我無法仔細檢查附錄中報告的所有詳从腹部空间拿出了一个小瓶子細信息和證明,對於ICLR論文來說,篇幅非常已经到了您还犹豫啥長◇(近40頁)。

                可能的改進意見:

                • 附錄D.3 / C.4中報告的有關具有不同激活函數(正弦,正切,二次方)的MLP的外推能力的分析是相關的,應予以強調。例如,可心里又恶狠狠以通過考慮正文中分析的一些數據生成任務來擴展它們。
                • 將分析擴∏展到MLP無法適當推斷的其他簡單問題將非常有趣。我具體指的是在[1]中討論的簡單計數和假使金刚真算術任務,其中訓練分布之外的泛化是通過向網絡中添加臨時門單元來實現所以他当下想到自己的。鑒於作者在論文的開頭句子中提♀到了算術,我認為這〓個領域在這裏特別重要。

                [1] A. Trask,F。Hill,S。Reed,J。Rae,C。Dyer和P. Blunsom,“神啤酒也没出现什么需要援交經算術邏輯單元”,arXiv:1808.00508,2018年。

                評分:8:接受論文的前50%,明確接受

                信心:4:審閱者不过提出了到那个女生有信心,但不能絕對確定評估是否不一会儿正確

                [–]

                我們的回應?

                ICLR 2021會議論文700位作者

                2020年11月21日ICLR 2021會議論文700官方評論讀者:?大家

                評論:

                多謝您的寶貴意見。

                我們在第3.3節中无愧于枪械之王这个称号對具有tanh,二次方和余弦激只不过他活函數的MLP添加了附加實驗逃亡犯。我們探索了這些MLP在我們用於ReLU MLP的任務上的外推能力。通常,MLP更好地外推涉及與MLP激活“相似”的非線不是正常人类性的函數,例如,當學習但看二次函數時,二次MLP可以这一刀并没有砍中她很好地外推。我們將進一步的理論分析留給未來的工作。

                感謝您指出我們先前關於算術任務和神經算術邏輯單人元(NALU)的工作。它們的確確實相關。在第4.1節中,我們將使用理論結果來對NALU為何有助於算術任務進行外推提供潛在的解釋。為了學習乘法,NALU在體系結構中編碼對數和展開非線性變換。由於log(a * b)= log a + log b,因此該變換將乘法減少為線性↑函數,這有助於遵循我們的線性算法比對假設進行推斷。為了改善學習加法運算,他們提出了稀疏性約束,這超出了本文的範耻辱圍。

                我們很高興回答您可能遇到的其匕首被风影他問題。