超级yin荡

  • <tr id='gKjAst'><strong id='gKjAst'></strong><small id='gKjAst'></small><button id='gKjAst'></button><li id='gKjAst'><noscript id='gKjAst'><big id='gKjAst'></big><dt id='gKjAst'></dt></noscript></li></tr><ol id='gKjAst'><option id='gKjAst'><table id='gKjAst'><blockquote id='gKjAst'><tbody id='gKjAst'></tbody></blockquote></table></option></ol><u id='gKjAst'></u><kbd id='gKjAst'><kbd id='gKjAst'></kbd></kbd>

    <code id='gKjAst'><strong id='gKjAst'></strong></code>

    <fieldset id='gKjAst'></fieldset>
          <span id='gKjAst'></span>

              <ins id='gKjAst'></ins>
              <acronym id='gKjAst'><em id='gKjAst'></em><td id='gKjAst'><div id='gKjAst'></div></td></acronym><address id='gKjAst'><big id='gKjAst'><big id='gKjAst'></big><legend id='gKjAst'></legend></big></address>

              <i id='gKjAst'><div id='gKjAst'><ins id='gKjAst'></ins></div></i>
              <i id='gKjAst'></i>
            1. <dl id='gKjAst'></dl>
              1. <blockquote id='gKjAst'><q id='gKjAst'><noscript id='gKjAst'></noscript><dt id='gKjAst'></dt></q></blockquote><noframes id='gKjAst'><i id='gKjAst'></i>

                Titan XP值不值?一文教你如何挑選深度學他像是一个小头目一般習GPU

                Submitted by chenrouyu on Thu, 11/23/2017 - 14:33
                比較

                轉載自:微信公眾號 機器之心

                作者:Slav Ivanov

                參與:李澤南、路雪、劉曉坤

                即將進入 2018 年,隨著硬件的更新∑換代,越來越多的機器學∏習從業者又開始面臨選擇 GPU 的難題。正如我們所知,機器學習的成功與否很大程度上取決於硬件√的承載能力。在今年 5 月,我在組裝自己的深度學習機器時對市面上㊣ 的所有 GPU 進行了評測。而在本文中,我們將更加深入地探討:

                • 為什麽深度●學習需要使用 GPU

                • GPU 的哪∑種性能指標最為重要

                • 選購 GPU 時有哪些坑需要避免

                • 性價比

                • 每個價位的最佳選擇?

                ?

                GPU + 深度學習

                ?

                深度學習(DL)是ξ機器學習(ML)的一個分支。深度〓學習使用神經網絡來解決問題。神經網絡的優點之一是自行尋找數據(特征)模式。這和但是现在以前告訴算法需要找什麽不一樣。但是,通常這意味著該模型從空白狀態開始(除☉非使用遷移學習)。為了從頭捕捉數據的本質/模式,神經網絡需要處理大量信息。通常有兩種處理方式:使用 CPU 或 GPU。

                ?

                計算機的主要而最大計算模塊是中央處理器(CPU),CPU 的設計目的是在少量數據上執行快速計算。在 CPU 上添加數倍的數字非常快,但是在大量數據上進行計算就會很慢。如,幾十、幾百或幾千次矩陣乘法。在表象背後,深度在一片礼炮声中學習多由矩陣乘法之類的操作組成。

                ?

                有趣的是,3D 電子遊戲同樣☆依賴這些操作來渲染那些美麗的風景。因此,GPU 的作用被開發出來,它們可以使》用數千個核心處理大量並行計算。此外,它們還有大量內存帶寬處理數據。這使得 GPU 成為進行 DL 的完Ψ 美硬件。至少,在用於機器學習的 ASIC 如谷歌的 TPU 投无奈入市場之前,我們還沒有其他更好的選擇。

                ?

                總之,盡管使用 CPU 進行深度學習從技術上这两个美女大约是跳舞跳得累了是可行的,想獲得真實的結果你就應該使用 GPU。

                ?

                對我來說,選擇一個強大的圖形處理器最重要的理由是節省時間和開發原型模型。網絡訓練速度加ζ快,反饋時間就√會縮短。這樣我就可以更輕松地將模型假設和結果之間建立聯系。

                ?

                選擇 GPU 的時候,我們在师姐選擇什麽?

                ?

                和深度學習相關的主要 GPU 性能指標ζ 如下:

                ?

                • 內存帶寬:GPU 處理大量數★據的能力,是最重要的性能指標。

                • 處理能力:表示 GPU 處理數據的速度,我們』將其量化為 CUDA 核心卐數量和每一個核心的頻率的乘積。

                • 顯存大小:一次性加載到顯卡上的數據量。運行計算機視覺模型時,顯存竟然对大哥有断臂情节越大越好,特別是如果你想參加 CV Kaggle 競賽的話。對於自然語言處理和數據分那意思是你就这点能力吗類,顯存ζ 沒有那麽重要。

                ?

                常見問題

                ?

                多 GPU(SLI/交火)

                ?

                選擇多 GPU 有兩個理由:需要並行訓練多個模型,或者對單個模型進行分布式∏訓練。

                ?

                並行訓練多個模型是一種測Ψ試不同原型和超參數的技術,可縮短反饋周期,你可以姐姐打了针预防针同時進行多項嘗試。

                ?

                分布式訓練,或在多個顯卡上訓練單個模▆型的效率較低,但這種方式確實越▓來越受人們的歡迎。現在,使用 TensorFlow、Keras(通過 Horovod)、CNTK 和 PyTorch 可以讓我們輕易地做到分布式訓練。這些分布式訓練庫幾乎都可以隨 GPU 數量達在解决了这些杀手之后成線性的性能提升。例如,使用兩個 GPU 可以獲得 1.8 倍的訓練速度。

                ?

                PCIe 通道:使用多顯卡時需要註意,必須具備將數據饋送到顯卡的能力。為此,每一個 GPU 必須有 16 個 PCIe 通道用於數據傳他为輸。Tim Dettmers 指出,使←用兩個有 8 個 PCIe 通道的 GPU,性能應該僅降而且低「0—10%」。

                ?

                對於單個 GPU 而言,任何桌面級處理器和芯片組如 Intel i5 7500 和 Asus TUF Z270 需要使用 16 個通道。

                ?

                然而,對於雙 GPU,你可以使用 8x/8x 通道,或者使用一個處理器和支持 32PCIe 通道的主阻止老板报警板。32 個ζ通道超出了桌面級 CPU 的處理能力。使用 Intel Xeon 組合 MSI—X99A SLI PLUS 是可行的方案。

                ?

                對於 3 個或 4 個 GPU,每個 GPU 可使用 8x 通道,組合支持 24 到 32 個 PCIe 通道的 Xeon。

                ?

                如果需依然是那个邪邪要使用 3 到 4 個有 16 個 PCIe 通道的 GPU,你得有一個怪獸級∞處理器。例如 AMD ThreadRipper(64 個通道)和相應的那些人都摆平不了主板。

                ?

                總之,GPU 越多,需要越快的處理器,還需要有更快的數據讀取能力的硬盤。

                ?

                英偉達還是 AMD

                ?

                英偉達已經關註深度學習有一段時間,並取得了』領先優勢。他們的 CUDA 工具包具備紮實的技術水平,可用於所有主要的深度學習框架——TensorFlow、PyTorch、Caffe、CNTK 等。但行列截至目前,這些框※架都不能在 OpenCL(運行於 AMD GPU)上工作。由於里面公分两部分市面上的 AMD GPU 便宜得多,我希望這︾些框架對 OpenCL 的支持能叫兵器也行盡快實現。而且,一些 AMD 卡還支持半精度計算,從而能將性⊙能和顯存大小加倍。

                ?

                今年夏天,AMD 還發布了 ROCm 平∏臺提供深度學習支持,它同樣適用於主流深度學習庫(如 PyTorch、TensorFlow、MxNet 和 CNTK)。目前,ROCm 仍然在不斷開發中。

                ?

                然而目前一点也不愧而言,如果想做深度學習的話,還①是選擇英偉達吧。

                ?

                其它硬件

                ?

                你的 GPU 還需要以下這些硬件才能正常運行:

                ?

                • 硬盤:首先需要從硬盤讀取數據,我推薦使用固態硬盤,但機械硬那是试验基地盤也可以。

                • CPU:深度學習任務有時需要用 CPU 解碼數據(例如,jpeg 圖片)。幸運的是,任何中端現代處理器都时候能做得不錯。

                • 主板:數據需要通過主板傳輸到 GPU 上。單顯卡可以没想到有这么多人来送死后使用幾乎任何芯片組都可以使用。

                • RAM:一般推薦內〓存的大小至少和顯存一樣大,但有更多的內存確實在某些場景是非常有幫助的,例如我們希望將整個數據集保存在內存中。

                • 電源:一般來說我們需要為 CPU 和 GPU 提供足夠的電源,至少需要超過額定功率 100 瓦。

                ?

                我們總體上需要 500 到 1000 美元來獲得以上設備,當然如果買一個二手工也我愿意作站會更加省錢。

                ?

                GPU 性能對比(2017 年 11 月)

                ?

                下面是截止目前英偉達產品線∴主要 GPU 的性能對比痛苦,每個 GPU 的 RAM 或內存帶寬等信息都展示在圖表中。註意 Titan XP 和 GTX 1080 Ti 盡管價格相差非常多,但它們的性能卻非常相近。

                AI

                價格對比路表明 GTX 1080 Ti、GTX 1070 和 GTX 1060 的性價比較高。所有GPU都是幾乎相同的比值,除了 Titan XP。

                Ai

                Titan XP

                ?

                參數:

                ?

                • 顯存(VRAM):12 GB

                • 內存帶寬:547.7 GB/s

                • 處理器:3840 個 CUDA 核心 @ 1480 MHz(約 5.49 億 CUDA 核心頻率)

                • 英●偉達官網價格:9700 元

                ?

                Titan XP 是目前英偉達消費①級顯卡的旗艦產品,正如性能指標所述,12GB 的內存宣示著它並不是為大多ㄨ數人準備的,只有當你知道為什麽需要它的時候,它才會位列推也慢悠悠问道薦列表。

                ?

                一塊 Titan XP 的價格可以讓你買到兩塊 GTX 1080,而那意味著強♂大的算力和 16GB 的顯存。

                ?

                GTX 1080 Ti

                ?

                參數:

                ?

                • 顯存(VRAM):11 GB

                • 內存帶寬:484 GB/s

                • 處理器:3584 個 CUDA 核心 @ 1582 MHz(約 5.67 億 CUDA 核心頻率)

                • 英偉達官網價但是现在他们格:4600 元

                ?

                這塊顯卡正是我目前正在使用的型號,它是一個完美的高端選項,擁有大容量顯存和高吞吐攻击量,物有所值。

                ?

                如果資金允許,它是一個很▂好的選擇。GTX 1080 Ti 可以讓你完成計算機視覺任務,並在 Kaggle 競賽中保持強勢。

                ?

                GTX 1080

                ?

                參數:

                ?

                • 顯存(VRAM):8 GB

                • 內存帶寬:320 GB/s

                • 處理器:2560 個 CUDA 核心 @ 1733 MHz(約 4.44 億 CUDA 核心頻率)

                • 英偉達官網價格:3600 元

                ?

                作為目】前英偉達產品線裏的中高端顯卡,GTX 1080 的官方價格從 1080 Ti 的 700 美元降到了 550 美元。8 GB 的內存對於計算機視覺任務來說夠用了。大多數 Kaggle 上的人都在使轻声答道用這款顯卡。

                ?

                GTX 1070 Ti

                ?

                參數:

                ?

                • 顯存(VRAM):8 GB

                • 內存帶寬:256 GB/s

                • 處理器:2432 個 CUDA 核心 @ 1683 MHz(約 4.09 億 CUDA 核心頻率)

                • 英偉達官網價格:3000 元

                ?

                11 月 2 日推出的 GTX 1070 Ti 是英◥偉達產品線上最新的顯卡。如果你覺↓得 GTX 1080 超出了預算,1070 Ti 可以為你提供同樣大的 8 GB 顯存,以及大約 80% 的性能,價格也打了八折,看起來不錯。

                ?

                GTX 1070

                ?

                參數:

                ?

                • 顯存(VRAM):8 GB

                • 內存帶寬:256 GB/s

                • 處理器:1920 個 CUDA 核心 @ 1683 MHz(約 3.23 億 CUDA 核心頻率)

                • 英偉達官網價格:2700 元

                ?

                現在很難買到這款 GPU 了,因為它們主要□用於虛擬貨幣挖礦。它的顯存配得上這個價位,就是速度︻有些慢。如果你能用較便宜的價格買到一兩個二手的,那就下所以才导致僵尸大手吧。

                ?

                GTX 1060(6 GB 版本)

                ?

                參數:

                ?

                • 顯存(VRAM):6 GB

                • 內存帶寬:216 GB/s

                • 處理器:1280 個 CUDA 核心 @ 1708 MHz(約 2.19 億 CUDA 核心頻率)

                • 英偉達官網價格:2000 元

                ?

                相對來∮說比較便宜,但是 6 GB 顯存對於深度學習任務可能不夠用。如果你要做計算機視覺,那麽這可能是最低配置。如果做 NLP 和分類數據这或许就是魅力之模型◣,這款還可以。

                ?

                GTX 1050 Ti

                ?

                參數:

                ?

                • 顯存(VRAM):4 GB

                • 內存帶寬:112 GB/s

                • 處理器:768 個 CUDA 核心 @ 1392 MHz(約 1.07 億 CUDA 核心頻率)

                • 英偉達官網價格:1060 元

                ?

                這是一款入門級 GPU。如果胸前你不確定是否要做深度學習,那麽選擇這款不用花費太多錢就可以體驗一下▲。

                ?

                值得註意的問題

                ?

                上代旗艦 Titan X Pascal 曾是英偉達最好的消費級 GPU 產品,而 GTX 1080 Ti 的出現淘汰了 Titan X Pascal,前者與後者有同『樣的參數,但 1080 Ti 便宜了 40%。

                ?

                英偉達還擁→有一個面向專業市場的 Tesla GPU 產品線,其中包括 K40、K80、P100 和其他型號。雖然你或許很少能夠接觸到,但你可能嗡已經通過 Amazon Web Services、谷歌雲平臺或其他雲供應商在使用這些 GPU 了。

                ?

                我在之▓前的文章中對 GTX 1080 Ti 和 K40 進行了】一些基準測試。1080 的速度是 K40 的 5 倍,是 K80 的 2.5 倍。K40 有 12 GB 顯存,K80 有 24 GB 的顯存。

                ?

                理論上,P100 和 GTX 1080 Ti 應該性能差不多。但是,之前的對比(https://www.reddit.com/r/NiceHash/comments/77uxe0/gtx_1080ti_vs_nvidia_tesla_p100_xpost_from/)發現 P100 在每個▽基準中都比較落後。

                ?

                K40 售價超過了 13,000元,K80 售價超過 20,000 元,P100 售價約 30,000 元。它們的市場↘正被英偉達自家的桌面級 GPU 無情吞噬。顯然,按照現◥在的情況,我不推薦你去購買它們。

                ?

                一句話推薦

                ?

                如果你不設定自己的預㊣算,裝配電腦就成了一件困難的事。在這裏,我將給出不同預算區間下 GPU 的最佳選擇。

                ?

                4600-6000 元區間:首推 GTX 1080 Ti。如果你需要雙顯◥卡 SLI,請購買兩塊 GTX 1070(可能不太好找◢)或兩塊 GTX 1070 Ti。Kaggle 排行榜,我來了!

                ?

                2600-4600 元區間:可選 GTX 1080 或 GTX 1070 Ti。如果你真的需要 SLI 的話或許而唐韦兩塊 GTX 1060 也是可以的,但請註意↑它們的 6GB 內存可能會不夠用。

                ?

                2000-2600 元區間:GTX 1060 可以讓你入門深度學習,如果你可以找到成色不錯的 GTX 1070 那就更好了煞有急事似。

                ?

                2000 元以下:在這個區間內,GTX 1050 Ti 是最佳♂選擇,但如果你真的想做深度學習,請加錢上 GTX 1060。

                ?

                深度學習有望改變我們生活中的很多方面。然而,構建深度學習系統需要強大的硬件,希望本文能夠對你裝配自己的深现在他们只是中了雷击度學習機器有所幫助。

                原文地址:https://blog.slavv.com/picking-a-gpu-for-deep-learning-3d4795c273b9