寻仙手游丛林之王对话:高性能算法之深度學習論文

寻仙手游押镖界面 www.xexkx.icu

研究生課程考核報告 科目:高性能算法研究前沿教師: 向濤 姓名:周月玥學號: 20161402032t 專業:計算機科學與技術類別:學術型 上課時間: 考生成績: 卷面成績 平時成績 課程綜合成績 2016.3——2016.6 閱卷評語: 閱卷教師 (簽名) 重慶大學研究生院制

深度學習算法研究與實現 深度學習原理 深度學習是機器學習拉出的分支, 它試圖使用包含復雜結構或由多重非線性變換構成的 多個處理層對數據進行高層抽象的算法。

深度學習是機器學習中表征學習方法。

觀測值(例 如一幅圖像)可以使用多種方式來表示,如每個像素強度值的矢量,或者更抽象地表示成一 系列邊、特定形狀的區域等。

而使用某些特定的表示方法更容易從實例中學習任務(例如, 人臉識別或面部表情識別[6]) 。

深度學習的好處是將用非監督式或半監督式的特征學習和分 層特征提取的高效算法來替代手工獲取特征。

表征學習的目標是尋求更好的表示方法并創建 更好的模型來從大規模未標記數據中學習這些表示方法。

表達方式類似神經科學的進步, 并 松散地創建在類似神經系統中的信息處理和通信模式的理解上, 如神經編碼, 試圖定義拉動 神經元的反應之間的關系以及大腦中的神經元的電活動之間的關系。

至今已有數種深度學習框架, 如深度神經網絡、 卷積神經網絡和深度信念網絡和遞歸神經網 絡已被應用計算機視覺、語音識別、自然語言處理、音頻識別與生物信息學等領域并獲取了 極好的效果。

另外,深度學習已成為類似術語,或者說是神經網絡的品牌重塑。

深度學習的研究發展過程和最新研究現狀 以前, 絕大多數機器學習和信號處理技術都利用淺層結構, 這些結構一般包含最多一到 兩層的非線性特征變換,這種狀況直到近幾年才得以改變。

淺層結構包括高斯混合模型 (GMM) ,線性或非線性動力系統,條件隨機?。–RF) 、最大熵模型(MaxEnt) 、支持向量 機(SVM) 、邏輯回歸(LR) 、核回歸以及多層感知器(MLP) (包括極限學習器而且只包含 一個隱層) 。

已近證明,淺層結構在解決很多簡單的或者限制較多的問題上效果明顯,但是 由于其建模和表示能力有限, 在遇到實際生活一些更復雜的涉及自然信號的問題時就會遇到 各種困難。

然而,人類信息處理機制,總是需要深度結構從豐富的感官輸入信息中提取復雜結構并 構建內部表示。

例如,由于人類語言的產出和感知系統都具有清晰的層結構,這就使得信息 可以從波形層轉換到語言層。

同理, 人類視覺系統也有分層的特點這些雖然基本都只是存在 于感知層面,但有趣的是,有時候在產出時也有分層的特點。

我們應該相信,如果能提出更 高效且更有效的深度學習算法, 那么用于處理這種自然信號的最前沿技術也將進一步得到提 高。

深度學習的概念起源于對人工神經網絡的研究。

前饋神經網絡或具有多隱層的多層感知 器是深度結構模型中很好的范例。

加拿大多倫多大學教授、機器學習領域泰斗——Geoffrey Hinton 和他的學生 RuslanSalakhutdinov 在頂尖學術刊物《科學》上發表了一篇文章,開啟了 深度學習在學術界和工業界的浪潮。

這篇文章有兩個主要的信息:1. 很多隱層的人工神經 網絡具有優異的特征學習能力, 學習得到的特征對數據有更本質的刻畫, 從而有利于可視化

或分類; 2. 深度神經網絡在訓練上的難度, 可以通過“逐層初始化” (Layer-wise Pre-training) 來有效克服,在這篇文章中,逐層初始化是通過無監督學習實現的。

自 2006 年以來,深度學習在學術界持續升溫。

斯坦福大學、紐約大學、加拿大蒙特利 爾大學等成為研究深度學習的重鎮。

2010 年,美國國防部 DARPA 計劃首次資助深度學習項 目,參與方有斯坦福大學、紐約大學和 NEC 美國研究院。

支持深度學習的一個重要依據, 就是腦神經系統的確具有豐富的層次結構。

一個最著名的例子就是 Hubel-Wiesel 模型,由于 揭示了視覺神經的機理而曾獲得諾貝爾醫學與生理學獎。

除了仿生學的角度, 目前深度學習 的理論研究還基本處于起步階段,但在應用領域已顯現出巨大能量。

2011 年以來,微軟研 究院和 Google 的語音識別研究人員先后采用 DNN 技術降低語音識別錯誤率 20%~30%,是 語音識別領域十多年來最大的突破性進展。

2012 年,DNN 技術在圖像識別領域取得驚人的 效果,在 ImageNet 評測錯誤率從 26%降低到 15%。

在這一年,DNN 還被應用于制藥 公司的 DrugeActivity 預測問題,并獲得世界最好成績,這一重要成果被《紐約時報》報道。

正如文章開頭所描述的,今天 Google、微軟、百度等知名的擁有大數據的高科技公司 爭相投入資源,占領深度學習的技術制高點,正是因為它們都看到了在大數據時代,更加復 雜且更加強大的深度模型能深刻揭示海量數據里所承載的復雜而豐富的信息, 并對未來或未 知做更精準的預測 深度學習的應用情況 語音識別 語音識別系統長期以來, 在描述每個建模單元的統計概率模型時, 大多采用的是混合高 斯模型(GMM) 。

這種模型由于估計簡單,適合海量數據訓練,同時有成熟的區分度訓練技 術支持,長期以來,一直在語音識別應用中占有壟斷性地位。

但這種混合高斯模型本質上是 一種淺層網絡建模,不能充分描述特征的狀態空間分布。

另外,GMM 建模的特征維數一般 是幾十維, 不能充分描述特征之間的相關性。

最后, GMM 建模本質上是一種似然概率建模, 雖然區分度訓練能夠模擬一些模式類之間的區分性,但能力有限。

微軟研究院語音識別專家鄧立和俞棟從 2009 年開始和深度學習專家 GeofferyHinton 合 作。

2011 年微軟宣布基于深度神經網絡的識別系統取得成果并推出產品,徹底改變了語音 識別原有的技術框架。

采用深度神經網絡后,可以充分描述特征之間的相關性,可以把連續 多幀的語音特征并在一起, 構成一個高維特征。

最終的深度神經網絡可以采用高維特征訓練 來模擬。

由于深度神經網絡采用模擬人腦的多層結果,可以逐級地進行信息特征抽取,最終 形成適合模式分類的較理想特征。

這種多層結構和人腦處理語音圖像信息時, 是有很大的相 似性的。

深度神經網絡的建模技術,在實際線上服務時,能夠無縫地和傳統的語音識別技術 相結合,在不引起任何系統額外耗費情況下,大幅度提升了語音識別系統的識別率。

其在線 的使用方法具體如下:在實際解碼過程中,聲學模型仍然是采用傳統的 HMM 模型,語音模 型仍然是采用傳統的統計語言模型,仍然是采用傳統的動態 WFST 。

但在聲學

模型的輸出分布計算時,完全用神經網絡的輸出后驗概率乘以一個先驗概率來代替傳統 HMM 模型中的 GMM 的輸出似然概率。

百度在實踐中發現,采用 DNN 進行聲音建模的語音 識別系統相比于傳統的 GMM 語音識別系統而言,相對誤識別率能降低 25%。

最終在 2012 年 11 月,百度上線了第一款基于 DNN 的語音搜索系統,成為最早采用 DNN 技術進行商業 語音服務的公司之一。

國際上,Google 也采用了深層神經網絡進行聲音建模,是最早突破深層神經網絡工業 化應用的企業之一。

但 Google 產品中采用的深度神經網絡只有 4-5 層,而百度采用的深度 神經網絡多達 9 層。

這種結構差異的核心其實是百度更好地解決了深度神經網絡在線計算的 技術難題,因此百度線上產品可以采用更復雜的網絡模型。

這將對于未來拓展海量語料的 DNN 模型訓練有更大的優勢。

圖像識別 圖像是深度學習最早嘗試的應用領域。

早在 1989 年,Yann LeCun (現紐約大學教授) 和 他的同事們就發表了卷積神經網絡(Convolution NeuralNetworks,簡稱 CNN)的工作。

CNN 是一種帶有卷積結構的深度神經網絡, 通常至少有兩個非線性可訓練的卷積層, 兩個非線性 的固定卷積層(又叫 Pooling Laye)和一個全連接層,一共至少 5 個隱含層。

CNN 的結構受 到著名的 Hubel-Wiesel 生物視覺模型的啟發, 尤其是模擬視覺皮層 V1 和 V2 層中 Simple Cell 和 Complex Cell 的行為。

在很長時間里,CNN 雖然在小規模的問題上,如手寫數字,取得過 當時世界最好結果,但一直沒有取得巨大成功。

這主要原因是,CNN 在大規模圖像上效果 不好,比如像素很多的自然圖片內容理解,所以沒有得到計算機視覺領域的足夠重視。

這個 情況一直持續到 2012 年 10 月,Geoffrey Hinton 和他的兩個學生在著名的 ImageNet 問題上 用更深的 CNN 取得世界最好結果,使得圖像識別大踏步前進。

在 Hinton 的模型里,輸入就 是圖像的像素, 沒有用到任何的人工特征。

這個驚人的結果為什么在之前沒有發生?原因當 然包括算法的提升,比如 dropout 等防止過擬合技術,但最重要的是,GPU 帶來的計算能力 提升和更多的訓練數據。

百度在 2012 年底將深度學習技術成功應用于自然圖像 OCR 識別和 人臉識別等問題,并推出相應的桌面和移動搜索產品,2013 年,深度學習模型被成功應用 于一般圖片的識別和理解。

從百度的經驗來看, 深度學習應用于圖像識別不但大大提升了準 確性,而且避免了人工特征抽取的時間消耗,從而大大提高了在線計算效率。

可以很有把握 地說,從現在開始,深度學習將取代“人工特征+機器學習”的方法而逐漸成為主流圖像識別 方法。

自然語言處理 除了語音和圖像,深度學習的另一個應用領域問題是自然語言處理( NLP) 。

經過幾十 年的發展,基于統計的模型已經成為 NLP 的主流,但作為統計方法之一的人工神經網絡在 NLP 領域幾乎沒有受到重視。

最早應用神經網絡的 NLP 問題是語言模型。

加拿大蒙特利爾大 學教授 YoshuaBengio 等人于 2003 年提出用 embedding 的方法將詞映射到一個矢量表示空間,

然后用非線性神經網絡來表示 N-Gram 模型。

世界上最早的最早的深度學習用于 NLP 的研究 工作誕生于 NEC 美國研究院, 其研究員 Ronan Collobert 和 Jason Weston 從 2008 年開始采用 embedding 和多層一維卷積的結構, 用于 POS Tagging、 Chunking、 Named Entity Recognition、 Semantic Role Labeling 等四個典型 NLP 問題。

值得注意的是,他們將同一個模型用于不同任 務,都能取得與業界最前沿相當的準確率。

最近以來,斯坦福大學教授 Chris Manning 等人 在將深度學習用于 NLP 的工作也值得關注。

總的來說,深度學習在 NLP 上取得的進展沒有在語音圖像上那么令人影響深刻。

一個 很有意思的悖論是:相比于聲音和圖像,語言是唯一的非自然信號,是完全由人類大腦產生 和處理的符號系統, 但模仿人腦結構的人工神經網絡卻似乎在處理自然語言上沒有顯現明顯 優勢?我們相信,深度學習在 NLP 方面有很大的探索空間。

從 2006 年圖像深度學習成為學 術界熱門課題到 2012 年 10 月 Geoffery Hinton 在 ImageNet 上的重大突破, 經歷了 6 年時間。

我們需要有足夠的耐心。

搜索廣告 CTR 預估 搜索廣告是搜索引擎的主要變現方式,而按點擊付費(Cost Per Click,CPC)又是其中被 最廣泛應用的計費模式。

在 CPC 模式下,預估的 CTR(pCTR)越準確,點擊率就會越高,收 益就越大。

通常,搜索廣告的 pCTR 是通過機器學習模型預估得到。

提高 pCTR 的準確性, 是提升搜索公司、廣告主、搜索用戶三方利益的最佳途徑。

傳統上,Google、百度等搜索引擎公司以 Logistic Regression(LR)作為預估模型。

而從 2012 年開始,百度開始意識到模型的結構對廣告 CTR 預估的重要性:使用扁平結構的 LR 嚴 重限制了模型學習與抽象特征的能力。

為了突破這樣的限制,百度嘗試將 DNN 作用于搜索 廣告,而這其中最大的挑戰在于當前的計算能力還無法接受 1011 級別的原始廣告特征作為 輸入。

作為解決,在百度的 DNN 系統里,特征數從 1011 數量級被降到了 103,從而能被 DNN 正常地學習。

這套深度學習系統已于 2013 年 5 月開始服務于百度搜索廣告系統,每天 為數億網民使用。

DNN 在搜索廣告系統中的應用還遠遠沒有成熟,其中 DNN 與遷移學習的結合將可能是 一個令人振奮的方向。

使用 DNN,未來的搜索廣告將可能借助網頁搜索的結果優化特征的 學習與提??;亦可能通過 DNN 將不同的產品線聯系起來,使得不同的變現產品不管數據多 少,都能互相優化。

我們認為未來的 DNN 一定會在搜索廣告中起到更重要的作用。

深度學習實踐 平臺選擇: 在本次實驗我選擇了比較熟悉 java 語言作為開發語言,在具體的深度學習包我選擇了 該平臺上非常出名的 Deeplearning4j,并在其推薦的 intellij-idea 作為實驗環境。

工作目標:

隨機給出一些點,系統需要去學習這些點的規律并將它進行分區域,在輸入測試集后, 將其以大概率正確的畫到所在區域。

環境搭建: ? ? ? Jdk7.0 的配置 Intellig-idea 下載后,直接安全,然后應用 jdk 的路徑 Maven 配置:實驗室要依賴于 maven 的構建,幸運的是 intellig-idea 可以自動幫 我們下載配置 maven 文件 實驗結果: 圖1

  • 高性能算法-深度學習

    高性能算法-深度學習

    高性能算法-深度學習...

    貢獻者:網絡收集
    951878
  • 深度學習論文:促進深度學習的教學策略研究

    深度學習論文:促進深度學習的教學策略研究

    深度學習論文:促進深度學習的教學策略研究...

    貢獻者:網絡收集
    979669
  • 理清思路,才能寫出有深度的論文

    理清思路,才能寫出有深度的論文

    理清思路,才能寫出有深度的論文...

    貢獻者:網絡收集
    626418
  • 深度挖掘匹配算法在畢業論文管理中的應用

    深度挖掘匹配算法在畢業論文管理中的應用

    深度挖掘匹配算法在畢業論文管理中的應用...

    貢獻者:網絡收集
    685340
  • google AlphaGo深度學習算法論文(發布至Nature)

    google AlphaGo深度學習算法論文(發布至Nature)

    google AlphaGo深度學習算法論文(發布至Nature)...

    貢獻者:網絡收集
    360530
  • 基于深度學習的車標識別方法研究-論文

    基于深度學習的車標識別方法研究-論文

    基于深度學習的車標識別方法研究-論文...

    貢獻者:網絡收集
    67698
  • 深度學習論文二

    深度學習論文二

    深度學習論文二...

    貢獻者:網絡收集
    718242
  • 基于深度特征級聯的自適應策略的跟蹤算法論文

    基于深度特征級聯的自適應策略的跟蹤算法論文

    基于深度特征級聯的自適應策略的跟蹤算法論文...

    貢獻者:網絡收集
    631908
  • 房屋建筑學論文:深度探討民用建筑施工質量控制方法

    房屋建筑學論文:深度探討民用建筑施工質量控制方法

    房屋建筑學論文:深度探討民用建筑施工質量控制方法...

    貢獻者:網絡收集
    37513
  • 小學生深度學習文化論文

    小學生深度學習文化論文

    小學生深度學習文化論文...

    貢獻者:網絡收集
    682420
  • 網友在搜
    中國人民大學國際班 微信@所有人軟件 terre siciliane紅酒 j21w 320p 316l 刀劍神域虛空幻界女仆 wwwyjuozz www.boika 電影 flash第三季 一矩形線圈有100匝 en14901 my ht5076p the star李佳思舞蹈 齊白石畫作拍賣價 fortran換行輸出 have a crush on you 濱崎步secretmv kuroha本子 夜愿三大主唱qq作 tc 24d 計算機雜志推薦 惠普g6 i3 2370m legal porono排行 stored是什么意思明銳 空耳yaya漫畫 諸葛鎖球形怎么開 mxgs917 磁力鏈接 日本tickle abuse foot laurenmichaelholly 漫畫茫管家懦弱的我漫畫 漫威英雄人物大全 漫畫農村工作小組電話 修真者在異世txt下載入 北野武好看的電影 wwwpofno to join in us 賽爾號平衡能量珠 rampage iii extreme sql timeout expired souq怎么樣 筆記本i76700hq怎么樣 e3 1230v3處理器功耗 愛奇藝奇葩說官網 兩個相乘的定積分 cad如何顯示比例尺 瘋王和伊蒙 hsv閾值分割matlab 虛擬機優化工具 武裝突襲3漢化教程 sdms 682 torrent poe分離器給路由器供電 excel access 查詢 催眠人偶紫色風鈴 pes2015小球隊妖人 青春期叛逆教育電影 新學期新愿望黑板報 abb400電話 日本軟妹品牌rosy minor in psychology

    聲明:本站內容部分源于網絡轉載,出于傳遞更多信息之目的,并不意味著贊同其觀點或證實其描述。文章內容僅供參考,請咨詢相關專業人士。

    如果無意之中侵犯了您的版權,或有意見、反饋或投訴等情況, 聯系我們:點擊這里給我發消息

    Copyright ? 2016 All Rights Reserved 寻仙手游押镖界面 手機站