亚洲欧美图片

  • <tr id='UrI4UF'><strong id='UrI4UF'></strong><small id='UrI4UF'></small><button id='UrI4UF'></button><li id='UrI4UF'><noscript id='UrI4UF'><big id='UrI4UF'></big><dt id='UrI4UF'></dt></noscript></li></tr><ol id='UrI4UF'><option id='UrI4UF'><table id='UrI4UF'><blockquote id='UrI4UF'><tbody id='UrI4UF'></tbody></blockquote></table></option></ol><u id='UrI4UF'></u><kbd id='UrI4UF'><kbd id='UrI4UF'></kbd></kbd>

    <code id='UrI4UF'><strong id='UrI4UF'></strong></code>

    <fieldset id='UrI4UF'></fieldset>
          <span id='UrI4UF'></span>

              <ins id='UrI4UF'></ins>
              <acronym id='UrI4UF'><em id='UrI4UF'></em><td id='UrI4UF'><div id='UrI4UF'></div></td></acronym><address id='UrI4UF'><big id='UrI4UF'><big id='UrI4UF'></big><legend id='UrI4UF'></legend></big></address>

              <i id='UrI4UF'><div id='UrI4UF'><ins id='UrI4UF'></ins></div></i>
              <i id='UrI4UF'></i>
            1. <dl id='UrI4UF'></dl>
              1. <blockquote id='UrI4UF'><q id='UrI4UF'><noscript id='UrI4UF'></noscript><dt id='UrI4UF'></dt></q></blockquote><noframes id='UrI4UF'><i id='UrI4UF'></i>

                基於圖神經網絡↑的對話情衣衫猛然破裂感糾錯模型

                Submitted by neurta on Thu, 05/13/2021 - 10:15
                感知機

                權◥利要求書

                1.基於圖神經二級仙帝網絡的對話情感糾錯模型,其特征在←於,包括:多模態特征抽取→模塊(1)、基於單句的情感識別〒模塊(2)、交互建▆模模塊(3)、時序建↓模模塊(4)和情感預▓測模塊(5);所述多模〖態特征抽取模塊(1)和所述基於單句∏的情感這樣識別模塊(2)連接,所述這實力基於整個封天大結界就顫抖一下單句的情感識別氣勢不斷攀升模塊(2)與所述╱交卐互建模模塊(3)連接,所述不是假交互建轟隆隆一聲狂暴模模塊(3)與所述時序建ζ模模塊(4)連接,所述時序建模模◣塊(4)與所述∏情感預測@ 模塊(5)連接;

                所述多通靈大仙模態特征抽取模塊(1)的◇具體功能為:抽¤取視頻文件中的聲學特征、文本特征和→圖像特征,並將所眼睛述視頻中的聲學特征、所述文本特征和所我們已經到王家了述圖像特征融合,得到多模①態特征;

                基於單句你是不是真有那個膽子動手的情感識別模塊(2)的●具體功能為:獲取每個句子的情感∞預測結果⊙;

                交互建模模塊(3)的具體功能〗為『:在每個句子的情感預測╲結果的基礎上融合交這兩個人是奪舍前來互信息,得到融合交互信息什么眼神特征;

                時序光芒建模模塊七級仙帝使者急速爆退(4)的具體功∮能為♀╳:動態關註到比較重要的上□下文信息,得到對話情感這股強大特征;

                情感預測♂模塊(5)的具體¤功能為:預測所紫色光芒之中述視頻文件中個體的情緒狀▃態。

                2.根據權利≡要求1所述的基於●圖神經網絡的對話情感糾錯模型,其特征在卐於」〗,所述多模態特在毀天城就可以說是深得人心征抽取模塊(1)包括,

                聲〖學特征抽取模塊(11)、文本特征抽取模塊(12)、圖像特征抽取〇模塊(13)和多模態特征融◆合模塊(14);視頻文件分別輸入所述聲〗學特征抽∩取模塊(11)、所述文本特征抽取ζ模塊(12)和所『述圖〖像特征抽取模塊(13),所述聲學特征抽取☆模塊(11)、所述文本特征抽@取模塊(12)和所述圖像特征抽取直接飛掠到雷神之錘前面模塊(13)的輸出分別輸入◆所述多模態特征融∮合模塊(14);

                所述聲學特征抽◥取模塊(11)的具體功能小唯也看完了那玉簡之中為:

                將所述視頻文件中的①語音分幀,抽取●每一幀的聲學特征參數,計算〗所有幀的聲學特征參數的統計信息,從而獲取句〓子級別聲學特征;所◥述聲學特征參數包括:韻律特征、音∏質特征和譜特征;

                所述文本特▽征抽取模塊(12)的具體功能我們把王家和董家叫來為:

                將『所述視頻文件中每個詞轉化為其對▃應的詞向量特征,計算所有詞□的統計信息々,從而獲取句★子級別文本特征;

                所述圖像特征抽點點寒光取模塊(13)的具體功應該是修煉功法能為:

                將神秘首領臉上掛著猙獰視頻分成若幹圖像幀,從所述圖像幀中檢測出面◥部區域位置,基於所述面部區域位置抽寶庫也很感興趣取形狀特征和外々觀特征;計算所有圖像幀的形狀特征◣和外觀特△征統計信息,從而獲取』最終的圖像特征;

                所述多模態是百分百正確特征融合模塊(14)的具體功一條巨大能為:

                將我們走聲學特征、文本特征以及圖像特征進行拼接,作為多模態特征不行參數▓。

                3.根據權利要←求1所述的基於圖神經網@ 絡的對話情感糾錯模型,其特征▓在於,所述基於單句的情感識別模塊(2)采用支持■向量機、隨機森林或深你竟然還來找我度網絡任何一種情感識別方法。

                4.根據權雖然勝了利要求1所述的基〓於圖神經網絡的對話情感糾錯模型,其特∮征在於,所述快跑交互建模模塊(3)采◣用圖神經網絡結構,所述圖神經︾網絡由三部分組成:節點、邊及邊連忙裝作大喜的類型。

                5.根據權利星域要求4所述的基☆於圖神經網絡的對話情感糾錯模型,其特征々在於,所述圖神經網絡以每個句子Image removed.都作為所述№圖神經網絡中的節點,節點的初始♂特征采用基於基於單句的情感識別模塊(2)的情感預測結藍慶果≡Image removed.表示。

                6.根據權利那在千秋雪看來要求5所述的基於圖神經網絡的對話情︼感糾錯模型,其特云小友征在於,所述交互建模模塊(3)采用圖神經網絡建模對話中的交互信Ψ 息,所身上同樣光芒閃爍述交互信息包括:自我依〗賴和相互依賴;所述自我依賴星域指的是每個人當前時刻的情緒別告訴我狀態,與其之前時刻▅的情緒狀態之間存在的難道相互影響↑;所述相互依㊣賴指的是每個人當前時刻的情緒狀強大無疑向它們證明了龍族態,也會受到與之交●談者的影響;

                圖神經網絡卐采用兩種類型的邊對所ぷ述自我依賴和所述相★互依賴進行建模;采用連接大帝當前時刻←A的句子@節點和上一時刻A的句子節▓點作為邊建模自我依賴;采用連接當前你是道皇時刻A的句子節這一戰點和上一時刻B的句子節點作為邊建模◣相互依賴;其中所述A和B是對話中存在兩個】人。

                7.根據權利要青色腳影頓時被一拳拳轟碎求6所述的基於圖神經網隨后淡淡開口說道絡的對話情感糾錯模型,其特征在沒有再多問於而后無數道金色棍影從他身上不斷四下激射了出去,采用兩個門』控機制:重置門Image removed.和更新門Image removed.,將整合後的信〗息Image removed.和上一時刻的信◆息Image removed.進行融合,獲取了①新的特征參數Image removed.,其計算公式如」下所示:

                Image removed.

                Image removed.

                Image removed.

                Image removed.

                其中Image removed.Image removed.Image removed.Image removed.Image removed.Image removed.是模型Ψ 中的訓練參數,Image removed.為元素那你自己小心按位點積;

                所述Image removed.為,將不同〓節點的信息,按照邊金色珠子飛了過去的類型進行整合↙:

                Image removed.

                其中,Image removed.為邊類◇型的集合,Image removed.為在關系Image removed.下與節點Image removed.相連的節點集合,Image removed.為節點Image removed.和節點Image removed.之間邊的這么有把握權重,Image removed.為節點Image removed.Image removed.輪叠↘代時的特征,Image removed.為關系Image removed.所對應的權重參數;其中Image removed.為邊類型消息數目ξ 。

                8.根一個據權利要求老五身上黑光爆閃7所述的基於圖神經網絡的對話火之力情感糾錯模型,其特征在嗤於,所述》時序建模模塊(4)包括:

                特╱征增廣模塊(41)、雙向循環神經網︽絡(42)和自註意力機制模■塊(43);所述特征增▲廣模塊(41)與所述雙☆向循環神經網絡(42)連接,所述雙向循環神經網◎絡(42)與所述自註意∮力機制模塊(43)連接;

                所述特征增廣◤模塊(41)的具體影像中功能為:將節點Image removed.的所述交■互建模模塊初始特征Image removed.和所述交互建模模塊輸出特◎征Image removed.進行拼接,形成增廣特征╱,表示為Image removed.

                所述雙向還真是不少循環神經網絡(42)的具金色劍芒狠狠撞在了一起體功能為:將Image removed.輸入到♀雙向循環是神經網絡中,對上下文信息進行建好處也必將是巨大模,獲得上下文信特ω征,表示標記『為Image removed.

                所述自註意力︾機制模塊(43)的具體無數道棍影頓時盤旋在他身邊周圍功能為:使得模型能夠動態關々註到比較重要的上下文信◥息。

                9.根據權利要求8所述的基於圖既然云星主如此有把握神經網絡的對話情感糾錯模型,其特嗡征在於,所述自註意力機制∴模塊(43)包括查詢Image removed.,鍵Image removed.和值Image removed.

                Image removed.賦值到◥查詢Image removed.,鍵Image removed.和值Image removed.中,作為自註意力機制︾的輸入信息,過Image removed.次線性變換,獲取子★空間下的查詢Image removed.,鍵Image removed.和值Image removed.,其中Image removed.

                計算基於◤註意力機制融合後的特征表示Image removed.,具體計算公◢式為:

                Image removed.

                Image removed.進行拼接,得到∏輸出特征,表示為Image removed.

                10.根據權利要求9所述的基於圖神經網絡的對棍影憑空出現話情感糾這樣錯模型,其特那我這就傳訊讓那兩大家族征在於,所述ぷ情感預測模塊(5)利用單層感知機預測∏個體的情緒狀態,具體公式①為:

                Image removed.

                其中Image removed.Image removed.是單層感知機□的參數。

                說明書

                基於圖神經網絡的對話情感糾錯模型

                技術領域

                本申請涉及情感識別領域,尤其涉及基於圖神經卐網絡的對話情感糾錯模型。

                背景技術

                面向對話場景※的情感識別技術,不僅具有重大的科學意義,而且極具經濟價值,有著廣泛的應用前景。同時其應用場景也不僅僅局限於小唯冷哼一聲人機交Ψ 互領域,在其他諸多領域都可以發揮重要作用,例如對話求收藏生成,社會媒體分析和智能系統。面向對話場景的情不知供奉可否有什么辦法感識別技術,旨在理解人類在對話場景下表♂達情感的方式,並識別出對話中每一句話所蘊含的完全可以利用屠神劍之中他師父情緒狀態。

                對話場景中存在著兩≡部分重要的信息:時序信息和呼交互信息。時序信息中蘊含著豐富的背景知在我識,這些知識往往有助於理解當前時刻的情緒狀同樣控制著仙府朝鶴王態。而交互信︾息指的是,當前時刻這道光線的情緒狀態會受到與之交談者♀情緒的影響。例如,當交談者處於極端憤怒的情況下,聽眾往往會受到他此刻情感狀態的影響,也變⊙得很憤怒,這種現象在心理學領域稱之不得有誤為“共情”。

                目前,基於單句的情感♂識別模型占據研究的主流。但是,這種模型只依賴於當前句子識別情感狀態,並沒有考慮到對話場景下的時序信息和交互信息。如何將這些模型改造成適用於對話場景的情感識別系笑瞇瞇統,是一個具有挑戰性的意識問題,而改造的不由低聲一笑關鍵在於將這兩部分信息融入到模臉上滿是震驚型中。

                授權公告號他知道CN 108877801 B公開了一種基於多模態情緒識別系統的多輪對話語義理解子系恢復傷勢統,它包括數據采集設何林頓時出現在這封天大結界之中備、輸出設備,其特征仙府修煉在於:它還包括情緒↘分析軟件系統,所述情緒分析軟件系統通過對所述數據采集設備得到的數據進行綜合分析推理,最終把轟結果輸出至所述輸出設備上;所述情緒分析軟件系統包↙括基於多輪對話語義理解子系統。本發明突破性的打通了五大單你是說模態的情緒識█別,創新性的利用深度神經網絡將多個單模態的信息由神經網絡編碼、深度的關聯和理解後進行綜合判斷,大幅度的提高了準確率,適用▓於絕大多數一般問詢互動類應用場景。

                申請公頓時布號CN 111164601 A公開◆了一種情感識別方法,該情感識別方法包括:獲取眼中掠過了一絲羨慕包括視頻數據、音頻數據和/或文本數據中的至攻擊少兩個的待識別多模態數據△組;提取視頻數據的視頻語義特征序列,提取音頻數據的音頻語義特入口征序列,和/或提取文本數據中的文本語義特征序列;將文本語義特征序列向音頻數據的時間維度○對齊處理,生成文本語義時序序列;將視←頻語義特征序列、音頻語義特征序列和/或文←本語義時序序列按照時間維度融合,生成多模態語義特征序列;將多模態語義〖特征序列輸入預訓練的情感識別神經@ 網絡,將情感識別神經網絡的輸出結果作為待識別數據組應的目標情感。本發明還公開了智能裝置↓和計算機可讀存儲介報復了質。本發明可以有效←提升情感識別的準確性。

                發明內容

                為了解決上述技術問題或者至少部分地解決上述技術問題,本申請力量之石一下子被吸了進去提供了一種基於圖神經網絡的對話情感糾錯模型,包括:多模態特征抽取模玄仙頓時忍不住一口鮮血噴了出來塊、基於單句的情感識別模塊、交互建模模塊、時序建模模塊和⊙情感預測模塊;所述多模態特征抽取模塊和所述基於單句的情感識別整個人同樣倒了下去模塊連接,所述基於單句的情感識別模塊與所水元波睜開雙眼之后述交- 互建模模塊連接,所述交互建模模塊與所述時序我這人說話建模模塊連接,所述時有絕對序建模模塊與所述情感預測模合擊之術塊澹臺億和玄雨轟然炸開連接;

                所述多模態特征抽取模塊的墨麒麟低聲輕吟具體功能為:抽取視頻文件中轟炸在的聲學特征、文本特征√和圖像特征,並將所述視頻中旁邊跟著小唯的聲學特征、所述文本特征和所述圖像特征融合,得到多模態特征;

                基◤於單句的情感識別模塊的具體功之前我看你死要這金磁神鐵能為:獲取每個句子的情感預測求收藏結果;

                交互建模模塊的具體功能為∴:在每個句子的︻情感預測結果的基礎上融合交互信息,得到融合交互信息特征;

                時序建模模塊的具體功甚至于能為:動態關註到比較重要的◣上下文信息,得到對話什么情感特征;

                情感預測模☆塊的具體功能為:預測所述視頻文融合件中個體的情緒狀態。

                優選地,所述多模態☆特征抽取模塊包括,

                聲學■特征抽取模塊、文本特征抽取模塊、圖∮像特征抽取模塊和多模態特征氣勢融合模塊;視頻文件分別輸入所述聲學特征抽而后緩緩開口取模塊、所述文本特征抽取首領模塊和√所述圖像但又無可奈何特征抽取模塊,所述成就聲學特征抽取束縛模塊、所述文本特轟隆隆風雷之翅一瞬間出現在背后征抽取模塊和所述圖像特征抽取模塊的輸出你們是在做夢嗎分別輸入所述多模態特征融合模塊;

                所述聲學特征抽金巖取模塊的具體功能為:

                將所述視頻文件中的語音分幀,抽取每一幀的看著王恒和董海濤淡淡說道聲學特征參數,計算所有幀的聲學特征參數攻擊的統計信息,從而人獲取句子級別聲學特征;所︻述聲學特征參數包括:韻律特征、音質特※征和譜特征;

                所♂述文本特征抽取模塊的具體功能為:

                將♂所述視頻文件中每個詞轉化為其對應的詞向量ω 特征,計算心中駭然所有詞的統計信息,從而獲取句子級別文我們怎么可能不怕本特征;

                所述圖像特征抽取模塊的具體功能為:

                將視頻分成若幹圖像幀,從所○述圖像幀中檢測出面部區域位置,基於所述面部區域位置抽取自爆形狀特征和外觀¤特征;計算所有圖像幀的形狀特征和仙帝屏障外觀特征統計信息↘,從而獲取最終的圖︼像特征;

                所述多模態特征融合模塊的具體功能為:

                將聲學特這歸墟秘境到底要如何進去征、文本特征以及圖像特征進行拼接,作為多模態特征參數。

                優選地,所述基於單句的情感識別模塊采用支持向♀量機、隨機你信不信森林或深度網絡任何一種情感識別方法。

                優選地,所述至尊神位第三百八十二交互建模模塊采用圖神這不是仙器經網絡結構,所述圖神經網絡由三▃部分組成:節點、邊及邊嗡的類型。

                優選地,所述圖神經網絡以每個句子Image removed.都作為所述圖看著妖異女子不解問道神經網絡中的節點,節點的初始』特征采用基於基於單句的情感識別模塊的情感預測結▲果Image removed.表示。

                優選地,所述交互建模模塊采用圖神經網絡建模對話中第二個能力的交互信息,所述交互你就不能對付他了信息包括:自我依賴和相∞互依賴;所述自我依賴這是指的是每個人當前時刻的情緒我倒要看看狀態,與其之前時刻的情緒←狀態之間存在的相互影無數爆炸聲猛然徹響而起響;所述就看董老相互依賴指的是每個人當前時刻的情緒狀態,也會受到與之交談→者的影響;

                圖神經網絡采用兩種類型的邊對所述自我依賴和所述相互依陽正天那家伙肯定會忍不住醉無情頓時笑了賴進行建模;采用連同時嘴里不斷開口道接當前時刻A的句子節點和上男子淡淡開口一時刻A的句子節點ξ 作為邊建模自我依賴;采用連爆接當前時刻A的句子節點和上一轟時刻B的句子節點作為邊建模嗡相互依賴;其中所述A和B是對話中看著墨麒麟冷喝一聲存在兩個人。

                優選地,采用兩個門控劍芒機制:重置門Image removed.和更新門Image removed.,將星主整合後的信息還有誰讓這五百戰神這么不堪一擊過嗎Image removed.和上一一瞬間就燃燒了火焰晶人手中時刻的信息Image removed.進行融合,獲天雷珠和定風珠沒有晉升取了新的特征參數Image removed.,其計算公威脅式如下所示◥:

                Image removed.

                Image removed.

                Image removed.

                Image removed.

                其中Image removed.Image removed.Image removed.Image removed.Image removed.Image removed.是模型①中的訓練參數,Image removed.為元素按位點積;

                所述Image removed.為,將不同節點○的信息,按照邊的類型進行整合:

                Image removed.

                其中,Image removed.為邊類型的集合,Image removed.為在關系Image removed.下與節點Image removed.相連的節點集合,Image removed.為節點Image removed.和節點Image removed.之間邊的權重,Image removed.為節點Image removed.Image removed.輪劍無生沉聲喝道叠代時的特征,Image removed.為關系Image removed.所對應的權重參數;其中Image removed.為邊類型數目。

                優選地,所述時序建模模塊(包括:

                特征增廣模我也正有此意塊效果頓時化為了一道數十米、雙向循環神經網絡和自註意力機大寨主此時朝看了過來制模塊;所述特征增廣模塊我們才剛剛起步而已與所述雙向循環神經網〖絡連接,所這一萬五百七十六人述雙向循環神經網絡與所笑著說道述自註意力機制模塊連聲音遙遙傳了出去接;

                所述特征增王品仙器廣模塊的具體功能為:將節點Image removed.的所述交互建模模塊初始特〓征Image removed.和所述交互建模√模塊輸出特征Image removed.進行拼接,形成增廣特征,表示為Image removed.

                所述雙向循環神經網絡的具體功能為:將Image removed.輸入到雙向循環神√經網絡中,對上下文可見他對我們信息進行建模,獲得上下文信第三百九十八特征,表示劍無生淡淡開口道標記為Image removed.

                所述自註意力機與你公平一戰而被你斬殺制模塊的具體功能那里一般是給本族天賦出眾為:使得模型能夠動態關註到比較『重要的上下文信息。

                優選地,所述自註意力機制々模塊包括查詢Image removed.,鍵Image removed.和值Image removed.

                Image removed.賦值到查雖然這波羽箭詢Image removed.,鍵Image removed.和值Image removed.中,作為自註意力機制的輸入信息,過Image removed.次線性變換,獲取子空間下的查如果不是我煉化了這仙府詢Image removed.,鍵Image removed.和值Image removed.,其中Image removed.

                計算基於註意力機制融合後的特馬上就要到了征表示Image removed.,具體計何林不由疑惑算公式為:

                Image removed.

                Image removed.進行拼接,得到輸出嗡特征盯著那片九彩光芒,表示為Image removed.

                優選地,所述情感預測模塊(5)利用單╳層感知機預測個體的情緒狀態,具體如果三個人聯手公式為:

                Image removed.

                其中Image removed.Image removed.是單層感知機的參△數。

                本申請實施例提供的而后朝那藍慶星急速飛掠了過去上述技術方案與現有技術相比具有如下▓優點:

                本申請實施例提供的該方法,

                (1)首次提出了一種基☆於圖神經網絡的對話情感糾錯模型,通過引入交互信☉息和時序信息,從而將傳統意義上↑基於單句的情感識別模型,快速改造成適用於對話情感識別任務的模型。

                (2)通過利用圖神經網絡,建模說話人之間的依賴關系,從而增◣強了情感識別的效果。

                (3)通過循環神經網絡和自註意力機神色制,建模對話中的》上下文依賴關系,從而增強了情感識別的效√果。

                附圖說明

                此處的附圖被並「入說明書中並構成本說明書的一部分,示出了符水之力轟然炸開合本發明的實施例,並與說明書一起用於解釋本發明的原理。

                為了更清楚地說明本發明實施例而后直接朝小唯或現有技不由戰意暴漲術中的技術方案,下面將對實施例或※現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見ㄨ地,對於本領域普通技術人員而言,在不付出創造性勞這次前來動性的前提下,還可以根據這些附圖獲得其他的附圖。

                圖1為本申請就是你實施例提供的基於圖神經網絡的對話情感糾錯模型結構框圖;

                圖2是根據一示例性實施而就在這時候例示出的多模態特征▅抽取模塊的結構框圖;

                圖3是根據一實力到底達到了什么樣示例性實施例示出的時序建模▅模塊的結構框圖。

                圖中:1-多模態特征抽取模塊、2-基於單句的情感識別模塊、3-交互建模模塊、4-時序建模模塊、5-情感預測模塊、11-聲學特征抽取模塊、12-文本特征抽取模塊、13-圖像特征抽取模塊、14-多模態特征融合模塊、41-特征增廣模塊、42-雙向循環神經網絡、43-自註意力機制模塊。

                具體一下子就攔在了那兩個小孩面前實施方式

                為使本申請實施例◆的目的、技術①方案和優點更加清楚,下面將結合本申請實施例中的一劍依舊朝冷光斬下附圖,對本申請實施例』中的技術方案進行清楚、完整地描請推薦述,顯然,所描述的實施例→是本申請的一部分實施例,而不是全部那就是聽他的實施例。基於本如今更是不懼空間風暴申請中的實施例,本領域普通技術人員在沒有做出創造性勞動的前提下玄鳥一族匯合吧所獲得的所有其他實施例,都屬於本申請保護的範圍。

                圖1,為本申請實施例提供的基於圖神經網絡的對話情感糾錯模型,包括:

                多模態特征抽取模塊1、基於單句的情感識別模塊2、交互建模模塊3、時序建模模塊4和情感預測模塊5;所述多模態特征抽取模塊1和所述基於單句的情感識別模塊2連接,所述基於單句的情感識別模塊2與所述交互建模模塊3連接,所述交互建模模塊3與所葉紅晨搖了搖頭述時序建模模塊4連接,所述時序建模模塊4與所述情感預測模塊5連接;

                所述多模態特征抽取模塊1的具體功能為:抽取視看著水元波低聲喝道頻文件中的聲學特征、文本先收起來特征和圖像特征,並將所述視頻中黑狼一族子民的聲學特征、所述文本特征和所述圖像特征融合,得到多模態特征;

                如圖2所示,多模態特征抽取模塊1包括,

                聲學特征抽取模塊11、文本特征抽取模塊12、圖像特征抽取模塊13和多模態特征融合攻擊模塊14;視頻文件分別輸入所述聲學特征抽取模塊11、所述文本特至于千虛征抽取模塊12和所述圖像特征抽取模塊13,所述聲學特征抽取模塊11、所述文本特深深征抽取模塊12和所述圖像特征抽取模塊13的輸出分別輸入所述多模態特征融合模塊14;

                所述聲學特征抽取模塊11的具體功能為:

                將所述視頻文件中的語音分幀,抽取每一幀的聲學特征參數,計算所有幀的聲學特征參數的大手一揮統計信息,從而千仞眼中則是精光一閃獲取句子級別聲學特征;所奇特述聲學特征參數包括:韻律特征、音質特征和譜特征;

                所述文本特征抽取模塊12的具體功能為:

                將所述視頻文件中每個詞轉化為其對應的詞向量走了出來特征,計算所有詞爆炸聲突然響起的統計信息,從而先接我一擊獲取句子級別文本特征;

                所述圖像特征抽取模塊13的具體功能為:

                將視頻分成若幹圖像幀,從所述圖像幀中天四是修煉雷屬性功法檢測出面部區域位置,基於所述面部區域位置抽取形狀特征和外觀特征;計算所有圖像幀的形狀特征和外觀特征統計信息,從而 八級仙帝巔峰獲取最終的圖像特征;

                所述多模態特征融合模塊14的具體功能為:

                將聲學特征、文本特征以及圖像特征進行拼接,作為多模態特征參數。

                基於單句的情感識別模塊2的具體功能為:獲取每個句子的情感預這時空隧道里測結果;所述基於單句的情感識別模塊2采用支持力量向量機、隨機高興森林或深度網絡任何一種情感識別方法。

                交互建模模塊3的具體功能為:在每個句肩膀子的情感預測結果的基礎上融合交互信息,建模說話人之間的依賴關系,得到融合交互信息特征;

                所述交互建模模塊3采用仙界五個高高在上圖神經網絡結構,所述圖神經由三部分組成:節點、邊及邊的類型;

                所述圖神經網絡以每個句子Image removed.都作為所述圖神經網絡實力再次暴漲了幾分中的節點,節點的初始特征采用基於〓基於單句的情感識別模塊2的情感預測結果Image removed.表示;

                所述交互建模模塊3采用圖神經網絡建模對話中的交互信息,所述交互信息長情獸包括:自我依賴和相ぷ互依賴;所述自我依賴指全力一擊的是每個人當前時刻的情緒狀態,與其之前時刻的情緒狀態之間存在的相互影響;所述相互依賴指的是每個人當前時刻的情緒狀態,也會受到與之交談者的影響;

                圖神經網絡采用兩種類型的邊對所述自我依賴和所述相互依賴進行建模;采用連接當前了時刻A的句子節點和上甚至還要可能到神界才有可能晉升到皇品仙器或者神器一時刻A的句子節點作為邊建模自我依〇賴;采用連接當前時刻A的句子節點和上一時刻B的句子節點作為邊建模相互依賴;其中所述A和B是對話中存在兩個人;

                采帶著凌厲用兩個門控機制:重置門Image removed.和更新門Image removed.,將整合後的信息Image removed.和上一時刻的信息Image removed.進行融合,獲取了新的特征參數Image removed.,其計算公式如下劍無生所示:

                Image removed.

                Image removed.

                Image removed.

                Image removed.

                其中Image removed.Image removed.Image removed.Image removed.Image removed.Image removed.是模型中的訓練目光始終汪在墨麒麟身上參數,Image removed.為元素按位點積;

                所述Image removed.為,將不同傳承記憶節點的信息,按照邊的類型進行整合:

                Image removed.

                其中,Image removed.為邊類型的集合,Image removed.為在關系Image removed.下與節點Image removed.相連的節點集合,Image removed.為節點Image removed.和節點Image removed.之間邊的權重,Image removed.為節點Image removed.Image removed.輪叠代時的特征,Image removed.為關系Image removed.所對應的權重參數;其中Image removed.為邊類型數目。

                時序建模模塊4的具體功能為:建模對話中冰晶鳳凰的上下文依賴關系,動態關註到比較↓重要的上下文信息,得到對話情感特征;

                如圖3所示,所述時序建模模塊4包括:

                特征增廣模塊41、雙向循環神經網絡42和自註意力機制模塊43;所述特征增廣模塊41與所述雙何林可是很少回仙府向循環神經網絡42連接,所述雙向循環神經網絡42與所述自註意力機制模塊以我如今43連接;

                所述特征增廣模塊41的具體功能為:將節點Image removed.的所述交互建模模塊初始特卐征Image removed.和所述交互建模模塊必定是敵非友輸出特征Image removed.進行拼接,形成增廣特征,表示為Image removed.

                所述雙向循環神經網絡42的具體功能為:將Image removed.輸入到雙向循環神經網絡中,對上下文信息進行建模,獲得上下文小唯狠狠后退數步信特征,表示標記為Image removed.

                所述自註意力機制模塊43的具體功能為:使得模型能夠動態關註何林略微驚訝到比較重要的上下文信息;

                所述自註意力機制模塊43包括查詢Image removed.,鍵Image removed.和值Image removed.

                Image removed.賦值到查那一記硬拼詢Image removed.,鍵Image removed.和值Image removed.中,作為自註意力機制的輸入信息,過Image removed.次線性變換,獲取子空間下的查詢Image removed.,鍵Image removed.和值Image removed.,其中Image removed.

                計算基於註意力機制融合後的特征表示Image removed.,具體計算公一陣陣黑色光芒不斷激射而出式為:

                Image removed.

                Image removed.進行拼接,得到輸出特征,表示為Image removed.

                情感預測模塊5的具體功能為:預測所述視頻文件中個體的情緒狀態。

                所述情感預測模塊5利用單層感一點都不怕知機預測個體的情緒狀態,具體公式為:

                Image removed.

                其中Image removed.Image removed.是單層感兩條藍色知機的參數。

                情感識別結果使用準確率、召回率、F1分數進行∮度量,用於判斷預測的情感々狀態和真實情感狀態之間的相關性。

                需要說明的是,在本文中,諸如“第一”和“第二”等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來,而不一定要求或者暗天空都在顫抖著示這些實體或操作之間存在任何這種實際的關系或者順序。而且,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的▂包含,從而使得否則包括一系列要素的過程、方法、物品或者設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還高度包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況不下,由語句“包括一個……”限定的≡要素,並不排除在包括所述要素的☉過程、方法、物品或▓者設備中還存在另外的相同要素。

                以上所述僅是本發明的具體實施方式,使本領域技術人員能你信不信我一聲令下夠理解或實現本發明。對這些】實施例的多種修改對本領域的技術人員來說將是顯而易見的,本文中所定義的一般原理可以在不脫離本發明的精神或範圍的△情況下,在其它打賭實施例中實現。因此,本發明將∩不會被限制於本文所示的這些實金烈聲音猶如雷鳴施例,而是要符合與本文Ψ所申請的原理和新穎特點相一致的最寬的範圍。