什么是文本摘要？為什么要有注意力機(jī)制？
建立Tokenizer
通過分詞器生成詞匯表，并將單詞文本序列轉(zhuǎn)為數(shù)值序列，方便計(jì)算機(jī)計(jì)算。
模型建立
我們可以選擇是否讓LSTM在每個(gè)時(shí)間步都會生成隱藏狀態(tài)h和記憶單元狀態(tài)c。
選擇LSTM是否僅生成最后一個(gè)時(shí)間步的隱藏狀態(tài)h和記憶單元狀態(tài)c。
選擇LSTM相互堆疊提高模型效果。
選擇雙向LSTM，可以雙向處理文本數(shù)據(jù)，獲取更加豐富的上下文信息。
使用beam search strategy代替貪婪方法argmax。
根據(jù)BLEU分?jǐn)?shù)評估模型的性能。
可以選擇指針生成網(wǎng)絡(luò)，
因?yàn)檎麛?shù)序列采用獨(dú)熱編碼的方式，所以損失函數(shù)采用了稀疏交叉熵，對內(nèi)存友好。
數(shù)學(xué)理解注意力機(jī)制
編碼器為源文本序列每一個(gè)時(shí)間步j(luò)都生成了一個(gè)隱藏狀態(tài)值hj。
相似的工作，解碼器為目標(biāo)文本每一個(gè)時(shí)間步i都生成了隱藏狀態(tài)值si。
alignment score： 。用這個(gè)分?jǐn)?shù)表示源文本中的第j步單詞與目標(biāo)文本中第i步單詞的關(guān)聯(lián)度。可以用hj與si來計(jì)算這個(gè)分?jǐn)?shù)值 根據(jù)所使用的得分函數(shù)的類型，有不同類型的注意力機(jī)制。這里列舉一些流行的注意力機(jī)制：
使用softmax函數(shù)對注意力參數(shù)的值進(jìn)行歸一化。
計(jì)算注意力權(quán)重與編碼器hj的隱藏狀態(tài)乘積的線性總和，以產(chǎn)生注意力上下文向量Ci。
將注意力上一下文向量Ci與目標(biāo)隱藏層向量si級聯(lián)以產(chǎn)生新的注意力隱藏層向量Si。
將注意力隱藏層向量傳入密集層產(chǎn)生yi。
分享
發(fā)表評論
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個(gè)字
最新活動更多
-
7月22-29日立即報(bào)名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會2025（第六屆）機(jī)器人及智能工廠展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
-
8月5日立即報(bào)名>> 【在線會議】CAE優(yōu)化設(shè)計(jì)：醫(yī)療器械設(shè)計(jì)的應(yīng)用案例與方案解析
推薦專題
