IBM新成果:人工智能強(qiáng)力助推漢語學(xué)習(xí)
IBM研究院和倫斯勒理工學(xué)院 (RPI) 正在攜手開創(chuàng)幫助學(xué)生學(xué)習(xí)漢語的新途徑,希望以 AI 技術(shù)支持的助手配合沉浸式課堂環(huán)境進(jìn)行教學(xué),這在語言教學(xué)領(lǐng)域是前所未有的創(chuàng)舉。這種課堂名叫認(rèn)知沉浸室 (CIR),能讓學(xué)生感覺自己置身于中國的餐館、園林或太極學(xué)習(xí)班中,與 AI 聊天機(jī)器人練習(xí)漢語對話。CIR 是由 IBM 研究院和 RPI 合作的研究機(jī)構(gòu)認(rèn)知與沉浸式系統(tǒng)實(shí)驗(yàn)室 (CISL) 開發(fā)的。
要學(xué)習(xí)一門新的語言,特別是像漢語這樣高難度的語言,必須讓學(xué)生獲得大量實(shí)際練習(xí)對話技能的機(jī)會。通過沉浸式的文化氛圍自然而然地掌握一門新語言,可能要比非沉浸式的練習(xí)有效得多。但是,大多數(shù)漢語初學(xué)者無法獲得體驗(yàn)式學(xué)習(xí)的機(jī)會。這就是我們開發(fā) CIR 的初衷。
沉浸式游戲化課堂環(huán)境
為了實(shí)現(xiàn)多種模式的自然沉浸式對話,CIR 綜合了語音文本轉(zhuǎn)換,自然語言理解和計算機(jī)視覺等多種先進(jìn)技術(shù)。教室里放置了一套 360 度全景式顯示系統(tǒng)、一套音頻系統(tǒng)、多個攝像頭、多部 Kinect 設(shè)備和多個話筒,當(dāng)然還有用于支持 AI 技術(shù)的計算機(jī)系統(tǒng),其中一部分放在教室里,還有一些位于云端。
我們的目標(biāo)是將沉浸式的認(rèn)知技術(shù)與游戲元素相結(jié)合,讓學(xué)生體驗(yàn)到一種文化環(huán)境,練習(xí)日常對話任務(wù),并且獲得智能助手的幫助。我們通過漢語項(xiàng)目,在 CIR 中使用 IBM Watson 作為對話機(jī)器人,與學(xué)習(xí)漢語的學(xué)生進(jìn)行交流。該項(xiàng)目采用了 IBM Watson 語音識別技術(shù)和針對英漢兩種語言的自然語言理解技術(shù)。
在通過沉浸式氛圍學(xué)習(xí)外語的過程中,學(xué)生遇到的最大障礙之一就是,害怕被母語使用者評判。但是在 CIR 中,學(xué)生可以借助虛擬的對話合作伙伴來練習(xí)詞匯和發(fā)音,不必承受真實(shí)環(huán)境中的壓力。
許多語言學(xué)習(xí)研究者都在使用虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)技術(shù),但我們研究的是真人沉浸式游戲環(huán)境,學(xué)生不需要穿戴專門的設(shè)備,就可以在這樣的環(huán)境中實(shí)際游覽。這反映了人機(jī)交互領(lǐng)域的一個大趨勢,那就是我們在日常生活中的信息交流將會有更強(qiáng)的沉浸感,而人們與智能機(jī)器的交互也會向深度融合的方向邁進(jìn)。
2017 年晚秋時節(jié),我們的系統(tǒng)已經(jīng)在 RPI 校園里的中文 1 級課程中接受了測試。今年秋天,我們將繼續(xù)在中文 1 級、2 級和 3 級課程中使用 AI 作為教學(xué)工具,目標(biāo)是在 2019 年夏天推出綜合中文 1-3 級內(nèi)容的新課程。
課堂背后的研究 —— 不僅僅是研究課堂
認(rèn)知與沉浸式系統(tǒng)實(shí)驗(yàn)室(CISL) 是 IBM 人工智能地平線網(wǎng)絡(luò) (IBM AI Horizons Network) 的一部分,專門構(gòu)建并運(yùn)用各種先進(jìn)的技術(shù),包括上下文感知系統(tǒng)(context-aware systems)、語音聲調(diào)軌跡分析(pitch tone contour analysis)、人類與 AI 機(jī)器人之間自然語言對話中的中英雙語切換(language-switch between Chinese and English in a natural language conversation between people and AI agents)、多用戶多模式交互(multi-user multimodal interaction)、決策過程中的推理和規(guī)劃(reasoning and planning in the decision-making process),以及自動生成描述、視覺和聽覺信息的多模式故事敘述(multimodal storytelling with automatic generation of narrative, visualization and sonification)。
認(rèn)知沉浸室 (CIR) 是 CISL 的四個應(yīng)用案例之一。該實(shí)驗(yàn)室還致力于增強(qiáng)群體智能,用于董事會等現(xiàn)實(shí)環(huán)境中的關(guān)鍵決策。在未來,這些新型認(rèn)知與沉浸式系統(tǒng)將會從根本上改變?nèi)藗兊纳詈凸ぷ鞣绞健IR 的早期原型已經(jīng)提供了很多研究用戶交互的機(jī)會,讓我們能夠發(fā)現(xiàn)并應(yīng)對語言學(xué)習(xí)領(lǐng)域的新挑戰(zhàn)。

發(fā)表評論
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機(jī)器人及智能工廠展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
-
8月5日立即報名>> 【在線會議】CAE優(yōu)化設(shè)計:醫(yī)療器械設(shè)計的應(yīng)用案例與方案解析
推薦專題