計(jì)算語言學(xué)（漢文部分）

四、計(jì)算語言學(xué)

（一）算法和知識(shí)庫研究

算法研究在計(jì)算語言學(xué)領(lǐng)域一直是熱點(diǎn)。相關(guān)的研究成果主要有：向令、扎西加、馬偉珍、盧超等的《基于貝葉斯算法的藏語拼寫檢查的研究與實(shí)現(xiàn)》（《科技創(chuàng)業(yè)月刊》第 11期），拉巴頓珠、歐珠的《現(xiàn)代藏文基字識(shí)別的算法設(shè)計(jì)》（《西藏大學(xué)學(xué)報(bào)》自然科學(xué)版第 1期），拉金措、安見才讓的《藏文機(jī)構(gòu)名的識(shí)別算法研究》（《電子技術(shù)與軟件工程》第 14期），劉昕、安見才讓的《藏文 WEB文檔分類算法》（《微型電腦應(yīng)用 》第 8期），陳碩、趙棟材、周歡歡的《基于匹配算法的藏文自動(dòng)分詞》（《電子技術(shù)與軟件工程》第 1期）等。

向令、扎西加、馬偉珍、盧超等的《基于貝葉斯算法的藏語拼寫檢查的研究與實(shí)現(xiàn)》一文，首先讀取待要檢查的詞匯到三叉樹 TST.java，根據(jù)貝葉斯轉(zhuǎn)換之后在三叉樹中進(jìn)行前綴查詢，查到以這個(gè)詞開頭的搜索詞匯，并對(duì)詞匯頻率進(jìn)行了排序，采用的 Java中 list，最后根據(jù)該序列給出拼寫檢查的建議。拉巴頓珠、歐珠的《現(xiàn)代藏文基字識(shí)別的算法設(shè)計(jì)》一文，依據(jù)藏文文法，嚴(yán)格遵循現(xiàn)代藏文音節(jié)字的結(jié)構(gòu)特征，設(shè)計(jì)了現(xiàn)代藏文音節(jié)字的基字識(shí)別算法，并對(duì)不符合現(xiàn)代藏文構(gòu)字規(guī)則的高頻字進(jìn)行了特殊處理，設(shè)計(jì)實(shí)現(xiàn)了現(xiàn)代藏文音節(jié)字的基字識(shí)別軟件。該軟件對(duì) 18785個(gè)現(xiàn)代藏文音節(jié)字進(jìn)行測(cè)試，識(shí)別率達(dá)到 100%。拉金措、安見才讓的《藏文機(jī)構(gòu)名的識(shí)別算法研究》一文，對(duì)未登錄詞中藏文機(jī)構(gòu)名的結(jié)構(gòu)及其在文本中的出現(xiàn)進(jìn)行了深入的研究，建立了藏文機(jī)構(gòu)名特征詞庫與前部詞構(gòu)造規(guī)則庫，在此基礎(chǔ)上提出了藏文機(jī)構(gòu)名的識(shí)別算法。劉昕、安見才讓的《藏文 WEB文檔分類算法》一文，針對(duì)藏文 WEB文檔分類中 KNN算法計(jì)算復(fù)雜度高的缺點(diǎn)，提出了一種基于 Java Bean模式的并行算法，其關(guān)鍵部分的時(shí)間計(jì)算復(fù)雜度從O（n2）降為O（log（n）），該算法與經(jīng)典的串行算法相比，能顯著地提高分類速度。陳碩、趙棟材、周歡歡的《基于匹配算法的藏文自動(dòng)分詞》一文，采用了正向最大匹配和逆向最大匹配算法相結(jié)合的方式進(jìn)行藏文分詞，通過分別計(jì)算兩種分詞結(jié)果的頻率，然后選擇頻率較大的一個(gè)。最終，通過對(duì) 26個(gè)不同大小的文本對(duì)該系統(tǒng)進(jìn)行測(cè)試和分析，得出了分詞準(zhǔn)確率在 92%以上的結(jié)論。才讓叁智、趙棟材的《基于 DIV標(biāo)簽分段的藏文網(wǎng)頁正文提取研究》（《西藏大學(xué)學(xué)報(bào)》自然科學(xué)版第 1期）一文，針對(duì)藏文電子文獻(xiàn)資源匱乏、文本資源不規(guī)整、收集困難等問題，提出了基于 DIV標(biāo)簽分段的藏文網(wǎng)頁正文提取算法，該算法將原始網(wǎng)頁信息分割為頁面信息中與 DIV元素等量的信息段，再對(duì)段中標(biāo)簽等非正文信息進(jìn)行刪除，最終形成該頁正文。實(shí)驗(yàn)表明，正文提取結(jié)果準(zhǔn)確、通用性強(qiáng)，適用于互聯(lián)網(wǎng)上不同模型的藏文網(wǎng)頁。

涉及知識(shí)庫方面的研究有丁海蘭、祁坤鈺的《基于依存句法的藏文屬格結(jié)構(gòu)統(tǒng)計(jì)研究》（《西北民族大學(xué)學(xué)報(bào)》自然科學(xué)版第 2期）一文。文章從句法功能的角度對(duì)屬格助詞在藏文名詞短語中的結(jié)構(gòu)及功能進(jìn)行分析研究，從句法結(jié)構(gòu)上總結(jié)和歸納了其結(jié)構(gòu)特征，為多語言句法結(jié)構(gòu)樹庫和框架語義構(gòu)建提供最基本的語法信息。

關(guān)于標(biāo)準(zhǔn)的討論。龍從軍、劉匯丹、安波、才華、吳健等的《藏文編碼字符集標(biāo)準(zhǔn)應(yīng)用中的問題及對(duì)策》（《信息技術(shù)與標(biāo)準(zhǔn)化》第 1期）一文，通過大規(guī)模文本統(tǒng)計(jì)，找出了 90組同形異碼實(shí)例；分析發(fā)現(xiàn)，藏文文本中同形異碼現(xiàn)象是國際編碼集中同時(shí)存在單字符編碼和組合字符編碼導(dǎo)致的。描述了各種可能產(chǎn)生同形異碼的字符，從改進(jìn)國際編碼字符集和改進(jìn)輸入法等方面提出了一些建議。

（二）實(shí)用技術(shù)平臺(tái)及軟件開發(fā)研究

相關(guān)的研究成果有：李苗苗、高定國、普次仁、扎西倉覺等人的《藏文字頻統(tǒng)計(jì)軟件的設(shè)計(jì)與實(shí)現(xiàn)》（《電腦知識(shí)與技術(shù)》第 4期），普次仁、李苗苗的《藏文音節(jié)字的頻次統(tǒng)計(jì)》（《西藏大學(xué)學(xué)報(bào)》自然科學(xué)版第 1期），陳小瑩、艾

金勇的《基于小字符集藏文拉丁轉(zhuǎn)寫系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)》（《中文信息學(xué)報(bào)》第29期），巴桑卓瑪、高定國的《藏文電子詞典的設(shè)計(jì)與實(shí)現(xiàn)》（《信息與電腦》理論版第 12期），袁斌、江濤、西熱卓嘎、德吉巴宗、魏興海、雪靈、高定國等人的《基于 Android平臺(tái)的藏文活字帖的開發(fā)》（《信息與電腦》理論版第 1期）、尕桑才讓、安見才讓的《基于 Android平臺(tái)實(shí)現(xiàn)本地化技術(shù)和加載藏文字體》（《電腦知識(shí)與技術(shù)》第 6期），童英華、耿生玲的《基于 ARM的嵌入式藏文電子閱讀器的設(shè)計(jì)與實(shí)現(xiàn)》（《電子設(shè)計(jì)工程 》第 1期），才智杰、才讓卓瑪?shù)摹恫匚淖址南蛄磕Ｐ图皹?gòu)件特征分析》（《中文信息學(xué)報(bào)》第 2期）等。

李苗苗、高定國、普次仁、扎西倉覺等人的《藏文字頻統(tǒng)計(jì)軟件的設(shè)計(jì)與實(shí)現(xiàn)》一文，根據(jù)藏文音節(jié)的特性，結(jié)合 Unicode藏文基本集的編碼特征，提出了計(jì)算機(jī)統(tǒng)計(jì)藏文字頻的方法，設(shè)計(jì)實(shí)現(xiàn)了藏文字頻統(tǒng)計(jì)軟件。普次仁、李苗苗的《藏文音節(jié)字的頻次統(tǒng)計(jì)》一文，以 1.5億藏文字符的藏文平衡語料庫——大型藏文基礎(chǔ)語料庫為統(tǒng)計(jì)源，提出了非藏文字符和 93個(gè)特殊藏文字符作為音節(jié)分隔符來識(shí)別藏文音節(jié)字的方法，設(shè)計(jì)實(shí)現(xiàn)了藏文音節(jié)字頻次統(tǒng)計(jì)。陳小瑩、艾金勇的《基于小字符集藏文拉丁轉(zhuǎn)寫系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)》一文，在前人有關(guān)藏文拉丁轉(zhuǎn)寫研究的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了基于小字符集方案的藏文拉丁轉(zhuǎn)寫系統(tǒng)。文章通過對(duì)小字符集編碼方案的特征分析，提出了基于小字符集編碼的藏文拉丁轉(zhuǎn)寫算法，并對(duì)具體算法策略進(jìn)行了分析和說明，最后在Windows平臺(tái)進(jìn)行了程序的實(shí)現(xiàn)。巴桑卓瑪、高定國的《藏文電子詞典的設(shè)計(jì)與實(shí)現(xiàn)》一文，根據(jù)藏文傳統(tǒng)卡片式詞典中存在的一些問題，設(shè)計(jì)出一款藏文電子詞典。該系統(tǒng)不僅克服了藏文傳統(tǒng)卡片式詞典中存在的問題，而且實(shí)現(xiàn)了藏文電子詞典中的各個(gè)功能。最后通過系統(tǒng)的整體測(cè)試取得較好的成果，并已達(dá)到了高效的應(yīng)用程度。袁斌、江濤、西熱卓嘎、德吉巴宗、魏興海、雪靈、高定國等人的《基于 Android平臺(tái)的藏文活字帖的開發(fā)》一文，在研究藏文書法的特點(diǎn)的基礎(chǔ)上，選擇了最常用的三種藏文字體，在 Android平臺(tái)上實(shí)現(xiàn)了藏文活字帖，實(shí)現(xiàn)了藏文書寫筆順演示、字帖臨摹練習(xí)和軟件有關(guān)設(shè)置三種功能。尕桑才讓、安見才讓的《基于 Android平臺(tái)實(shí)現(xiàn)本地化技術(shù)和加載藏文字體》一文，認(rèn)為藏語文適應(yīng)現(xiàn)代化的發(fā)展，首要的問題就是實(shí)現(xiàn)藏文的信息輸入，如何快速準(zhǔn)確地利用手機(jī)輸入藏文信息，對(duì)藏族人或研究藏文化的人而言非常重要。童英華、耿生玲的《基于 ARM的嵌入式藏文電子閱讀器的設(shè)計(jì)與實(shí)現(xiàn)》一文，利用 ARM9嵌入式開發(fā)平臺(tái)，通過擴(kuò)展 SDRAM模塊、USB模塊、以太網(wǎng)控制模塊和觸摸屏模塊，結(jié)合 QT技術(shù)，設(shè)計(jì)了一款嵌入式藏文電子閱讀器。論文給出了系統(tǒng)的總體架構(gòu)，硬件實(shí)現(xiàn)原理框圖及軟件設(shè)計(jì)流程。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)成功實(shí)現(xiàn)了全藏化的閱讀器應(yīng)用程序界面，并可以支持 TXT、HTML、PDF、DOC格式的藏文電子書的正常顯示、閱讀和編輯，同時(shí)可進(jìn)行BMP、JPEG、PNG等格式的圖片文件的瀏覽，系統(tǒng)運(yùn)行穩(wěn)定、安全可靠，使用便捷靈活。才智杰、才讓卓瑪?shù)摹恫匚淖址南蛄磕Ｐ图皹?gòu)件特征分析》一文，分別建立了藏文字及藏文字符串的向量模型 VMTT、VMTS和藏文字符串的稀疏域模型 SLM，并在向量模型和稀疏域模型上研究了藏文字符的構(gòu)件特征。

此外涉及藏語文信息處理方面的研究成果有：鮑永慶、袁建、達(dá)娃卓瑪、格桑央吉等人的《藏文搜索引擎關(guān)鍵技術(shù)分析》（《西藏科技》第 2期）一文，針對(duì)當(dāng)前主流藏文搜索引擎的情況進(jìn)行了介紹。劉文香的《基于國際標(biāo)準(zhǔn)編碼的藏文前加字校對(duì)模型研究》（《甘肅高師學(xué)報(bào)》第 1期）一文，介紹了藏文前加字的音勢(shì)搭配規(guī)則，提出了藏文前加字與基字的搭配規(guī)則模型，運(yùn)用前加字與基字的搭配規(guī)則模型對(duì)藏文文本中出現(xiàn)的錯(cuò)別字進(jìn)行校對(duì)，為藏文音節(jié)規(guī)則校對(duì)模型打下基礎(chǔ)，為完成藏文自動(dòng)校對(duì)提供基礎(chǔ)性研究資料。李廷鵑的《青海省藏語信息化主動(dòng)推送服務(wù)平臺(tái)應(yīng)用與實(shí)踐》（《農(nóng)業(yè)科技與信息》第 23期）一文，闡述了青海省藏語信息化服務(wù)平臺(tái)的應(yīng)用情況以及對(duì)藏區(qū)同胞生產(chǎn)生活產(chǎn)生的積極作用，分析了藏語信息化主動(dòng)推送服務(wù)存在的問題。何東琴、屈兵的《基于開源 Word Press構(gòu)建藏文網(wǎng)站的設(shè)計(jì)與實(shí)現(xiàn)》（《福建電腦》第 5期）一文認(rèn)為，Word Press是一款個(gè)人博客系統(tǒng)，它使用 PHP語言和 My SQL數(shù)據(jù)庫?；?Word Press構(gòu)建藏文網(wǎng)站，首先可以解決字符編碼，其次可以節(jié)約時(shí)間和打破空間的限制，再者可以使網(wǎng)頁內(nèi)容和功能更加豐富。才讓草的《淺析甘南州藏文科技文獻(xiàn)資源共享平臺(tái)建設(shè)》（《科技經(jīng)濟(jì)導(dǎo)刊》第 13期）一文淺析甘南州藏文科技文獻(xiàn)資源共享平臺(tái)建設(shè)存在的問題，采用國內(nèi)文獻(xiàn)資源共享平臺(tái)架設(shè)與運(yùn)營(yíng)的成功經(jīng)驗(yàn)，提出建立甘南州藏文科技文獻(xiàn)信息資源共享服務(wù)平臺(tái)的建議和設(shè)想。劉芳、關(guān)白的《現(xiàn)代藏文中詞的自動(dòng)校對(duì)方法研究》（《電腦知識(shí)與技術(shù)》第 19期）一文，根據(jù)藏文詞錯(cuò)誤的類型，分別提出了對(duì)應(yīng)的校對(duì)方法。郭曉軍、何磊、王亮、黃操的《藏文 Web網(wǎng)頁的信息隱藏研究》（《實(shí)驗(yàn)室研究與探索》第 8期）一文，針對(duì)藏文 Web頁面信息隱藏技術(shù)隱蔽性差、隱藏容量小、抗干擾性弱問題，提出了一種具有同步機(jī)制的藏文 Web頁面信息隱藏方法。該方法先對(duì)秘密消息的二進(jìn)制序列進(jìn)行置亂處理，添加具有同步性的巴克爾碼以形成新消息序列，并通過改變 HTML標(biāo)簽屬性名稱的大小寫狀態(tài)來表示該序列中的 0或 1，實(shí)現(xiàn)秘密消息在藏文 Web頁面內(nèi)的隱藏。實(shí)驗(yàn)結(jié)果表明該方法在保證隱蔽性的情況下，能有效提高隱藏容量，在隨機(jī)擾亂程度較大時(shí)具有更好的魯棒性。

涉及自然語言處理的有：袁斌、江濤、于洪志的《基于語義空間的藏文微博情感分析方法》（《計(jì)算機(jī)應(yīng)用研究》第 3期），扎西本、安見才讓的《藏文句子的情感傾向研究》（《電腦知識(shí)與技術(shù)》第 6期），才智杰、才讓卓瑪?shù)摹恫匚?/span>字形結(jié)構(gòu)分布研究》（《中文信息學(xué)報(bào)》第 4期），馬偉珍、陳碩、趙棟材的《基于 HMM的藏文詞性標(biāo)注的研究與實(shí)現(xiàn)》（《信息安全與技術(shù)》第 2期），冷毛措、張有誼的《小學(xué)藏文教材中詞性的分布情況研究》（《電腦知識(shí)與技術(shù)》第 6期），多杰卓瑪?shù)摹恫匚拿~短語的語義研究》（《西北民族大學(xué)學(xué)報(bào)》自然科學(xué)版第 3期）等。

袁斌、江濤、于洪志的《基于語義空間的藏文微博情感分析方法》一文，結(jié)合藏文句法結(jié)構(gòu)和語義特征向量構(gòu)建語義特征空間，提出了一種基于語義空間的藏文微博情感分析方法。首先使用句法樹生成句法結(jié)構(gòu)并結(jié)合語義特征向量構(gòu)建特征空間，運(yùn)用 K-means方法聚類形成語義簇質(zhì)心，將基于簇的 TF-IDF值作為最終的微博情感特征值。實(shí)驗(yàn)結(jié)果表明，該方法的情感分類效果均優(yōu)于SVM+TF-IDF和 naive Bayes+最大熵的方法。扎西本、安見才讓的《藏文句子的情感傾向研究》（《電腦知識(shí)與技術(shù)》第 6期）一文，從句子的結(jié)構(gòu)研究了情感詞的提取及句子情感傾向。才智杰、才讓卓瑪?shù)摹恫匚淖中谓Y(jié)構(gòu)分布研究》一文，通過分析藏文字形結(jié)構(gòu)的特征，將藏文字的字形結(jié)構(gòu)分成獨(dú)體字和合體字，合體字按其構(gòu)件的結(jié)構(gòu)位和所含構(gòu)件數(shù)進(jìn)行分類。設(shè)計(jì)了藏文字形結(jié)構(gòu)統(tǒng)計(jì)系統(tǒng)模型和算法，從約含 8500萬藏文字的 450M語料中對(duì)藏文字形結(jié)構(gòu)進(jìn)行統(tǒng)計(jì)，建立了藏文字形結(jié)構(gòu)分布統(tǒng)計(jì)表，并對(duì)統(tǒng)計(jì)結(jié)果進(jìn)行了分析。馬偉珍、陳碩、趙棟材的《基于 HMM的藏文詞性標(biāo)注的研究與實(shí)現(xiàn)》一文，采用基于隱馬爾科夫模型的 Viterbi算法進(jìn)行詞性標(biāo)注，詞性標(biāo)記規(guī)范參考了北大計(jì)算機(jī)研究所的詞性標(biāo)注規(guī)范的標(biāo)記集。對(duì)于未登錄的藏文詞語，采用了基于統(tǒng)計(jì)和規(guī)則的二元語法統(tǒng)計(jì)模型進(jìn)行處理。通過對(duì)該系統(tǒng)進(jìn)行自動(dòng)標(biāo)注的文本與人工手動(dòng)完成藏文詞性標(biāo)注的文本進(jìn)行測(cè)試和對(duì)比，得出了該系統(tǒng)詞性標(biāo)注正確率在 89%以上。冷毛措、張有誼的《小學(xué)藏文教材中詞性的分布情況研究》（《電腦知識(shí)與技術(shù)》第 6期）一文以小學(xué)藏語文教材為語料，利用計(jì)算機(jī)對(duì)教材中藏語詞的頻次、數(shù)量等信息做出統(tǒng)計(jì)，進(jìn)而摸索出目前藏語文教材編輯中藏語詞性的分布規(guī)律，目的在于給藏語詞的安排、重要程度等是否科學(xué)合理，即是否符合各個(gè)年齡段藏族學(xué)生對(duì)知識(shí)的接受狀況，提供參考。多杰卓瑪?shù)摹恫匚?/span>名詞短語的語義研究》一文，在藏文網(wǎng)絡(luò)語料的基礎(chǔ)上，就“N1+N2”結(jié)構(gòu)的名詞短語進(jìn)行舉例分析，包括它的結(jié)構(gòu)類型、組成成分、句法及語義功能的分析，給出了名詞短語的線性結(jié)構(gòu)組合形式和詞性結(jié)構(gòu)擴(kuò)展模式，細(xì)化了它的主要組成成分，從句法和語義的層面出發(fā)，挖掘了該結(jié)構(gòu)所蘊(yùn)涵的句法關(guān)系和語義特征。

相關(guān)的研究還有：普布次仁的《詞庫開放型藏文詞典軟件的實(shí)現(xiàn)——以Goldendict詞典為例》（《西藏科技》第 1期）一文，以詞庫開放型 Goldendict詞典為例，著重探討了如何打造多平臺(tái)下的藏文詞典軟件。于詩畫、趙小兵的《藏文自動(dòng)分詞技術(shù)研究綜述》（《科技視界》第 6期）一文，主要從藏文自動(dòng)分詞的意義、國內(nèi)研究現(xiàn)狀、分詞方法，以及目前所面臨的主要問題等方面來簡(jiǎn)單闡述藏文自動(dòng)分詞技術(shù)的相關(guān)內(nèi)容。張?jiān)蒲蟮摹陡咝D書館藏文圖書編目與流通工作探討——以西藏大學(xué)圖書館為例》（《農(nóng)業(yè)圖書情報(bào)學(xué)刊》第 2期）一文，認(rèn)為藏文圖書的編目與流通是藏區(qū)高校圖書館的重要工作，但目前各文獻(xiàn)收藏單位對(duì)藏文文獻(xiàn)的著錄處于各自為政的狀態(tài)，為了實(shí)現(xiàn)館藏文獻(xiàn)的統(tǒng)一管理和MARC數(shù)據(jù)共享，建議對(duì)藏文圖書使用中圖法進(jìn)行分類，使用漢文和藏文兩種文字進(jìn)行著錄。

龍從軍、劉匯丹所著《藏文自動(dòng)分詞的理論與方法研究》（知識(shí)產(chǎn)權(quán)出版社）一書，是作者十多年研究藏文分詞的經(jīng)驗(yàn)總結(jié)，書中介紹了藏語分詞的問題及處理策略，并配套了語料庫和分詞軟件，實(shí)現(xiàn)了基礎(chǔ)研究和應(yīng)用研究相結(jié)合的研究突破。該書有以下幾個(gè)方面的貢獻(xiàn)：（1）手工切分百萬級(jí)分詞語料，為藏語分詞采用統(tǒng)計(jì)模型奠定了基礎(chǔ)，解決了藏語分詞資源“無米之炊”的薄弱狀況；（2）從手工切分中詳細(xì)總結(jié)和描述了藏語分詞單位切分的基本原則，該原則已經(jīng)由教育部語信司作為國家標(biāo)準(zhǔn)草案正式出版；（3）經(jīng)過多次實(shí)驗(yàn)，提出的疑似黏寫切分方法是所有黏寫切分方法中效果最好的方法；（4）以數(shù)字為切分單位，解決了藏語中數(shù)詞和阿拉伯?dāng)?shù)詞的切分處理，有效避免了未登錄數(shù)詞的切分錯(cuò)誤；（5）提出的基于字性標(biāo)注的分詞和詞性預(yù)測(cè)方法進(jìn)一步改善了未登錄的切分效果；（6）基于配套語料庫和一系列的切分理論開發(fā)的藏語分詞軟件，切分正確率達(dá)到 95%。已經(jīng)在網(wǎng)絡(luò)上公布試用。