NCChineseConverter 是一個(gè)?基于 Objective-C?的中文簡(jiǎn)繁正轉(zhuǎn)換庫. 除此之外, 本項(xiàng)目還包括一個(gè) Python 的詞庫轉(zhuǎn)換工具.

本庫的基本實(shí)現(xiàn)原理: 從 Mediawiki 提供的字典中提取數(shù)據(jù), 轉(zhuǎn)換為自己需要的格式, 然后用最大正向匹配算法進(jìn)行字符替換.

特點(diǎn)

• 可以只使用單一詞庫

• 可擴(kuò)充自定義詞庫

• 提供 NSString 的 Category

使用方法

1. ?用詞典工具生成詞典

2. ?把生成的詞典放在項(xiàng)目的 Resources 目錄下

3. ?按如下方式引用轉(zhuǎn)換庫和調(diào)用

#import?"NCChineseConverter.h"?…?NSString?*oriString?=?@"";?NSString?*result?=?[[NCChineseConverter?sharedInstance]?convert:oriString?withDict:NCChineseConverterDictTypezh2TW];
…

Tool

下載詞庫并生成詞典:

python?dictgenerator.py

? ? 用本地詞庫生成詞典(適用于已經(jīng)下載了詞庫文件):

python?dictgenerator.py?n

? ? 利用詞典工具會(huì)在當(dāng)前目錄生成如下詞典文件:

• zh2TW.txt (簡(jiǎn)體 -> 臺(tái)灣正體)

• zh2HK.txt (簡(jiǎn)體 -> 港澳繁體)

• zh2SG.txt (簡(jiǎn)體 -> 新馬繁體)

• zh2CN.txt (繁體/正體 -> 大陸簡(jiǎn)體)

方便起見, 我在?dictionary?目錄中放了轉(zhuǎn)換好的詞典文件. 目錄名稱即為詞典生成時(shí)間.

注意: 請(qǐng)勿修改文件名, 轉(zhuǎn)換庫是嚴(yán)格按照文件名來讀取詞典的.

自定義擴(kuò)充轉(zhuǎn)換詞組

詞典工具是根據(jù) Mediawiki 的詞庫來進(jìn)行詞典生成, 所以要等待 Mediawiki 的詞庫更新才能得到新的詞典. 如果你有一些 Mediawiki 里沒有的詞語要擴(kuò)充, 則可以使用該方法來使用.

使用前綴相同的字典文件來進(jìn)行自定義詞組的擴(kuò)充, 轉(zhuǎn)換庫會(huì)自動(dòng)加載對(duì)應(yīng)的擴(kuò)充字典.

比如, 把你自己的?簡(jiǎn)體 -> 臺(tái)灣正體?詞典命名為?zh2TW.custom.txt, 這樣轉(zhuǎn)換庫就可以自動(dòng)加載這個(gè)詞典并在轉(zhuǎn)換時(shí)使用.

備注

雖然詞典工具一次生成四個(gè)詞典, 但是你可以視情況只使用其中一個(gè)或多個(gè). 需要注意的是如果你沒有在項(xiàng)目中放入某個(gè)詞典文件, 那么要避免在代碼里調(diào)用該字典.

未來改進(jìn)

• 增加更多轉(zhuǎn)換詞庫

• 使用 Double-array Trie Tree 來構(gòu)造原始字典, 提高搜索速度

• 改進(jìn)分詞算法

背景

簡(jiǎn)繁正的問題在此不多說, 都是歷史遺留問題, 具體情況可以自行查看 Wikipedia, 用自己的思考去判斷(漢字簡(jiǎn)化爭(zhēng)論). 在此只討論技術(shù)相關(guān)問題.

簡(jiǎn)繁轉(zhuǎn)換不是單純的從一個(gè)字轉(zhuǎn)換為另一個(gè)字, 他包含很多內(nèi)容, 如:

• 各種繁體/正體. 如: 港澳繁體, 臺(tái)灣正體. 再加上各個(gè)華人地區(qū)的中文(如新加坡)使用等.

• 簡(jiǎn)體和繁體的對(duì)照往往不止一對(duì)一, 而是一對(duì)二, 一對(duì)三, 甚至一對(duì)五(多繁對(duì)一簡(jiǎn)問題)

目前比較常用的轉(zhuǎn)換方式主要是?Wikipedia 的轉(zhuǎn)換方式?和?OpenCC.

Wikipedia 進(jìn)行簡(jiǎn)繁轉(zhuǎn)換的操作流程參見:?繁簡(jiǎn)處理

OpenCC 的庫相對(duì)比較專業(yè). 不過這是一個(gè) C 庫, 所以如果要在 iOS 下使用, 則需要自己把庫編譯成 iOS 可以使用的庫再進(jìn)行調(diào)用.

參考

• OpenCC

• Python 簡(jiǎn)繁轉(zhuǎn)換