搜索引擎在我們的日常生活中已經(jīng)成為了不可分割的一部分了，相信很多朋友都曾在網(wǎng)上看到類似于“沒(méi)有了百度我們將面臨什么？”這樣的問(wèn)話，想必你自己對(duì)此也會(huì)深有體會(huì)吧。就目前來(lái)看，在國(guó)內(nèi)的搜索引擎市場(chǎng)上，百度所占的份額是最大的，360其次，但不可否認(rèn)的是他們都將中文分詞技術(shù)應(yīng)用到了他們的搜索引擎的工作中去了。

那么，到底什么是中文分詞技術(shù)呢？

中文分詞技術(shù)其實(shí)就是重新將一句話中所出現(xiàn)的字進(jìn)行再次組合，形成另外一句或一個(gè)詞組的技術(shù)。我就舉個(gè)最簡(jiǎn)單的例子來(lái)給大家演示下好了，“我在南昌做SEO”像這樣的一句簡(jiǎn)單的話，就可以分成 我 在 南昌 做 SEO 這樣的幾個(gè)詞語(yǔ)，這個(gè)其實(shí)就是和的中文分詞技術(shù)的原理，將原有的中文漢字重新組合成若干個(gè)有意的新的詞組或語(yǔ)句，就叫中文分詞技術(shù)。

中文分詞技術(shù)到底與搜索引擎有著什么樣的關(guān)系呢？

話說(shuō)咱老祖宗留給咱的文化那叫一個(gè)博大精深啊，可能一句話中僅僅只是標(biāo)點(diǎn)符號(hào)的位置變換一下，或者僅僅只是一個(gè)字的變化，都將有可能使得整句話的意思完全不相同，這里我也舉個(gè)在搜索引擎中找到的例子：原句為——下雨天留客天天留我不留。

可以造就以下句子：

1.下雨天,留客天.天留，我不留

2.下雨，天留客，天天留，我不留！

3.下雨，天留客，天天留我？不留。

4.下雨，天留客，天天留我不？留。

5.下雨天，留客，天天留，我不留。

6.下雨天，留客，天天留我？不留。

7.下雨天，留客，天天留我不？留。

8.下雨天，留客天，天留我？不留。

9.下雨天，留客天，天留我不？留。

通過(guò)上面這強(qiáng)大的變化，相信大家對(duì)于中文的變幻莫測(cè)已經(jīng)有了清晰的認(rèn)識(shí)了吧，而中文分詞技術(shù)為的就是能夠通過(guò)這一技術(shù)，使得搜索引擎在他上億甚至更多的數(shù)據(jù)庫(kù)中，找出與你的搜索詞優(yōu)選匹配的內(nèi)容提供給用戶。

然而，人的智慧是無(wú)窮無(wú)盡的，機(jī)器卻是死的，所以人可以創(chuàng)造機(jī)器，但機(jī)器卻需要通過(guò)人給它設(shè)定的程序去運(yùn)行。所以中文章分詞技術(shù)基本上遵循以下幾大規(guī)則：

一、字符串匹配

通俗點(diǎn)我們可以將這個(gè)理解為機(jī)械化的分詞技術(shù)，即直接查找是否有與你所提供的文字有相同的出現(xiàn)的。這個(gè)時(shí)候又分為三個(gè)小類別的匹配順序：

1、正向匹配

即自左往右出現(xiàn)與你提供完全相同的詞語(yǔ)進(jìn)行匹配。

2、逆向匹配

即自右往左出現(xiàn)與你提供完全相同的詞語(yǔ)進(jìn)行匹配。

3、雙向匹配

即將前面所提到的兩種匹配方式結(jié)合起來(lái)。

機(jī)械分詞方法可以說(shuō)是現(xiàn)有的分詞方法中最成熟，使用最多，范圍最廣的分詞技術(shù)了，因此對(duì)于每一名SEOER來(lái)說(shuō)，對(duì)于此方法必須具備一定的了解，才能更好的在網(wǎng)站的建設(shè)過(guò)種中獲得提升。

二、模擬分詞方法

這個(gè)分詞的方法可能就相對(duì)來(lái)講比較模糊了，因?yàn)橥ㄟ^(guò)程序的設(shè)計(jì)，讓搜索引擎去模擬人的思維對(duì)于句子進(jìn)行理解、分化，從而識(shí)別這些詞意的意思，此方法相對(duì)較復(fù)雜，搜索引擎在使用上還沒(méi)有大面積推廣，僅僅只是小部分嘗試，因此大家只需要了解即可。

三、統(tǒng)籌分詞方法

這一分詞方法其實(shí)使用的主要是一個(gè)出現(xiàn)頻率的計(jì)算以及對(duì)數(shù)據(jù)庫(kù)比對(duì)的一個(gè)抽像算法，舉個(gè)例子，當(dāng)“你”、“好”這兩個(gè)字連續(xù)出現(xiàn)多次數(shù)，搜索引擎就會(huì)將此詞語(yǔ)當(dāng)成“你好”這個(gè)詞語(yǔ)來(lái)處理，但是如果要是中間部分加入了“很”字的話，那么就會(huì)產(chǎn)生部分認(rèn)為是“你好”，部分為“你很好”，等等……

上面的三種分詞方法可能介紹的不是很詳細(xì)，因?yàn)楣P者的文筆所限，可能表述不是很清楚，還請(qǐng)大家原諒。接下來(lái)說(shuō)下分詞技術(shù)中的幾個(gè)困難之處，值得大家注意的：

1、詞語(yǔ)的歧義分辯

這主要是因?yàn)橥痪湓捰兄浅６嗟姆衷~方法，并不是固定的，就如同我前面所提到的“下雨天留客天天留我不留”這句話一樣，因?yàn)樗阉饕娌豢赡苡形覀內(nèi)诉@樣的智慧，它在拆分這樣的語(yǔ)句的時(shí)候就無(wú)法達(dá)到盡善盡美。再比如“化妝和服裝”這樣的詞語(yǔ)，切分的時(shí)候，搜索引擎就無(wú)法很好的識(shí)別“化妝 和 服裝”與“化妝 和服 裝”這樣的區(qū)別了……

2、專業(yè)術(shù)語(yǔ)的識(shí)別

隨著科技的不斷進(jìn)步與發(fā)展，很多以前從來(lái)沒(méi)有過(guò)的詞語(yǔ)紛紛的現(xiàn)世，諸如“你妹”，“屌絲”，“衰木涕”等等，這些網(wǎng)絡(luò)新興術(shù)語(yǔ)，在剛剛問(wèn)世的時(shí)候中文分詞詞庫(kù)中肯定沒(méi)有記錄這些詞語(yǔ)的真正含義，需要后期人去進(jìn)行收錄。不過(guò)好在搜索引擎已經(jīng)可以初步開(kāi)始對(duì)新興詞語(yǔ)的識(shí)別，讓用戶得以到更好的體驗(yàn)。

最后小編結(jié)束語(yǔ)：了解搜索引擎的分詞技術(shù)，在日后的建設(shè)網(wǎng)站的過(guò)程中，充分的將中文分詞技術(shù)利用起來(lái)，那么你就掌握了搜索引擎的命脈所在，必定無(wú)往而不利。