利用Python對自然語言進行簡單處理

劉家岐

摘要：隨著人工智能的發(fā)展，人們逐漸開始利用編程語言來實現(xiàn)對于自然語言的處理，在現(xiàn)實生活中，這一發(fā)展也有著廣闊的應用前景。但是，受制于編程語言的局限性，對于自然語言的處理也只是在較為簡單的階段。因此介紹利用Python代碼來對自然語言進行處理的簡單步驟及相關知識。

關鍵詞：自然語言處理;Python

中圖分類號：G4文獻標識碼：Adoi：10.19311/j.cnki.1672-3198.2019.07.085

在日常生活中，聊天機器人的應用已經(jīng)十分普遍，例如可以自動回復的聊天客服機器人。但是，在大多數(shù)情況下，這些聊天機器人只能處理簡單的文字或符號，有些聊天機器人甚至需要要求使用者輸入特定的語言或符號，才能對其進行處理。在使用Python相關代碼進行構建的情況下，聊天機器人便可以對自然語言的文本進行處理，包括對單詞進行分類，統(tǒng)計特定文字或單詞的使用率，以及找出文本與作者或年代的聯(lián)系。由于相關領域還處于發(fā)展階段，所以Python代碼目前主要實現(xiàn)對于英文文本的處理。

1利用Python語言實現(xiàn)對于文本的簡單處理

在Python中，對于文本的處理是基于變量的。但是，不同于一般的程序，在處理自然語言文本時，變量變?yōu)榱藛卧~，詞組，甚至可以是一個句子。編寫相關代碼，便可以對文本變量進行處理。

1.1利用Python函數(shù)

在Python中，有很多程序自帶的函數(shù)可以對文本變量進行處理。與對于其他變量的處理相同，可以自行輸入單詞和文本。每個單詞可以看作一個單一的變量，除了輸入單一的單詞之外，還可以輸入文本，將以類似于字符串的形式儲存。在輸入文本之后，Python自帶的函數(shù)可以完成對于單個單詞長度的統(tǒng)計，即單詞的字母數(shù)量，以及文本中特定單詞的搜索和統(tǒng)計。除此之外，多個以字符串形式儲存的文本還可以進行合并，對于單個文本可以進行對于特定單詞的搜索和文本詞數(shù)的統(tǒng)計。

1.2對于文本的延伸處理

除了對于文本中特定的單詞進行搜索和整體次數(shù)的統(tǒng)計，我們還可以對于文本進行其他處理，獲取其他關于文本的數(shù)據(jù)，從而豐富我們對于文本的了解。首先，可以對文本中特定單詞的使用情況進行統(tǒng)計，從而獲得不同單詞的使用頻率。依據(jù)此數(shù)據(jù)，我們可以了解不同單詞的使用情況，從而獲得文本的用詞特點，分析出作者的寫作習慣。其次，利用編程語言中簡單的分支結構，可以對文本中每個單詞進行判斷。例如，篩選出文本中所有長度大于某個值的單詞，并進行計數(shù)，我們便可以判斷出文本的難易程度，并可以以這個數(shù)據(jù)為基礎，對文本的難易程度進行量化。除此之外，我們還可以利用Python中自帶的collocation函數(shù)，對于文本中的詞組進行提取，從而對文本進行進一步分析，也可以得出作者的習作習慣。

1.3對文本進行簡化處理

在文本中，除了單詞之外，標點和數(shù)字也是文本的組成部分。但是，在大部分情況下，我們只需要對文本中的單詞進行分析，所以我們需要獲得純文本來幫助我們更好地進行相關處理。除此之外，在某些情況下，我們只需要對文本中較長的單詞進行處理，來了解作者的寫作習慣和用詞傾向。在這種情況下，我們可以設置一個合適的單詞長度，并以此作為標準對文本進行篩選。

2獲得字數(shù)較多的文本（語料庫）

雖然在Python程序中，我們可以通過手動輸入來輸入單詞和文本，但是在需要輸入文字較多的文本，甚至獲得一個語料庫時，這個方法很明顯將不再適用，所以我們需要新的方法來獲取字數(shù)較多，更為復雜的文本。

2.1Python程序中自帶的語料庫

在Python中，有一些自帶的文本可以輕松獲取，這些語料庫中的文本可以用于試驗新的代碼，并且為初學者提供了素材。其中，Python自帶的語料庫包括：gutenberg corpus，web and chat text，brown corpus，reuters corpus，inaugural address corpus和annotated text corpus。除此之外，Python還自帶一些其他語言的語料庫，包含超過300種不同的語言。

2.2語料庫的不同結構

不同的語料庫有著不同的結構。最簡單的語料庫是文本的集合，沒有特殊的結構，Python中自帶的gutenberg corpus和web and chat text就是這種語料庫。有些語料庫會根據(jù)文本的類型，風格，作者和語言進行分類，例如Python中自帶的brown corpus。有些時候一個文本可能同時屬于多個類別，即分類時有重疊，例如Python中自帶的reuters corpus。除此之外，還有按時間順序對文本進行分類的語料庫，這類語料庫通常為新聞文本，例如Python中自帶的inaugural address corpus。與以上的幾種語料庫都不同的是annotated text corpus，這個語料庫中包含有注釋，例如語法結構，詞性和在文本中的語義角色。

2.3添加自己需要的語料庫

除了Python中自帶的語料庫之外，也可以添加自己準備好的語料庫來進行處理。在程序中利用corpus_root函數(shù)，加上想要引用的語料庫的文件地址便可以引入自己的需要的語料庫。

3對原始文本進行處理

盡管Python中已經(jīng)有許多自帶的語料庫，但絕大多數(shù)情況下，我們需要處理的對象還是自己的文本和語料庫。在Python中，對于文本的處理是基于單詞和簡單文本的，例如一個或多個單詞，以及一句話，我們將它們成為strings。因為單詞由多個字母組成，字符串是基本的處理單位，所以在處理自然語言時，字符串就像是一個最單一的基本變量。

3.1對于字符串的簡單處理和操作

在Python中，與其他編程語言相同，多個字符串可以進行合并，但是不能刪減其中的元素。單個字符串可以進行乘法，以倍數(shù)增加字符串中的元素，例如一個單詞在進行乘法后，會變?yōu)槿齻€單詞儲存在一個字符串內。但是，字符串同樣不能進行除法。

3.2獲取單詞中的特定字母和substring（子字符串）

除此之外，因為字符串是以單個字母為最小基本單位進行儲存的，并且存在順序，所以，我們可以輕易獲得單詞中的特定字母。在字符串中，第一個字母的位置是0，可以說它是字符串中第0個元素，以此類推，所以第五個字符是第四的元素。在大多數(shù)情況下，字符串的長度為12，也就是說一個字符串可以包含12個字母。我們也可以用負數(shù)來表示這個字母在字符串中的位置，第一個字母，也就是第0個元素，對應的是第負12元素，以此遞增，最后一個字母，第11個元素，對應的是負一。

基于以上的原理，我們可以從一個字符串中獲得一個子字符串。寫出想要獲得的第一個和最后一個元素的位置，便可以獲得一個子字符串。眾所周知，英文中有構詞法，所以單詞由詞根詞綴，當我們可以獲得子字符串時，我們就可以借此來提取出單詞的詞根詞綴，將其分解。

3.3字符串與列表的差別

在進行字符串的相加合并時，有一點需要注意的是，字符串只能與字符串進行相加合并，而無法和lists，也就是列表，進行相加合并。因為列表與字符串不同的地方在于，字符串內的元素都是緊密相連的，即使里面包含兩個單詞，也會連在一次。但是在列表中，單詞之間有逗號相隔，可以理解為列表儲存了多個單個單詞的字符串。

3.4在語料庫中進行有條件的搜索

在處理文本時，我們經(jīng)常需要獲得我們需要的單詞，所以我們就要用到搜索。在Python中，我們可以根據(jù)單詞最開始幾個字母的順序，或者末尾幾個字母的順序，也就是詞綴詞根來進行搜索。除此之外，我們還可以設定一個想要搜索到的單詞的范圍，并在語料庫中搜索進行搜索。在我們想要研究不同單詞的使用頻率時，我們可以設定一個最低出現(xiàn)次數(shù)，當某個單詞達到了這個出現(xiàn)次數(shù)后，便滿足了搜索條件，從而達到我們的目的。

4對單詞進行標注

在我們日常學習和使用語言時，會發(fā)現(xiàn)每個單詞都有自己在句子中的位置和特定的屬性，比如動詞，名詞，副詞，形容詞，介詞等等。在用編程語言處理文本時，對于單詞的分類也依然重要，這可以幫助我們分析句子的結構，從而進一步對語義進行分析。

4.1標簽的使用

在Python中，我們可以根據(jù)單詞的詞性對每個單詞進行標注，將單詞的詞性標注在單詞的后方。在經(jīng)過這樣的處理之后，我們便可以對整個語料庫中的文本進行進一步處理，例如我們可以直接利用標簽來搜索名詞，或者，搜索與現(xiàn)有單詞具有相同詞性的單詞，有效地將文本拆分并分類。

4.2不同詞性的單詞的特點

在對文本中的單詞進行過標簽之后，我們需要進一步了解不同詞性的單詞在句中的作用和位置，從而幫助我們更好的理解句意，從而進一步對文本進行處理。

4.2.1名詞（noun）

名詞通常為物理，地點，人或概念，一般情況下出現(xiàn)在定冠詞或形容詞的后面，可以作為整個句子的主語或賓語。

4.2.2動詞（verb）

動詞用來描述發(fā)生的時間或動作，在句子中，動詞表達的關系涉及一個或多個名詞或名詞詞組。

4.2.3形容詞和副詞（adjective and adverb）

形容詞通常用來描述名詞，所以形容詞的出現(xiàn)往往意味著名詞的出現(xiàn)，所以形容詞可以作為指示或預測，來判斷名詞的出現(xiàn)。副詞用來修飾動詞，也可以用來修飾形容詞，同時可以用來表示時間，方向和地點。

4.3詞典

在Python中，不但有自帶的語料庫，還有自帶的詞典。與普通的字典相同，Python中自帶的詞典可以幫助我們查找一個單詞的詞性。除了使用Python中自帶的詞典之外，我們還可以自己定義一個詞典，來幫我們處理文本。有些時候，我們也可以將詞典進行倒置，也就是說，我們不但可以利用詞典來搜索已知單詞的詞性，也可以根據(jù)詞性來搜索相應的單詞，這樣可以幫助我們更好的拆分句子結構，從而進一步對文本進行處理。

5從文本中提取信息

在大多數(shù)情況下，語料庫中包含的文本往往數(shù)據(jù)量十分巨大，而我們不可能對如此龐大的數(shù)據(jù)進行處理，所以我們需要從文本中提取出我們需要的信息來進行處理。通常情況下，我們需要先對文本的不同部分的信息進行分類識別，然后再進行提取。

5.1組塊（chunking）

在對一個句子進行劃分時，我們可以將句子分為不同的組塊。組塊可以是單個單詞，也可以是短語。例如，在分析一個較為復雜的句子時，這個句子可能包含不止一層的結構，因此組塊的大小也會因此發(fā)生變化。在第一層機構中，有些組塊可能包含很多單詞，但是在第二層結構中我們便可以將這些大的組塊再次劃分成小的組塊，以此類推。在進行完這樣的劃分后，我們便可以清晰地了解到句子的結構，從而提取出我們需要的信息。

5.2句子中的遞歸結構

復雜的句子一般包含有多層結構，所以在對較為復雜的句子進行拆分時，我們可以使用遞歸的思想，一層一層地來進行拆分。

6理解句子含義

在理解句子含義時，我們可以將句子轉化為一階邏輯（first-order logic），但是有些句子是無法轉化為一階邏輯的，這也是目前存在的缺陷和對于語言處理的局限。

7挑戰(zhàn)

盡管我們已經(jīng)可以利用編程語言來對自然語言進行一些簡單的處理，但在某些情況下，我們還是無法對所有的自然語言都進行處理。在將文本轉化為一階邏輯時，也不可避免地會出現(xiàn)許多直觀的錯誤。

自然語言處理在人工智能領域有著很大的作用，但是它仍處在發(fā)展階段。目前，我們也僅限于一些簡單的處理，而未來的發(fā)展也面臨一些挑戰(zhàn)，比如在分析代詞的過程中，代詞在句子中的指代對象有很多種可能，僅僅通過句子結構和詞性是遠遠不夠的，而需要憑借對于語義的理解才能獲得準確的判斷。相信隨著人工智能的發(fā)展，人們將會在處理自然語言方面有著更大的進步。

參考文獻

[1]孫雋韜，陳炳，黃愛華.一種基于Python的商品評論數(shù)據(jù)智能獲取與分析技術[J].現(xiàn)代計算機（專業(yè)版），2018，（14）.