瞭解一下自然語言理解技術概述-開課吧

自然語言理解以語言學為基礎，融合邏輯學、計算機科學等學科，透過對語法、語義、語用的分析，獲取自然語言的語義表示。

瞭解一下自然語言理解技術概述-開課吧

1、基於規則的方法

指利用規則定義如何如何從文字中提取語義。大致思路是人工定義很多語法規則，它們是表達某種特定語義的具體方式，然後自然語言理解模組根據這些規則解析輸入該模組的文字。

優點：靈活，可以定義各種各樣的規則，而且不依賴訓練資料；

缺點：需要大量的、覆蓋不同場景的規則，且隨著規則數量的增長，對規則進行人工維護的難度也會增加。

結論：只適合用在相對簡單的場景，其優勢在於可以快速實現一個簡單可用的語義理解模組。

2、基於統計的方法

通常使用大量的資料訓練模型，並使用訓練所得的模型執行各種上層語義任務。

優點：資料驅動且健壯性較好；

缺點：訓練資料難以獲得且模型難以解釋和調參；

通常使用資料驅動的方法解決分類和序列標註方法。

瞭解一下自然語言理解技術概述-開課吧

3、具體實踐中，兩種方法結合使用

沒有資料及資料較少時先採取基於規則的方法，當資料積累到一定規模時轉為使用基於統計的方法。

在一些基於統計的方法可以覆蓋絕大多數場景，在一些其覆蓋不到的場景中使用基於規則的方法兜底，以此來保證自然語言理解的效果。

4、應用

意圖識別

實質：分類問題

輸入：句子的文字特徵

輸出：句子文字特徵所屬的意圖分類

演算法：SVM、AdaBoost演算法等

實體抽取

實質：序列標註

輸入：句子的文字特徵

輸出：每個詞或每個字屬於實體的機率

演算法：隱馬爾可夫模型（hidden Markov model，HMM），條件隨機場（conditional random field，CRF）

注：當資料量足夠大時，使用基於神經網路的深度學習方法處理意圖識別和實體抽取任務可以取得更好的效果。

人工智慧的應用包括哪些？

人工智慧興起背後的擔憂

人工智慧發展的新方向