NLP 五大趨勢發展

NLP(Natural Language Processing)自然語言處理是人工智慧領域中,一項利用數學模型及演算法,讓機器去認知、理解我們語言的技術。

在我們日常生活中,已經可以看到許多應用實例,例如:平台上的客服聊天機器人、或是智慧音箱內建的智能助理,都運用 NLP 技術分析我們輸入的語言、然後做出適當的回應。

NLP已發展超過數十年,目前我們觀察到NLP五大趨勢發展:

  1. Transformer Everywhere

NLP技術不僅僅分析文字或是口語,越來越多機器學習模型(Transformer model)應用到電腦視覺領域,例如圖像分類(image classification )、物件偵測 (object detection)、語意影像分割(semantic image segmentation)。根據實測,Vision Transformer (ViT) 相較 CNN(Convolutional Neural Networks,卷積神經網路) 在計算效率與準確率都提升4倍以上。

  1. Multimodel Learning

如同我們學習外語,若能夠同時有聽、說、讀、寫四種不同能力的訓練,將可增進我們對該項外語的掌握度與流暢度。機器也是一樣,如果能有照片、聲音、影片等多項不同類型的資訊,將可協助機器提升分析的準確率。

  1. Zero and Few Shot learning

機器學習的挑戰之一是獲得大量高品質、且標注好的數據,零樣本學習(Zero-Shot Learning )與小樣本學習(Few-Shot Learning)藉由使用沒有標註、或少量標註的的數據達成機器學習目的,例如:對比語言-圖像預訓練(Contrastive Language-Image Pre-training,CLIP)是其中一種因應缺乏標註數據的解決方案。

  1. Model Optimization

另外一個將 NLP 應用到實作環境中的挑戰是將模型縮小、以優化訓練演算法,例如使用Quantization (將資料的精準度降低、如降低圖片畫質)、Model Pruning (模型減枝)、Knowledge Distillation(知識蒸餾)等方式,讓需要分析的數據輕量化,達成優化訓練模型、提升演算效率的成效。

  1. Industry Adoption

上述的客服聊天機器人,除了偵測使用者想要詢問的問題外,也會藉由語意分析偵測使用者的情緒,讓機器人的回覆更人性化;除此之外,我們也發現醫療產業運用 NLP技術,進行醫療問題答覆、醫學影像分析、醫療診斷協助等項目。

人工智慧領域除了NLP外,MLOps(機器學習模型管理)、Data Governance(資料治理)、Reinforcement Learning (強化學習)也是現今熱門及值得關注的技術,我們將在未來的文章與大家分享。

延伸閱讀

「Web 2.0」一詞首創者怎麼看 「Web 3.0」

作者:呂寧真

O’Reilly台灣代表

I may not be talented enough to be a wise man or innovator, but I can still change the world by spreading their knowledge.

職場生涯嘗試許多不一樣的領域,例如:語言學習、音樂、動畫、資訊教育,看似跨產業,核心仍圍繞在數位內容,及藉由內容的傳播促成企業之間的合作,看到內容為其他企業或個人帶來的改變,是工作以外的收穫與滿足。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

Scroll to Top