大模型知識庫對比外掛知識庫優(yōu)劣分析
文章摘要：大語言模型改變了我們獲取信息、學習和交流的方式，讓我們能夠迅速獲得精準答案，能理解和生成自然語言文本，減輕了文字工作者的負擔，在醫(yī)療、教育、法律、金融等各個領域逐漸滲透。然而，大語言模型的構(gòu)建和應用仍存在許多爭議和討論，其中最核心的爭議之一是如何將新的知識或領域知識融入到模型中。
ChatGPT的火爆把“大語言模型”這個新名詞推到了大眾的視野里。
大語言模型 (large language model，LLM) 是一種語言模型，由具有許多參數(shù)（通常數(shù)十億個權(quán)重或更多）的神經(jīng)網(wǎng)絡組成，使用自監(jiān)督學習或半監(jiān)督學習對大量未標記文本進行訓練。
大語言模型改變了我們獲取信息、學習和交流的方式，讓我們能夠迅速獲得精準答案，能理解和生成自然語言文本，減輕了文字工作者的負擔，在醫(yī)療、教育、法律、金融等各個領域逐漸滲透。
然而，大語言模型的構(gòu)建和應用仍存在許多爭議和討論，其中最核心的爭議之一是如何將新的知識或領域知識融入到模型中。
一種常見的方法是，將知識訓練進基礎模型，使其在生成文本時能夠反映出這些知識。這種方法可以使模型更加準確和一致，但同時也增加了模型的訓練難度和成本，并且模型的幻覺問題（指模型在生成文本時，可能會出現(xiàn)與事實不符的情況，這是因為模型在訓練過程中可能會受到某些偏差或噪聲的影響）也不易控制。
另一種方法是使用外掛知識庫，直接在模型外部存儲和管理知識庫。這種方法可以更加靈活地管理和更新知識，外掛知識庫可以包含各種領域的知識，比如醫(yī)學、法律、金融、制造業(yè)等，從而使模型在生成文本時能夠更加準確地反映出這些知識。此外，這種方法還可以降低模型的訓練難度和成本，同時降低模型出現(xiàn)幻覺問題的概率。問題在于，如何高效的從外掛知識庫召回知識，成為整個流程的瓶頸。此外，外掛的知識庫和模型中存在的世界知識之間的關(guān)系也需要厘清，以確保模型在生成文本時能夠準確地反映這些知識。
接下來，我們將結(jié)合沃豐科技自研“原心大模型”的研發(fā)與實踐經(jīng)驗，探討、對比以上兩種行業(yè)大模型訓練方法，分析它們在不同場景下的優(yōu)缺點，并提出一些實用的建議。通過深入理解這兩種方法，能夠幫助企業(yè)更好地選擇和應用大語言模型，以適應不同的需求和挑戰(zhàn)。
一、將知識訓練進基礎大模型
將知識訓練進基礎模型，是大型語言模型的核心環(huán)節(jié)，這使得模型能夠在生成文本時反映出新的知識或領域知識。其訓練方法多種多樣，可以選擇全量修改基礎模型的參數(shù)，或者凍結(jié)某些參數(shù)層，近修改少量層。此外，還可以使用Prompt Tuning方式，在保持基礎模型不改變的情況下訓練增量模型。
l?預訓練-微調(diào)是一種無監(jiān)督的學習方法，先讓模型在大規(guī)模的無標簽語料庫上進行預訓練，學習到語言通用規(guī)則，然后在特定任務的數(shù)據(jù)上進行微調(diào)，使模型適應特定任務。這種方法可以提高模型的泛化能力（即通用能力），但需要大量的計算資源和時間。指令微調(diào)是一種有監(jiān)督的學習方法，它通過提供明確的訓練數(shù)據(jù)和指令，讓模型學習如何完成特定任務，這種方法可以快速適應新的任務，但需要明確的訓練數(shù)據(jù)和指令。
另外，我們也可以使用Prompt Tuning方式，在保持基礎模型不改變的情況下訓練增量模型，比如LoRA和PTuning-V2。這種訓練方式可以在不改變基礎模型的情況下，通過訓練增量模型來增加新的知識和領域知識。
根據(jù)我們的經(jīng)驗，全量參數(shù)訓練時，注入新知識最好先采用無監(jiān)督學習的方式，添加包含新知識的無監(jiān)督語料，混合基礎無監(jiān)督語料一起訓練。這種方法不僅可以增強模型的知識儲備，還可以維持新舊知識連貫性。需要注意的是，在訓練過程中，要在新舊語料比例方面找到適當?shù)钠胶?，以確保模型既能夠有效地吸收新知識，也能減少模型對舊知識的遺忘。
總的來說，基礎模型在大語言模型中起著關(guān)鍵的作用，通過預訓練和微調(diào)，可以使模型學習到豐富的語言知識和結(jié)構(gòu)，并使其適應特定的任務和領域。而訓練方法的選擇，取決于具體的應用場景和任務需求。
二、大模型外掛知識庫
外掛知識庫是一種獨特的數(shù)據(jù)存儲和管理工具，其主要功能是實時提供知識信息，以擴充或限制語言模型的知識范圍。不同于基礎模型，外掛知識庫并不依賴于語言數(shù)據(jù)訓練，而是通過組織和存儲結(jié)構(gòu)化、非結(jié)構(gòu)化的知識進行工作。接下來，讓我們更深入地了解其優(yōu)點、挑戰(zhàn)和可能的解決方案。
外掛知識庫的優(yōu)點
1. 更新速度快：由于外掛知識庫可以獨立于基礎模型進行更新，它可以快速適應信息的變化，實時更新知識庫中的信息。
2. 私有化定制：外掛知識庫可以定制和管理不同領域的知識，因此它能提供更專業(yè)、更準確的信息。
3. 與基礎模型解耦：這意味著基礎模型和外掛知識庫兩部分可以各自升級和改進，而不會互相影響，為開發(fā)人員提供了更大的靈活性。
外掛知識庫的挑戰(zhàn)
1.?額外成本高：外掛知識庫需要人工維護和更新，需要單獨開發(fā)召回算法和排序算法。
2.?內(nèi)容解析難度大：外掛知識庫需要將各種格式的知識內(nèi)容（圖文、表格、PPT等）梳理和解析到知識庫中。
3.?知識融合問題：由于外掛知識庫和基礎模型是分離的，因此在融合兩者的信息時可能會出現(xiàn)不匹配、不一致的問題。
4.?知識表示問題：不同類型的知識可能需要保存成不同長度的知識片段，而且知識片段通常不是問答形式，和查詢語句在形式上有差異。
總的來說，盡管外掛知識庫有其局限性，但它仍然是一個強大的工具，能夠提供更全面和準確的知識支持，以增強語言模型的能力。通過合理的方法和設計，我們可以充分利用外掛知識庫的優(yōu)勢，最大限度地提高其效益。
可以看到，將知識訓練到基礎模型的方法適用于那些知識領域性強，專業(yè)度高的場景，比如醫(yī)療問答、法律法規(guī)判定等。這種方法可以讓模型更好地理解和運用行業(yè)知識，提高模型在垂直領域（行業(yè)）的智力。但是，它需要大量的行業(yè)知識和計算資源，訓練成本較高，訓練時間較長。此外，如果行業(yè)知識更新較快，那就需要不斷更新模型，維護成本也較高。另一方面，和基礎模型耦合之后，基礎模型升級后可能需要重新訓練，帶來不必要的消耗和風險。
而外掛知識庫的方法，適用于那些知識概念較常用且數(shù)據(jù)私有化要求高的場景，比如企業(yè)文檔問答、企業(yè)知識梳理等。這種方法可以提供更加準確和可靠的知識支持，提高模型的可靠性和準確性，同時保證企業(yè)的知識不被訓練到大模型中，一定程度上保證了企業(yè)知識的安全性。但這種方法需要手動構(gòu)建和維護知識庫，人工的工作量較大，而且知識庫的質(zhì)量和更新速度也會直接影響模型的效果。此外，如果知識庫過于龐大，可能會影響模型的推理速度和效率。
綜上所述，將知識訓練到基礎模型和使用外掛知識庫各有優(yōu)缺點，應根據(jù)具體的應用場景和需求來選擇合適的方法。
》》點擊免費試用智能知識庫系統(tǒng)，優(yōu)勢一試便知
文章為沃豐科技原創(chuàng)，轉(zhuǎn)載需注明來源：http://www.yzny.net.cn/ucm/faq/59194
