ChatGPT 的誕生打響了現(xiàn)代 AI 軍備競(jìng)賽的第一槍。以 GPT-4、ChatGTP、Bard 等為代表的大語言模型在全球各界引起了廣泛關(guān)注。結(jié)合 ChatGPT 的底層技術(shù)邏輯，未來中短期內(nèi) ChatGPT 產(chǎn)業(yè)化的方向大致有四類：即智能客服、文字模態(tài)的 AIGC 應(yīng)用、代碼開發(fā)相關(guān)工作以及圖像生成。其中，最適合直接落地的項(xiàng)目就是智能客服類的工作。

基于大模型技術(shù)所構(gòu)建的智能客服正在從根本上改變傳統(tǒng)的人機(jī)交互過程，大模型自動(dòng)生成對(duì)話流程讓運(yùn)營(yíng)智能客服更高效，可以提升復(fù)雜纏繞問題解決率、人機(jī)交互感知程度，以及意圖理解、流程構(gòu)建、知識(shí)生成等運(yùn)營(yíng)內(nèi)容的效率。

如果單從產(chǎn)品滲透率層面來看，智能客服早在過去的七八年里就已經(jīng)在電商、金融等等領(lǐng)域慢慢普及開來了。大模型帶來的兩個(gè)核心改變，一個(gè)是開發(fā)智能客服產(chǎn)品的成本大幅度下降，另一個(gè)就是用戶體驗(yàn)的提升。

那么，想要將 LLM 大語言模型與智能客服產(chǎn)品進(jìn)行結(jié)合，或者將前者落地于 ToB SaaS 應(yīng)用軟件領(lǐng)域，該如何著手搭建技術(shù)棧？大模型產(chǎn)品將如何賦能智能客服產(chǎn)品？本期《極客有約》我們特別邀請(qǐng)了 bothub 創(chuàng)始人，布奇托網(wǎng)絡(luò)科技創(chuàng)始人兼 CTO 徐文浩擔(dān)任主持人，與華院計(jì)算技術(shù)總監(jiān)兼數(shù)字人事業(yè)部聯(lián)合負(fù)責(zé)人賈皓文、中關(guān)村科金智能交互研發(fā)總監(jiān)、中關(guān)村科金智能客服技術(shù)團(tuán)隊(duì)負(fù)責(zé)人王素文，京東云言犀 KA 產(chǎn)品負(fù)責(zé)人王超一同探討 AIGC 在智能客服產(chǎn)品中的落地及未來發(fā)展趨勢(shì)。

以下為訪談實(shí)錄整理。

徐文浩：觀眾朋友們，大家好！歡迎來到 InfoQ《極客有約》。今天的主題是《天工刊物 AIGC》 特別策劃。我們希望通過這個(gè)策劃，讓大家全面了解 AIGC 在智能客服領(lǐng)域的方方面面，深入感知這場(chǎng)變革。

在本期節(jié)目中，我們邀請(qǐng)了三位嘉賓與大家討論 AIGC 在智能客服領(lǐng)域的應(yīng)用。整體上，我們將分為三個(gè)部分進(jìn)行討論。首先是 AIGC 大模型在智能客服產(chǎn)品中的落地應(yīng)用；其次是智能客服中 AIGC 架構(gòu)的部署和工具應(yīng)用的設(shè)計(jì)與選擇；最后是構(gòu)建高質(zhì)量對(duì)話系統(tǒng)的方法。

今天的三位嘉賓都是在智能客服和智能交互產(chǎn)品領(lǐng)域有著豐富經(jīng)驗(yàn)的專家。第一位嘉賓是京東云言犀 KA 產(chǎn)品負(fù)責(zé)人王超老師。第二位嘉賓是中關(guān)村科金智能交互研發(fā)總監(jiān)王素文老師。第三位嘉賓是華院計(jì)算技術(shù)總監(jiān)兼數(shù)字人事業(yè)部聯(lián)合負(fù)責(zé)人賈皓文老師。

我們先從第一個(gè)問題開始，我非常好奇：AIGC 的出現(xiàn)對(duì)智能客服帶來了哪些變化？我想先請(qǐng)京東云的王老師來分享一下您的看法。在您的觀察中，AIGC 的出現(xiàn)給智能客服帶來了哪些革新？

王超：AIGC 的出現(xiàn)引起了整個(gè)智能客服領(lǐng)域的廣泛關(guān)注，并促使相關(guān)同行進(jìn)行了大量的探索。對(duì)于智能客服的認(rèn)知和未來的改變，這些認(rèn)知變化在日新月異。

京東云言犀團(tuán)隊(duì)一直密切關(guān)注國(guó)內(nèi)外智能客服應(yīng)用的進(jìn)展。另外，我們正在研發(fā)的言犀大模型將于 7 月發(fā)布，同時(shí)我們也在持續(xù)進(jìn)行客服業(yè)務(wù)中的各種大模型實(shí)驗(yàn)。近幾個(gè)月以來，我個(gè)人對(duì) AIGC 的理解和 3 個(gè)月前已經(jīng)完全不同，所以今天我想分享的觀點(diǎn)更多代表個(gè)人意見和當(dāng)前的看法。

AIGC 對(duì)智能客服帶來的影響可以從兩個(gè)層面來看。首先，從我們行業(yè)常見的管理問題和技術(shù)難題的角度來看，AIGC 具有解決的潛力。我們都知道，大模型對(duì)于智能客服的應(yīng)答水平、擬人度和服務(wù)體驗(yàn)等方面都會(huì)帶來巨大的提升，并且能夠大幅降低運(yùn)營(yíng)成本。

在機(jī)器人方面，我認(rèn)為不需要過多展開討論，因?yàn)槲覀円呀?jīng)將很多注意力放在機(jī)器人上了。我想說的是，大模型在廣泛的智能客服領(lǐng)域中，特別是客服管理智能化方向上的驗(yàn)證信息。例如，我們?cè)谥悄茌o助方面的實(shí)踐，以往的一些技術(shù)在一些關(guān)鍵點(diǎn)上的推薦和會(huì)話中關(guān)鍵信息的提取等問題，盡管有解決方法，但成本和效果通常難以取得很好的平衡。然而，通過大模型的驗(yàn)證，我們發(fā)現(xiàn)它在處理這些問題上有很好的解決能力和潛力。另外，對(duì)于質(zhì)檢工作來說，行業(yè)中普遍使用的關(guān)鍵詞正則等方法或者智能質(zhì)檢方法，雖然有一定效果，但準(zhǔn)確率往往較低，工作量也很大，提升準(zhǔn)確率的周期較長(zhǎng)。

然而，通過大模型的實(shí)踐，我們發(fā)現(xiàn)它在理解抽象質(zhì)檢標(biāo)準(zhǔn)和執(zhí)行質(zhì)檢工作方面效果很好。此外，在員工培訓(xùn)方面，我們已經(jīng)看到一些頭部銀行引入對(duì)話機(jī)器人進(jìn)行培訓(xùn)的例子。除了以上所述，我們還在客服中心進(jìn)行經(jīng)營(yíng)分析，需要總結(jié)客戶咨詢中的需求、客戶畫像以及風(fēng)險(xiǎn)等方面的信息，而在實(shí)驗(yàn)中，大模型的效果也非常好。我認(rèn)為在泛智能客服領(lǐng)域中，大模型的應(yīng)用潛力是巨大的。我們相信，大約在半年左右的時(shí)間內(nèi)，市面上的主流產(chǎn)品將迎來一次重要的升級(jí)。

基于目前對(duì)該行業(yè)和領(lǐng)域的理解，我們可以探討更廣泛的領(lǐng)域是否會(huì)發(fā)生變化。例如，它能給客服和客戶服務(wù)帶來哪些變化？我認(rèn)為這個(gè)問題可能更具挑戰(zhàn)性，而且在目前的階段，沒有人能夠確定具體的變化。但我們相信，至少在某些方向上，例如主動(dòng)服務(wù)方面，它將帶來巨大的變化。舉個(gè)例子，電商經(jīng)常進(jìn)行各種活動(dòng)，而活動(dòng)的宣傳和解釋工作通常不會(huì)落在客服中心。因?yàn)槿绻萌斯せ騻鹘y(tǒng)的機(jī)器方式進(jìn)行這種廣泛的活動(dòng)承接，都是非常困難的。但我們可以想象一個(gè)未來，通過引入大模型，通過基礎(chǔ)信息的輸入，我們的客服可以很好地解釋許多活動(dòng)，這代表著未來客戶服務(wù)在主動(dòng)轉(zhuǎn)型和升級(jí)方面可能存在的潛力。

徐文浩：我總結(jié)一下，實(shí)際上，AIGC 的出現(xiàn)將智能客服領(lǐng)域中可以應(yīng)用智能部分的范圍擴(kuò)大了。不僅僅是回答售后問題這樣的傳統(tǒng)智能領(lǐng)域，而是整個(gè)客服環(huán)節(jié)的各個(gè)方面都可以應(yīng)用大模型，甚至可以延伸到營(yíng)銷領(lǐng)域。王素文老師，從您的視角看到了怎樣的現(xiàn)象？

王素文：正如剛才提到的，智能客服領(lǐng)域的范圍非常廣泛。智能客服和機(jī)器人等技術(shù)實(shí)際上可以改變傳統(tǒng)的人機(jī)交互過程。通過大模型的運(yùn)用，特別是利用自動(dòng)生成對(duì)話流程，可以使傳統(tǒng)智能客服的運(yùn)營(yíng)更高效。在傳統(tǒng)方式中，我們通常需要通過人工手動(dòng)配置知識(shí)庫(kù)等方式，但效果并不明顯。然而，通過大模型的自動(dòng)生成對(duì)話流程，可以直接提高解決復(fù)雜問題的能力和問題的直接回答率，這是一個(gè)顯著的顛覆性影響。

第二點(diǎn)是，大模型還能實(shí)現(xiàn)降低成本、提高效率的目標(biāo)。從智能化的角度來看，人工成本一直相對(duì)較高，因?yàn)樗枰斯ぽo助機(jī)器。通過大模型的應(yīng)用，可以輔助提升知識(shí)庫(kù)建設(shè)和運(yùn)營(yíng)的效率，從而實(shí)現(xiàn)顯著的降本增效效果。

第三點(diǎn)是，關(guān)于機(jī)器人的擬人度和用戶體驗(yàn)。傳統(tǒng)的機(jī)器人在這些方面常常不盡如人意。然而，大模型的出現(xiàn)使得對(duì)話更流暢，擬人化程度更高，更像人與人之間的交流。這是一個(gè)非常強(qiáng)大的顛覆性影響。

當(dāng)然，對(duì)于泛客服而言，包括質(zhì)檢、助手和陪練等方面，大模型也會(huì)帶來相應(yīng)的顛覆性影響，不同的產(chǎn)品會(huì)產(chǎn)生不同的影響。

徐文浩：我注意到賈老師是數(shù)字人事業(yè)部擔(dān)任聯(lián)合負(fù)責(zé)人，從您的角度來看，如果將智能客服與數(shù)字人結(jié)合，是否會(huì)帶來一些新的革新呢？

賈皓文：在回答這個(gè)問題之前，我想先回到智能客服領(lǐng)域。智能客服的發(fā)展本質(zhì)上可以追溯到人工智能的歷史，它建立在語言的積累基礎(chǔ)上。我還記得大約十年前，有幾層樓都是客服人員，他們的大部分工作時(shí)間都耗費(fèi)在用戶問題整理上。當(dāng)時(shí)，甚至連現(xiàn)在兩位老師提到的知識(shí)庫(kù)等工具也不是很完備。

現(xiàn)在回顧一下，支付寶等客服產(chǎn)品從最初的知識(shí)庫(kù)到后來的高級(jí)助手，逐步擴(kuò)展，衍生出像 Rasa 框架這樣的用于模擬多輪對(duì)話場(chǎng)景的工具。然而，與剛才兩位老師所說的一樣，所有這些對(duì)話過程在人格擬人化方面仍然有所欠缺。以前的所有客服類工具本質(zhì)上都無法通過計(jì)算機(jī)行業(yè)標(biāo)準(zhǔn)測(cè)試。但是，當(dāng)大模型出現(xiàn)后，尤其是像 ChatGPT 或小羊駝（Vicuna）等，它們具有一定程度的人格特質(zhì)，盡管可能是 10 歲或 11 歲孩子的水平。在某種程度上，它們能夠通過圖靈測(cè)試。

現(xiàn)在回到您之前提出的問題，將智能客服與數(shù)字人結(jié)合，會(huì)帶來一些新的革新。在數(shù)字人領(lǐng)域的起初階段，基于知識(shí)庫(kù)和大模型的方式進(jìn)行與人類的擬人化問答是無法實(shí)時(shí)完成的。然而，隨著技術(shù)的擴(kuò)展，我們已經(jīng)能夠?qū)崿F(xiàn)擬人形象，并結(jié)合大型模型來模擬真實(shí)的場(chǎng)景。當(dāng)我們將其應(yīng)用于知識(shí)庫(kù)、客服以及數(shù)字員工等場(chǎng)景時(shí)，數(shù)字人領(lǐng)域可能面臨兩個(gè)挑戰(zhàn)。首先是數(shù)據(jù)的完備性，盡管 ChatGPT 等看起來很酷，但它們本質(zhì)上是基于過去的歷史數(shù)據(jù)生成的，類似于完形填空的生成。雖然這種方法能夠提高效率并降低腳本撰寫的成本，但生成內(nèi)容的質(zhì)量實(shí)際上是無法控制的。在數(shù)字人和智能客服領(lǐng)域等綜合領(lǐng)域的產(chǎn)出內(nèi)容中，我們無法完全確信生成的內(nèi)容。因此，我們可能需要引入不同的驗(yàn)證和保障措施，以確保數(shù)字人或 ChatGPT 等所說的話更像是人類在說話，而不是胡言亂語。

總結(jié)下，雖然現(xiàn)在大模型可能比較火，未來的前景也很廣闊，但當(dāng)下階段它還是一個(gè)從 0 到 1 的狀態(tài)。未來我們可能期望它長(zhǎng)成參天大樹，但是現(xiàn)在不管是對(duì)整個(gè)行業(yè)來說，還是大家對(duì)它的期望來說，還是要讓它在一個(gè)比較好的土壤里面逐步成長(zhǎng)，真正的能夠給智能客服、給數(shù)字人等領(lǐng)域來帶來效率的提升。

徐文浩：我想深入探討一下這個(gè)問題。我想問一下賈老師，根據(jù)您的觀點(diǎn)，如果我們現(xiàn)在在智能客服領(lǐng)域引入大模型，是否會(huì)帶來收益？我指的是就當(dāng)前情況而言，不考慮兩年或三年后的發(fā)展。就現(xiàn)在的角度來看，從您的客戶或內(nèi)部產(chǎn)品的角度來看，引入大模型是否會(huì)帶來收益？

賈皓文：是否引入大模型取決于具體的業(yè)務(wù)場(chǎng)景和用戶需求。對(duì)于大型公司如螞蟻金服或京東等擁有龐大而成熟的系統(tǒng)的情況，盲目引入大模型可能會(huì)增加額外成本。我們需要采取一些兼容性措施來規(guī)避 AI 生成內(nèi)容帶來的不確定性。對(duì)于規(guī)模較小的公司來說，將大模型作為知識(shí)庫(kù)的補(bǔ)充，并輔助一定程度的人工審核，可能是一種提高效率的好方法。它可以幫助智能客服更好地理解用戶的語義，提升知識(shí)庫(kù)的質(zhì)量，甚至改善用戶體驗(yàn)。此外，對(duì)于認(rèn)知智能等更高層次的應(yīng)用，引入大模型可能有助于更好地理解和認(rèn)知用戶。在互聯(lián)網(wǎng)行業(yè)中，有一個(gè)重要的概念叫做"千人千面"，這意味著每個(gè)客服都能夠提供個(gè)性化的服務(wù)。因此，我們需要在辯證的角度來看待是否引入大模型，結(jié)合具體情況做出決策。

徐文浩：賈老師的觀點(diǎn)是對(duì)于大型公司需要小心謹(jǐn)慎地引入大模型，引入大模型可能會(huì)增加成本，增加各種風(fēng)險(xiǎn)，需要依靠原有的方法或模型作為兜底措施。那我想問下王超老師，京東云客服引入 AIGC 了嗎？引入后會(huì)的收益如何？

王超：對(duì)于大型公司在 C 端產(chǎn)品上謹(jǐn)慎應(yīng)用大模型是出于保障顧客體驗(yàn)和服務(wù)安全性的考慮。在面向消費(fèi)者的業(yè)務(wù)中，保持謹(jǐn)慎是至關(guān)重要的。在這方面，驗(yàn)證和實(shí)驗(yàn)都是以非常謹(jǐn)慎的態(tài)度推進(jìn)的。

在面向 B 端或面向運(yùn)營(yíng)的領(lǐng)域，您們?cè)趯?shí)驗(yàn)和驗(yàn)證更加“勇敢”。我們?cè)趲椭\(yùn)營(yíng)搭建文案和腳本等方面引入大模型，這為運(yùn)營(yíng)解決創(chuàng)意和效率問題提供了很好的支持。此外，對(duì)于質(zhì)檢、輔助和培訓(xùn)等面向員工管理的方向也非常積極地投入。

大模型是“剛需”還是“跟風(fēng)”？

徐文浩：這個(gè)大概能夠把普通員工的效率提升百分之多少？有沒有測(cè)算過，或者有一些具體的數(shù)據(jù)。

王超：我們目前還沒有對(duì)這個(gè)問題進(jìn)行具體的測(cè)算，因?yàn)榇竽Ｐ偷膽?yīng)用在不同的工作項(xiàng)目中表現(xiàn)各異。例如，在生成腳本和文案方面，它的速度可能會(huì)提升幾倍。然而，在日常分析和質(zhì)檢搭建等方面，效果可能因情況而異。因此，在當(dāng)前階段，我們很難量化并得出一個(gè)準(zhǔn)確的結(jié)論，但是我們確信，大模型的應(yīng)用確實(shí)提高了效率。

徐文浩：王素文老師，您這邊有客戶或產(chǎn)品上引入了 AIGC 嗎？能看到具體的收益嗎？

王素文：在我們的業(yè)務(wù)領(lǐng)域，主要面向 ToB 市場(chǎng)，我們服務(wù)各種不同領(lǐng)域的客戶，例如金融和保險(xiǎn)行業(yè)等。這些客戶在創(chuàng)新方面有一些需求，包括降低成本和提高效率的動(dòng)機(jī)。我們與客戶進(jìn)行了一些共創(chuàng)合作，并進(jìn)行了驗(yàn)證。例如，我們?yōu)槟硞€(gè)客戶創(chuàng)建了營(yíng)銷助手，可以自動(dòng)生成一些文案。傳統(tǒng)上，每個(gè)員工的水平參差不齊，包括營(yíng)銷話術(shù)方面也缺乏標(biāo)準(zhǔn)化和統(tǒng)一性。通過我們的營(yíng)銷助手，首先可以幫助他們生成統(tǒng)一的文案，根據(jù)歷史上的優(yōu)秀經(jīng)驗(yàn)進(jìn)行復(fù)制。其次是降低成本和提高效率，他們不再需要花費(fèi)太多時(shí)間進(jìn)行培訓(xùn)、學(xué)習(xí)、記憶等工作。我們的大模型在行業(yè)中得到了廣泛應(yīng)用。

我們還開發(fā)了電銷機(jī)器人，可以直接回答一些問題。當(dāng)然，我們必須考慮到合規(guī)性問題，包括遵守相關(guān)法律和保護(hù)數(shù)據(jù)安全。我們正在與信創(chuàng)院合作，致力于解決這些標(biāo)準(zhǔn)化問題。

徐文浩：大家確實(shí)在努力嘗試發(fā)揮大模型的能力。然而，目前仍然有許多具體問題需要解決，尤其是可控性和安全性方面的挑戰(zhàn)。從智能客服的角度來看，電商行業(yè)是早期引入智能客服的行業(yè)，因?yàn)橛兄?18”和“雙十一”等大型促銷活動(dòng)，這些活動(dòng)期間的流量峰值非常巨大。

在過去幾年中，國(guó)內(nèi)的服務(wù)提供商也為各種金融機(jī)構(gòu)（如銀行、保險(xiǎn)和理財(cái)機(jī)構(gòu)）開發(fā)了各種智能客服產(chǎn)品。在這種情況下，如果金融機(jī)構(gòu)不使用智能客服，似乎就會(huì)落后。但是，銀行客服等機(jī)構(gòu)并沒有像“618”和“雙十一”那樣的高峰期，那這些機(jī)構(gòu)引入智能客服是出于剛需，還是出于“跟風(fēng)”或危機(jī)感？如果是剛需，那么這種需求最初是從哪里產(chǎn)生的呢？

王超：在數(shù)字化浪潮的推動(dòng)下，金融機(jī)構(gòu)更容易實(shí)現(xiàn)智能客服的落地。在金融領(lǐng)域，智能客服已經(jīng)相對(duì)廣泛應(yīng)用，并成為金融機(jī)構(gòu)比較常見的產(chǎn)品之一。對(duì)于金融機(jī)構(gòu)而言，智能客服的核心需求主要是降低成本和提高效率，它能夠?qū)⑷肆Y源從繁瑣的工作中解放出來。特別是在一些高頻問題的自動(dòng)問答、通知和回訪等業(yè)務(wù)場(chǎng)景中，智能客服可以節(jié)省人力資源，使其能夠?qū)⒕性诟鼘I(yè)、有創(chuàng)造性的工作上，而不是重復(fù)、頻繁且低價(jià)值的工作上。讓他們可以有資源投入到開發(fā)和維護(hù)高凈值客戶方面，更專注于執(zhí)行更有價(jià)值的任務(wù)。此外，隨著新一代的基礎(chǔ)突破，如大模型的出現(xiàn)，智能客服也能夠獲得強(qiáng)大的自然語言生成能力，使其變得更加智能和高效。

徐文浩：所以本身是個(gè)剛需，因?yàn)橛写罅康闹貜?fù)勞動(dòng)要去降本增效。賈老師，你這邊的金融領(lǐng)域客戶或者其他領(lǐng)域是否在關(guān)注智能客服呢？

賈皓文：除了金融領(lǐng)域，像保險(xiǎn)、法律和健康等垂直領(lǐng)域也存在對(duì)大模型的需求。特別是在公司的視角下，對(duì)于生成和提取知識(shí)的需求越來越明顯。當(dāng)我們與銀行或保險(xiǎn)公司交談或與法律工作者討論問題時(shí)，他們提供的信息本質(zhì)上都是事實(shí)性的內(nèi)容。通過大模型，我們可以更好地識(shí)別用戶問題的意圖，并進(jìn)行聚類或分流處理。

如王素老師所說，金融、保險(xiǎn)和法律等行業(yè)的效率提升潛力非常大，這是一個(gè)降低成本和提高效率的過程。從我個(gè)人的角度來看，這是一個(gè)剛需，特別是在效率方面。然而，這些行業(yè)可能不會(huì)采取過于激進(jìn)的方式，因?yàn)榕c金融、保險(xiǎn)和法律相關(guān)的業(yè)務(wù)都是敏感性很高的，需要具備很強(qiáng)的專業(yè)性。在這方面，又引出了另一個(gè)問題，即對(duì)大模型生成結(jié)果的成熟度評(píng)估。雖然像 GPT-4 等大模型在美國(guó)的一些專業(yè)考試中表現(xiàn)良好，但在中國(guó)，特別是在中文這樣龐大而復(fù)雜的語義背景下，它是否能通過相應(yīng)的考試仍然是個(gè)問題，這可能需要進(jìn)一步的研究。在這方面，我們公司計(jì)劃在 7 月份與浙江大學(xué)合作發(fā)布一個(gè)法律垂直領(lǐng)域的大模型，為這個(gè)特定領(lǐng)域提供更好的解決方案。

徐文浩：法律領(lǐng)域的大模型和金融領(lǐng)域類似，對(duì)于生成的質(zhì)量要求非常嚴(yán)格。在法律領(lǐng)域，一個(gè)微小的錯(cuò)誤可能會(huì)對(duì)消費(fèi)者的體驗(yàn)產(chǎn)生負(fù)面影響，甚至對(duì)商家（B 端）造成損失，這對(duì)生成結(jié)果的準(zhǔn)確性和可靠性要求更高。就這個(gè)問題，王超老師怎么看？

王超：我認(rèn)為無論是電商還是金融行業(yè)，對(duì)智能客服的要求都非常嚴(yán)格。另外，對(duì)于電商智能客服來說，大促銷期間和日常的咨詢都非?？捎^。我們團(tuán)隊(duì)在京東的自營(yíng)業(yè)務(wù)中，日常期咨詢量占 70%，高峰期 90%。這 70% 的咨詢量已經(jīng)具有巨大的價(jià)值。我相信這種邏輯也適用銀行等各種機(jī)構(gòu)。我們也注意到一些銀行的智能客服服務(wù)能力仍有不足。因此，我們需要思考如何提升智能客服的成熟度，并且它需要與企業(yè)或銀行的發(fā)展階段相適應(yīng)。目前，許多銀行正處于智能客服的初級(jí)階段，主要集中在 FAQ 和簡(jiǎn)單的多輪對(duì)話構(gòu)建上，而服務(wù)能力和用戶體驗(yàn)可能還無法達(dá)到令人滿意的水平。

基于我們?cè)陔娚填I(lǐng)域的經(jīng)驗(yàn)，我們認(rèn)為銀行智能客服需要進(jìn)一步發(fā)展，特別是在運(yùn)營(yíng)體系方面需要大幅升級(jí)。例如，我們要求基層客服在服務(wù)標(biāo)準(zhǔn)和技巧方面接近人工水平，這對(duì)我們的運(yùn)營(yíng)體系變革具有重大影響。然而，在與銀行合作的過程中，我們發(fā)現(xiàn)許多銀行在智能客服建設(shè)中面臨挑戰(zhàn)。技術(shù)供應(yīng)商與銀行之間的合作更類似于乙方和甲方的關(guān)系，與我們的合作模式有所不同。銀行在組織架構(gòu)和人才培養(yǎng)方面與我們的要求仍存在差距。我們與許多銀行合作伙伴進(jìn)行了交流，發(fā)現(xiàn)一種普遍現(xiàn)象，即他們認(rèn)同我們的發(fā)展方法論，但也感到困難。推動(dòng)內(nèi)部改革對(duì)于銀行來說是復(fù)雜的，需要更多的努力。我相信大模型是一個(gè)機(jī)會(huì)，因?yàn)樗梢越档椭悄芸头倪\(yùn)營(yíng)難度，簡(jiǎn)化組織架構(gòu)，我對(duì)此充滿期待。

徐文浩：我相信大模型對(duì)于在座的各位以及從事智能客服和自然語言處理領(lǐng)域的大部分人來說都是一個(gè)巨大的機(jī)會(huì)。我們的觀點(diǎn)相似，大家都認(rèn)為大模型可以幫助我們實(shí)現(xiàn)更加擬人化和個(gè)性化的對(duì)話體驗(yàn)。然而，當(dāng)面對(duì)向 C 端用戶提供服務(wù)時(shí)，無論是電商還是銀行，大家都會(huì)更加謹(jǐn)慎。我們都希望確保最終的輸出結(jié)果是可控的，無論是涉及 1 萬元存單還是 1000 元訂單，這是一件需要認(rèn)真對(duì)待的事情。

剛才我們也談到了另一個(gè)重要的話題，即用戶體驗(yàn)。我們可以觀察到上一代的智能客服和對(duì)話機(jī)器人，它們的回答都是預(yù)先編寫好的模板，例如關(guān)于送貨地址的回答通常是固定的，只是稍作改動(dòng)。這種固定模板的回答與真實(shí)人工客服相比，存在一定的差距?，F(xiàn)在大家都在努力提升對(duì)話機(jī)器人的擬人程度，讓背后的智能客服更具情感，更能理解用戶情感，并進(jìn)行多模態(tài)的計(jì)算。在這方面，大家是否已經(jīng)投入研發(fā)了呢？

王素文：我認(rèn)為可以從三個(gè)方面來討論：擬人化、人性化和個(gè)性化。

首先是擬人化。在智能客服領(lǐng)域，擬人化一直是一個(gè)痛點(diǎn)，因?yàn)閭鹘y(tǒng)的機(jī)器人在這方面表現(xiàn)還有待改進(jìn)。我們一直在探索如何構(gòu)建擬人化的對(duì)話交互。這涉及到如何設(shè)計(jì)情景化的對(duì)話，如何拆解問題，如何繼承上下文以及如何理解多輪對(duì)話?？傮w而言，我們希望機(jī)器人能夠提供更加貼切、自然的對(duì)話和交互模式。

其次是人性化的服務(wù)。在精準(zhǔn)識(shí)別場(chǎng)景或意圖的基礎(chǔ)上，我們還需要在擬人化的基礎(chǔ)上進(jìn)一步提升服務(wù)。我認(rèn)為多模態(tài)情感計(jì)算是實(shí)現(xiàn)這一目標(biāo)的有效方法。例如，我們公司開發(fā)了虛擬數(shù)字人客服，它可以進(jìn)行人機(jī)交互對(duì)話，并結(jié)合情感計(jì)算，通過視頻、語音和文本等多媒體方式識(shí)別用戶情感表達(dá)。這樣一來，智能客服可以對(duì)用戶做出相應(yīng)的情感反饋，打造出具有情感理解和溫度的人機(jī)交互，實(shí)現(xiàn)更人性化的服務(wù)。在情感計(jì)算方面，傳統(tǒng)的方法有規(guī)則和機(jī)器學(xué)習(xí)兩種模式。通過機(jī)器學(xué)習(xí)，我們可以訓(xùn)練模型自動(dòng)學(xué)習(xí)情感狀態(tài)，并達(dá)到分類的標(biāo)準(zhǔn)，從而更好地適應(yīng)不同領(lǐng)域和語境。這樣可以獲得更優(yōu)秀的情感表達(dá)效果，提供更人性化的服務(wù)。

最后是個(gè)性化服務(wù)。我們需要根據(jù)用戶的畫像實(shí)現(xiàn)個(gè)性化服務(wù)，以實(shí)現(xiàn)“千人千面”的效果。例如，我們開發(fā)了用戶洞察平臺(tái)，通過用戶的基本畫像信息和歷史對(duì)話過程中的洞察分析，可以對(duì)用戶進(jìn)行標(biāo)記和畫像積累。在后續(xù)對(duì)話中，我們可以根據(jù)用戶的畫像為其提供不同的對(duì)話流程、回復(fù)方式和推薦，從而實(shí)現(xiàn)更精準(zhǔn)的個(gè)性化服務(wù)，提升用戶和企業(yè)的滿意度。

徐文浩：王素文老師提供了許多寶貴的經(jīng)驗(yàn)分享，對(duì)于從事智能客服工作的人來說，可以借鑒和模仿。京東作為一個(gè)用戶量和商品量都非常大的平臺(tái)，大家都希望在使用智能客服時(shí)有一種背后是真人的感覺。我想問一下王超老師，京東在實(shí)現(xiàn)“千人千面”的能力上，在研發(fā)和產(chǎn)品方面都做了哪些工作？是否有什么經(jīng)驗(yàn)可以分享給大家？

王超：我們?cè)谔嵘w驗(yàn)和個(gè)性化服務(wù)方面做了很多投入。言犀團(tuán)隊(duì)開發(fā)的情感智能客服是業(yè)界首個(gè)大規(guī)模商用的情感智能客服。自 2018 年開始，我們?cè)跈C(jī)器人應(yīng)答能力中引入了情感識(shí)別和應(yīng)答的能力。這項(xiàng)技術(shù)不僅應(yīng)用于客服領(lǐng)域，還應(yīng)用于質(zhì)檢和人員管理服務(wù)。

回答這個(gè)問題涉及兩個(gè)方面。第一個(gè)方向是技術(shù)方面，例如多輪對(duì)話等前沿技術(shù)，這些是當(dāng)前智能客服技術(shù)的主要發(fā)展方向。另一個(gè)重要方向是運(yùn)營(yíng)，即如何通過與人工客服進(jìn)行對(duì)標(biāo)，進(jìn)行精細(xì)場(chǎng)景拆解，分析人機(jī)差異，并通過監(jiān)控和工具體系實(shí)現(xiàn)自動(dòng)化的問題發(fā)現(xiàn)和人機(jī)服務(wù)差異對(duì)比。通過這樣的方式，我們從整體體驗(yàn)和人群服務(wù)體驗(yàn)的大面差異分析，逐步實(shí)現(xiàn)精細(xì)化的人群服務(wù)體驗(yàn)分析。有了這樣的體系，我們才能夠持續(xù)優(yōu)化整體服務(wù)體驗(yàn)，并最終實(shí)現(xiàn)像京東目前日常機(jī)器接待量達(dá)到 70%、大促期間達(dá)到 90% 的機(jī)器服務(wù)覆蓋。

賈皓文：今晚的直播主題是關(guān)于數(shù)字人客服領(lǐng)域和大模型的理解。我們對(duì)傳統(tǒng)客服的理解，無論是人工客服還是 FAQ，都可以被視為低端智能客服。作為用戶，我們期望客服能夠勝任各種問題，并能夠提供排憂解難的幫助。同時(shí)，如果客服能夠展現(xiàn)擬人化的特點(diǎn)和提供個(gè)性化服務(wù)，那對(duì)于用戶來說體驗(yàn)會(huì)更好。

在大模型領(lǐng)域，擬人化和人格化非常重要。我們公司更偏向于認(rèn)知智能和心理學(xué)的研究方向。我們關(guān)注如何快速獲取用戶的心理標(biāo)簽，并通過心理學(xué)的角度對(duì)用戶進(jìn)行判斷，從而提供更好的服務(wù)。我們可以設(shè)想一個(gè)場(chǎng)景，例如漫威電影《鋼鐵俠》中的賈維斯。如果未來的大模型能夠像一個(gè)助手一樣，可以根據(jù)我們當(dāng)天的心情和喜好給出最合適的答案和推薦，那將是一個(gè)理想的狀態(tài)。

目前，在大模型和數(shù)字人結(jié)合的研究中，我們還處于初步階段。但隨著學(xué)界在多模態(tài)領(lǐng)域的研究成果的出現(xiàn)，可能會(huì)有一些更好、成本更低的體驗(yàn)產(chǎn)品涌現(xiàn)出來。

徐文浩：大家都提到了對(duì)情感性的追求，似乎大家都在朝著更接近真人的方向發(fā)展。在直播間的大部分觀眾都是從事技術(shù)工作的同學(xué)，我們希望能分享一些經(jīng)驗(yàn)，關(guān)于如何構(gòu)建一個(gè)高質(zhì)量的對(duì)話系統(tǒng)，無論是智能客服還是售后服務(wù)或售前導(dǎo)購(gòu)方面。在進(jìn)入這個(gè)領(lǐng)域時(shí)應(yīng)該從哪個(gè)方面開始著手呢？

賈皓文：如果我們要構(gòu)建一個(gè)高質(zhì)量的對(duì)話系統(tǒng)，實(shí)際上涉及到了傳統(tǒng)的互聯(lián)網(wǎng)項(xiàng)目立項(xiàng)的問題。在這個(gè)過程中，我們需要考慮業(yè)務(wù)產(chǎn)品架構(gòu)、技術(shù)架構(gòu)的選型，以及產(chǎn)品的實(shí)際落地形態(tài)。同時(shí)，我們還需要考慮到許多大型企業(yè)或中型企業(yè)已經(jīng)擁有許多現(xiàn)有的客服產(chǎn)品。如果我們想通過大模型提升這些現(xiàn)有客服產(chǎn)品的能力，可能需要采取比較保守的方式。例如，大模型可用作一個(gè)外部知識(shí)庫(kù)的工具，用于提供知識(shí)輸入?；氐絼偛盘岬降募軜?gòu)方面，產(chǎn)品架構(gòu)和工具選擇都是重要的考慮因素。對(duì)于初始的切入點(diǎn)，可能涉及到關(guān)鍵字的標(biāo)注系統(tǒng)和傳統(tǒng)的正則表達(dá)式等工具。然而，對(duì)于這種范式的具體選擇并沒有一個(gè)通用的標(biāo)準(zhǔn)范例，因?yàn)樗c每個(gè)業(yè)務(wù)的特點(diǎn)相關(guān)。

徐文浩：從業(yè)者的角度來看，無論是智能客服公司還是智能客服的 SaaS 或云平臺(tái)，都可以思考如何進(jìn)一步改善對(duì)話系統(tǒng)，以提供更高質(zhì)量的服務(wù)。盡管我們今天討論了很多關(guān)于大模型的話題，但實(shí)際上當(dāng)涉及到傳統(tǒng)的智能客服時(shí)，無論是在銀行還是電商等領(lǐng)域，消費(fèi)者多多少少都會(huì)感覺到背后沒有一個(gè)真人在提供服務(wù)。我們需要考慮如何提升用戶體驗(yàn)，并投入更多努力來改善現(xiàn)狀。

賈皓文：如果我們將問題范圍縮小，關(guān)注于提供更高效和高質(zhì)量的智能客服內(nèi)容輸出，那我們可以將大模型視為一種增強(qiáng)型對(duì)話服務(wù)。在智能客服產(chǎn)品中，用戶期望遇到的是一個(gè)智能、善解人意、善于交流的機(jī)器人，同時(shí)希望回答的內(nèi)容能夠聚焦于特定業(yè)務(wù)范疇，例如客服營(yíng)銷等場(chǎng)景。在這種情況下，我們可以通過將大模型的意圖識(shí)別、對(duì)話流程和多輪對(duì)話能力與傳統(tǒng)的 FAQ 等外部數(shù)據(jù)源結(jié)合起來。這意味著我們需要收斂整個(gè)語言處理過程，例如對(duì)訪客的問題數(shù)據(jù)進(jìn)行歸納和與用戶問題的對(duì)比，甚至在用戶提問的同時(shí)輸入大量的私有化數(shù)據(jù)，以補(bǔ)充傳統(tǒng)的智能機(jī)器人、語音機(jī)器人和內(nèi)外部知識(shí)庫(kù)的能力。通過這種結(jié)合，可以在短時(shí)間內(nèi)顯著提高用戶體驗(yàn)的效率。進(jìn)一步地，我們可以考慮擬人化能力的提升，但對(duì)于那些希望升級(jí)對(duì)話系統(tǒng)能力的公司來說，挑戰(zhàn)可能較高，因此建議慎重引入。作為一個(gè)切入點(diǎn)，將大模型視為外部知識(shí)輸入的一部分可能是一種成本較小且快速切入的方式。

如何提高大模型的對(duì)話質(zhì)量

徐文浩：王素文老師，如果去做一個(gè)高質(zhì)量的對(duì)話系統(tǒng)來改善現(xiàn)有情況，應(yīng)該在哪些方面做研發(fā)投入呢？

王素文：我們可以考慮以下幾點(diǎn)來提升對(duì)話系統(tǒng)的質(zhì)量。

1. 數(shù)據(jù)標(biāo)注成本的降低：傳統(tǒng)的數(shù)據(jù)標(biāo)注方法需要大量的人工標(biāo)注，這會(huì)帶來時(shí)間和資源的成本。為了降低這種依賴性，我們可以研究如何利用大量的無標(biāo)注數(shù)據(jù)進(jìn)行無監(jiān)督訓(xùn)練，從而減少對(duì)人工標(biāo)注數(shù)據(jù)的需求。這樣的方法可以提高數(shù)據(jù)獲取的效率并降低成本。

2. 泛化能力的提升：僅僅回答單一問題是不夠的，對(duì)話系統(tǒng)需要具備一定的泛化能力，以適應(yīng)不同的場(chǎng)景和用戶需求。通過學(xué)習(xí)語言的多樣性和規(guī)律，我們可以提升模型的泛化能力，使其能夠應(yīng)對(duì)更多的問題和情境。

3. 對(duì)話模型的構(gòu)建和選擇：在選擇對(duì)話模型時(shí)，我們需要考慮不同場(chǎng)景下的模型適用性。當(dāng)前已有許多大模型可供選擇，因此我們需要根據(jù)具體需求選擇適合的模型，以達(dá)到更高的準(zhǔn)確性和效果。

4. 持續(xù)學(xué)習(xí)和優(yōu)化：對(duì)話系統(tǒng)需要進(jìn)行持續(xù)學(xué)習(xí)和優(yōu)化，因?yàn)槌跏忌暇€的模型效果并不完善。系統(tǒng)應(yīng)具備自我迭代和自我優(yōu)化的能力，通過不斷使用和反饋，逐漸提高效果和性能。這種持續(xù)學(xué)習(xí)和優(yōu)化的過程可以滿足客戶的需求，并使系統(tǒng)變得越來越智能和高效。

徐文浩：王超老師，您對(duì)之前的討論有什么觀點(diǎn)補(bǔ)充嗎？

王超：我覺得這個(gè)問題的關(guān)鍵在于從客戶和業(yè)務(wù)方的角度以及我們作為平臺(tái)產(chǎn)品開發(fā)設(shè)計(jì)者的角度來看，其實(shí)都指向了相同的目標(biāo)。無論是從哪個(gè)角度來看，我們都需要關(guān)注業(yè)務(wù)的核心需求，以及智能客服系統(tǒng)在提供服務(wù)方面的期望。在不同的服務(wù)形態(tài)和模式下，產(chǎn)品的技術(shù)架構(gòu)和引入的技術(shù)能力可能會(huì)有所不同，但整體而言并沒有太大的差異。

舉個(gè)例子來說，對(duì)于一些業(yè)務(wù)方來說，他們可能希望機(jī)器人能夠提供基本的問答和信息查詢能力，這時(shí)我們可能只需要提供一些 FAQ 和一些簡(jiǎn)單的對(duì)話工具和算法模型就能解決需求。而對(duì)有些業(yè)務(wù)方來說，他們希望機(jī)器人具備代為辦理業(yè)務(wù)和跟進(jìn)業(yè)務(wù)的能力，甚至提供情景化的對(duì)話服務(wù)和全程護(hù)航。針對(duì)不同層次的客戶需求，我們需要相應(yīng)地設(shè)計(jì)產(chǎn)品和構(gòu)建技術(shù)架構(gòu)，引入相應(yīng)的能力。因此，我認(rèn)為跟進(jìn)業(yè)務(wù)方、幫助業(yè)務(wù)進(jìn)行咨詢、深入了解他們的業(yè)務(wù)是非常重要的。根據(jù)不同的客戶需求，進(jìn)行產(chǎn)品設(shè)計(jì)和技術(shù)架構(gòu)的搭建，并引入相應(yīng)的能力，以滿足他們的需求。

徐文浩：大家試下來哪個(gè)模型效果比較好？需要哪些必備的工具、應(yīng)用，架構(gòu)如何選型等？

王素文：在使用 ChatGPT 或類似的大模型時(shí)，可以按以下步驟進(jìn)行應(yīng)用和部署。

1. 模型訓(xùn)練和調(diào)優(yōu)：選擇可商用的開源大模型，如智普 ChatGLM、百川大模型等。根據(jù)自己的需求和業(yè)務(wù)，驗(yàn)證和測(cè)試模型的性能。收集領(lǐng)域相關(guān)的數(shù)據(jù)，并使用這些數(shù)據(jù)對(duì)開源大模型進(jìn)行領(lǐng)域訓(xùn)練，也可以進(jìn)行指令集合的半自動(dòng)化生成。通過微調(diào)和篩選多輪對(duì)話數(shù)據(jù)，增強(qiáng)領(lǐng)域大模型的對(duì)話能力。確保模型在安全性方面滿足要求，根據(jù)規(guī)范和價(jià)值觀進(jìn)行微調(diào)和后處理。

2. 模型工程化和性能優(yōu)化：針對(duì)生成式模型，考慮模型推理的速度、容量和壓縮問題。如果模型太大，單卡無法容納，可以考慮單機(jī)多卡或多機(jī)多卡的并行推理。對(duì)模型進(jìn)行性能優(yōu)化，包括壓速、壓縮和加速，以實(shí)現(xiàn)更好的性能。

徐文浩：王素文老師，您有推薦的中文基礎(chǔ)商用模型嗎？

王素文：我相信每個(gè)人在選擇模型時(shí)都會(huì)根據(jù)自己的需求和標(biāo)準(zhǔn)進(jìn)行權(quán)衡。每個(gè)模型都有自己的特點(diǎn)和優(yōu)勢(shì)。在我們的業(yè)務(wù)需求中，我們測(cè)試了多個(gè)模型，最終選擇了智普和百川這兩個(gè)大模型，因?yàn)橹瞧沾竽Ｐ驮谏虡I(yè)化方面已經(jīng)有了一定的成熟度。他們最近發(fā)布了新的模型，這也說明他們?cè)诓粩嗟貎?yōu)化和迭代。我相信隨著這些模型的不斷改進(jìn)，基于這些大模型再進(jìn)行領(lǐng)域模型的開發(fā)，將會(huì)帶來更好的效果提升。

徐文浩：在測(cè)試大模型方面，賈老師有什么推薦的工具架構(gòu)，或特別關(guān)鍵的應(yīng)用嗎？

賈皓文：對(duì)于中小型公司來說，從零開始自己開發(fā)或在現(xiàn)有模型上進(jìn)行指令集調(diào)優(yōu)可能會(huì)比較困難。模型通常很大，甚至在單個(gè)顯卡或單臺(tái)機(jī)器上都無法容納。此外，收集結(jié)構(gòu)化數(shù)據(jù)，特別是與特定業(yè)務(wù)領(lǐng)域相關(guān)的數(shù)據(jù)，也是非常關(guān)鍵的。因?yàn)樵?ChatGPT 的原始訓(xùn)練過程中，做了大量的數(shù)據(jù)收集和整理，這就需要在指令集調(diào)優(yōu)的過程中使用自己領(lǐng)域的數(shù)據(jù)來微調(diào)模型。這涉及到一些多機(jī)多卡的并行計(jì)算，可能需要算法和模型訓(xùn)練人員具備高水平的知識(shí)，例如張量加速措施和梯度累加措施等。

在部署和運(yùn)維模型的環(huán)節(jié)中，可能需要考慮模型訓(xùn)練的網(wǎng)速、硬盤選型（如 Zata 或 SSD）、存儲(chǔ)器以及數(shù)據(jù)傳輸加速工具等方面，對(duì)運(yùn)維環(huán)境有較高要求?？偟膩碚f，當(dāng)前大模型的訓(xùn)練過程可能會(huì)相對(duì)較難，但單純的部署和推理過程來說，基于 6B 或 13B 這樣的大模型，在 V100 上進(jìn)行部署，基本上是可行的。

如果模型調(diào)優(yōu)訓(xùn)練完成后，將其部署到線上系統(tǒng)中，我們通常會(huì)考慮整個(gè)架構(gòu)的升級(jí)。目前業(yè)界比較熱門的是 Milvus 向量數(shù)據(jù)庫(kù)，它可以通過向量檢索將生成的結(jié)果進(jìn)行中間緩存，類似我們平時(shí)使用的 Redis 緩存。因?yàn)橥晷翁羁丈蓹C(jī)制的特性，雖然每次生成的具體樣式可能會(huì)不同，但大致意思是相同的。為了降低線上的成本，我們可以采用這樣的機(jī)制。同時(shí)，對(duì)于生成內(nèi)容的審核系統(tǒng)、訓(xùn)練數(shù)據(jù)準(zhǔn)備系統(tǒng)和標(biāo)注系統(tǒng)等，也需要有一套完整的解決方案。

總的來說，訓(xùn)練大模型并不一定可怕，但可能會(huì)對(duì)我們之前的技術(shù)棧要求有所提升，但這種提升也是可以跨越的，只是可能稍微有一點(diǎn)難度，但我們完全可以通過學(xué)習(xí)和實(shí)踐來應(yīng)對(duì)這些挑戰(zhàn)。

徐文浩：模型訓(xùn)練本身只是整個(gè)過程的一部分，周邊配套措施也是至關(guān)重要的。例如向量數(shù)據(jù)庫(kù)、緩存系統(tǒng)、標(biāo)注系統(tǒng)等，這些配套工具和系統(tǒng)對(duì)于產(chǎn)品的持續(xù)迭代和發(fā)展至關(guān)重要。在研發(fā)過程中，我們需要一個(gè)完整的工具鏈和解決方案，以支持?jǐn)?shù)據(jù)的收集、預(yù)處理、標(biāo)注，以及模型的訓(xùn)練、優(yōu)化和部署。王超老師，您是否有補(bǔ)充的內(nèi)容？

王超：在這個(gè)問題上，我可以分享一些關(guān)于正在開發(fā)的大型模型的信息。我們正在開發(fā)自己的產(chǎn)業(yè)大模型，并期待與企業(yè)和同行們進(jìn)行合作。在 7 月份之后會(huì)公布更多關(guān)于合作機(jī)會(huì)的信息。另外，提到如何驗(yàn)證哪些大型模型更好的問題。在這方面，我們更關(guān)注的是如何在平臺(tái)上成功應(yīng)用已經(jīng)驗(yàn)證過的優(yōu)秀大型模型，比如百川等模型，鼓勵(lì)大家關(guān)注和了解它們。

徐文浩：在研發(fā)效能方面，在開發(fā)和部署大型模型的團(tuán)隊(duì)規(guī)模、算力投入以及時(shí)間預(yù)估等方面大家有什么經(jīng)驗(yàn)分享？

王素文：整個(gè)開發(fā)和部署大型模型的過程確實(shí)需要花費(fèi)一定的時(shí)間。特別是在模型的壓縮、加速和優(yōu)化方面，需要進(jìn)行反復(fù)的實(shí)驗(yàn)和調(diào)整，這可能是非常耗時(shí)的。舉個(gè)例子，我們?cè)?jīng)開發(fā)了一個(gè)模型，它的規(guī)模達(dá)到了 7B，經(jīng)過優(yōu)化后，在 A800 服務(wù)器上的 4 卡 b 型配置上，推理速度從之前的 28 毫秒降低到了大約 5 毫秒?？偟娜肆ν度肴Q于你所做的工作。

首先，需要構(gòu)建整個(gè)基礎(chǔ)框架，并對(duì)模型進(jìn)行壓縮和量化處理，包括算子的優(yōu)化。我們基于英偉達(dá)的 FastarTransformer 進(jìn)行了優(yōu)化，因此需要自定義優(yōu)化算子，選擇適合需求的推理引擎，比如英偉達(dá)的 Triton，根據(jù)不同的后端提供服務(wù)。最后，還需要進(jìn)行整體的性能測(cè)試，以確定模型在不同設(shè)備上的最佳性能，并進(jìn)行最終的部署。根據(jù)我們的經(jīng)驗(yàn)，整個(gè)適配過程至少需要一個(gè)月的時(shí)間。此外，調(diào)整指令任務(wù)的優(yōu)化也需要一定的時(shí)間，這取決于具體業(yè)務(wù)需求和指令數(shù)量。根據(jù)不同的業(yè)務(wù)類型，通常需要一個(gè)十幾個(gè)人的團(tuán)隊(duì)來做。

徐文浩：聽起來大概需要十來人的團(tuán)隊(duì)，一兩個(gè)月才能把這些模型的推理優(yōu)化和訓(xùn)練過程走完。這還不是我們說的那種大的幾百、幾千、上億參數(shù)的大模型。

王素文：是的，在特定行業(yè)訓(xùn)練好并優(yōu)化好的模型可以快速將其部署并復(fù)制給該行業(yè)的客戶。通過這種方式，我們能夠利用之前的工作成果，為客戶提供定制化的解決方案。舉例來說，我們?cè)诮鹑陬I(lǐng)域、保險(xiǎn)、財(cái)富管理和零售等行業(yè)已經(jīng)完成了模型的優(yōu)化，因此我們可以將這些優(yōu)化的模型快速?gòu)?fù)制，并迅速落地為客戶提供服務(wù)。這種復(fù)用的能力可以極大地提高效率，加快解決方案的交付速度。

徐文浩：明白，其實(shí)目前它還只是個(gè)產(chǎn)品研發(fā)的過程，不是個(gè)項(xiàng)目落地的過程，研發(fā)了一個(gè)產(chǎn)品，可以給很多很多客戶去用。賈老師對(duì)這個(gè)問題有什么看法？

賈皓文：對(duì)于領(lǐng)域大模型開發(fā)，數(shù)據(jù)收集對(duì)于特定領(lǐng)域的模型是必不可少的。對(duì)于高度專業(yè)化的領(lǐng)域（如法律），數(shù)據(jù)收集可能需要投入較長(zhǎng)的時(shí)間，可能需要半個(gè)月甚至一個(gè)月。完成數(shù)據(jù)收集并進(jìn)行結(jié)構(gòu)化處理后才能開始后面環(huán)節(jié)，如指令集的調(diào)優(yōu)和多級(jí)多卡的訓(xùn)練過程等。完成這些環(huán)節(jié)之后，通常會(huì)進(jìn)行多輪的模型效果評(píng)估，因?yàn)橥ㄟ^ Transformer 機(jī)制生成的結(jié)果可能不夠可靠，需要進(jìn)行大量的效果測(cè)試來確保模型的可靠性。當(dāng)模型訓(xùn)練基本完成，可以初步商用時(shí)，我們可能會(huì)根據(jù)客戶的需求進(jìn)行進(jìn)一步的產(chǎn)品化工作，將其打包成一個(gè)完整的產(chǎn)品，為用戶提供全面的服務(wù)。

從成本的角度來看，數(shù)據(jù)整理可能需要半個(gè)月至一個(gè)月的時(shí)間，訓(xùn)練一個(gè)規(guī)模為 6B 或 7B 的相對(duì)較小的模型。然而，這還需要一個(gè)重要的前提條件，即負(fù)責(zé)模型訓(xùn)練的團(tuán)隊(duì)必須熟悉多機(jī)多卡的訓(xùn)練方式和方法，并熟悉各種數(shù)據(jù)加速策略和內(nèi)存加速策略等。此外，環(huán)境的準(zhǔn)備也很關(guān)鍵。對(duì)于一些小型公司，如果要進(jìn)行大模型的訓(xùn)練，可能需要在阿里云或騰訊云等平臺(tái)上租賃機(jī)器并自行搭建環(huán)境。這額外的成本也需要考慮進(jìn)去。

開發(fā)一款大模型，投入產(chǎn)出比如何？

徐文浩：綜合兩位老師的觀點(diǎn)，如果團(tuán)隊(duì)條件成熟，開發(fā)一個(gè) 7B 規(guī)模的微縮版大模型可能至少需要一個(gè)十幾人團(tuán)隊(duì)，開發(fā)三個(gè)月左右。這樣來看，即使是開發(fā)一個(gè)小模型，投入也是相當(dāng)大的。那開發(fā)大模型的投入產(chǎn)出比大致是怎樣的？監(jiān)管風(fēng)險(xiǎn)和安全性問題怎么來解決呢？

賈皓文：要評(píng)估投入產(chǎn)出比，需要考慮具體的業(yè)務(wù)場(chǎng)景和需求。對(duì)于創(chuàng)意類腳本生成等傳統(tǒng)文案、廣告和影視行業(yè)，AIGC 等大模型能夠快速生成大量的素材，雖然可靠性可能有所欠缺，但可以顯著提高生產(chǎn)效率，對(duì)于這些創(chuàng)意生產(chǎn)工作來說，投入產(chǎn)出比可能非常劃算。然而，對(duì)于其他領(lǐng)域如法律知識(shí)生成、案例剖析、保單分析等，因?yàn)楫a(chǎn)出結(jié)果可能并非完美，需要投入大量人力資源，并經(jīng)過多輪模型調(diào)優(yōu)，才能達(dá)到較為理想的產(chǎn)出。因此，投入產(chǎn)出比可能會(huì)較高。

至于監(jiān)管方面，像最近出臺(tái)的深度生成相關(guān)的監(jiān)管政策，也需要我們考慮。主要涉及幾個(gè)方面。首先，需要關(guān)注是否會(huì)侵犯作曲家、作家、畫家等知識(shí)產(chǎn)權(quán)或版權(quán)，以及是否容易產(chǎn)生虛假信息。在生成結(jié)果的監(jiān)管方面，我們需要確保配套的內(nèi)容審查和管理機(jī)制，以確保生成的文本和圖像不侵犯知識(shí)產(chǎn)權(quán)。同時(shí)，對(duì)于傳統(tǒng)行業(yè)，合規(guī)和風(fēng)險(xiǎn)控制也是重要的考慮因素。隨著實(shí)驗(yàn)的發(fā)展，大模型產(chǎn)業(yè)鏈可能會(huì)形成，其中一些人致力于生成大模型的生產(chǎn)資料，而其他人則致力于防止大模型生成失控的措施。這種對(duì)應(yīng)關(guān)系的建立將經(jīng)過時(shí)間的迭代，以便在法律法規(guī)和道德規(guī)范的框架下實(shí)現(xiàn)大模型的生成與監(jiān)管的良好平衡。

徐文浩：我們不只會(huì)有 AI 公司，還會(huì)有專門的 AI 安全公司，就跟互聯(lián)網(wǎng)上有很多專門做安全公司一樣。我想請(qǐng)教下王素文老師對(duì) AI 安全和監(jiān)管問題上的看法。

王素文：首先，我們?cè)谶M(jìn)行領(lǐng)域模型或大模型的訓(xùn)練時(shí)，數(shù)據(jù)的合規(guī)性和合法性至關(guān)重要，應(yīng)該通過正規(guī)的渠道獲取數(shù)據(jù)，并確保數(shù)據(jù)的安全和保密性。

其次，當(dāng)我們?yōu)榭蛻暨M(jìn)行領(lǐng)域模型訓(xùn)練時(shí)，我們必須確保企業(yè)內(nèi)部數(shù)據(jù)的安全合規(guī)性，并且不同企業(yè)之間的數(shù)據(jù)應(yīng)該進(jìn)行隔離，不能隨意復(fù)用或在訓(xùn)練中使用。此外，在為客戶訓(xùn)練領(lǐng)域模型時(shí)，我們還需要進(jìn)行微調(diào)和對(duì)齊，以確保輸出的模型符合合規(guī)要求。

從監(jiān)管層面來看，政府部門在制定監(jiān)管框架時(shí)需要借助跨學(xué)科和跨領(lǐng)域的專家知識(shí)。我們與信科院合作，共同建立健全的監(jiān)管框架，并與其進(jìn)行深度合作。我們也在與信科院進(jìn)行安全認(rèn)證，以確保我們的大模型經(jīng)過了嚴(yán)格的測(cè)試和驗(yàn)證。

只有通過政府、專家和企業(yè)的合作，我們才能推動(dòng) AIGC 的健康發(fā)展，滿足用戶需求，并確保大模型的安全使用。

在智能客服領(lǐng)域，企業(yè)的核心壁壘是什么？

徐文浩：對(duì)于智能客服領(lǐng)域，大家都在做多輪對(duì)話，情感分析，那企業(yè)的核心壁壘是什么呢？

王超：對(duì)于智能客服行業(yè)而言，同質(zhì)化問題與企業(yè)采購(gòu)智能客服建設(shè)目標(biāo)和預(yù)期的 ROI 密切相關(guān)。在京東，企業(yè)在建設(shè)智能客服時(shí)應(yīng)將其發(fā)展目標(biāo)分為初階、中階和高階（或成熟）三個(gè)階段。如果客戶的目標(biāo)仍處于初階階段，即僅需簡(jiǎn)單的問答和查詢功能，那么采購(gòu)智能客服的需求可能相似。在這種情況下，同質(zhì)化程度可能較高。但如果客戶的需求定位在更高級(jí)的目標(biāo)，例如提供主動(dòng)服務(wù)、全程跟進(jìn)和全情景化服務(wù)等，那么就需要考慮智能客服供應(yīng)商是否具備與之匹配的運(yùn)營(yíng)方法論和相關(guān)的完整運(yùn)營(yíng)工具體系?；谶@個(gè)邏輯，我認(rèn)為當(dāng)前一代智能客服產(chǎn)品的核心壁壘之一是供應(yīng)商是否具備復(fù)雜成熟的機(jī)器人項(xiàng)目經(jīng)驗(yàn)和豐富的運(yùn)營(yíng)經(jīng)驗(yàn)。

另一個(gè)關(guān)鍵點(diǎn)是，智能客服公司除了提供相關(guān)產(chǎn)品和技術(shù)外，還能否提供長(zhǎng)期規(guī)劃和指導(dǎo)意見的運(yùn)營(yíng)方法論，以及相關(guān)的配套運(yùn)營(yíng)工具體系。同時(shí)，我們是否能夠幫助客戶建立人才梯隊(duì)，并提供培訓(xùn)服務(wù)。在當(dāng)前一代智能客服中，這些因素非常重要。

至于未來，大模型將成為一個(gè)重要壁壘。對(duì)于你所提及的產(chǎn)品，能否將不同類型的大模型與原有產(chǎn)品能力有效融合，將是一個(gè)關(guān)鍵因素。同時(shí)，具備大模型開發(fā)能力也將成為一個(gè)獨(dú)特的競(jìng)爭(zhēng)優(yōu)勢(shì)。

徐文浩：我相信每家公司都會(huì)覺得自己在智能客服或者類似的這個(gè)產(chǎn)品上有獨(dú)到的優(yōu)勢(shì)。賈老師，就您公司產(chǎn)品來講，它的壁壘體現(xiàn)在哪？

賈皓文：從傳統(tǒng)客服到大模型客服，整個(gè)過程可以看作是一種競(jìng)爭(zhēng)壁壘。雖然在算力、數(shù)據(jù)量方面，我們可能無法與大廠競(jìng)爭(zhēng)，但在交叉學(xué)科領(lǐng)域，如心理學(xué)知識(shí)在大模型訓(xùn)練中的應(yīng)用，以及對(duì)認(rèn)知智能與大模型應(yīng)用的交叉領(lǐng)域，我們可能具備先發(fā)優(yōu)勢(shì)。對(duì)于其他公司而言，也可以結(jié)合自身特點(diǎn)，在日益同質(zhì)化的大模型服務(wù)和訓(xùn)練過程中脫穎而出。

王素文：這個(gè)問題實(shí)際上歸結(jié)到兩個(gè)核心點(diǎn)：智能客服公司需要考慮如何盈利和提高毛利率。為了實(shí)現(xiàn)這一點(diǎn)，首先要關(guān)注兩個(gè)方面。第一，你需要提供優(yōu)質(zhì)的智能客服服務(wù)，讓客戶滿意，這樣你的企業(yè)才能長(zhǎng)久發(fā)展。因此，關(guān)注產(chǎn)品的效果至關(guān)重要，包括產(chǎn)品力和智能化效果的提升，以提高用戶體驗(yàn)和滿意度。第二，注重提高效率，考慮投入產(chǎn)出比問題，降低成本并提高項(xiàng)目的毛利率。項(xiàng)目交付和運(yùn)營(yíng)效率的提升是關(guān)鍵，要考慮產(chǎn)品滿意度、部署實(shí)施的效率以及與客戶業(yè)務(wù)系統(tǒng)的快速集成和運(yùn)營(yíng)內(nèi)容的對(duì)接。你需要擁有完整的交付方法論和運(yùn)營(yíng)工具來提高項(xiàng)目的毛利率，以實(shí)現(xiàn)盈利并保持持續(xù)發(fā)展。

智能客服公司可以分為兩類，一類是垂直領(lǐng)域的專業(yè)廠商，另一類是通用型廠商。垂直領(lǐng)域的智能客服廠商專注于特定領(lǐng)域，例如電商或保險(xiǎn)，他們的優(yōu)勢(shì)和壁壘在于行業(yè)聚焦，持續(xù)優(yōu)化行業(yè)知識(shí)圖譜和數(shù)據(jù)，提供特殊的解決方案和核心競(jìng)爭(zhēng)力。中關(guān)村科金作為對(duì)話式 AI 解決方案提供商，我們專注于金融、政務(wù)、零售等多個(gè)行業(yè)，已為 900 多家行業(yè)領(lǐng)軍企業(yè)提供服務(wù)，并積累了豐富的行業(yè)知識(shí)。我們還計(jì)劃推出通用和領(lǐng)域大模型，通過整合對(duì)話引擎，升級(jí)智能客服、外呼機(jī)器人、陪練和質(zhì)檢助手等產(chǎn)品，以提升我們?cè)谛袠I(yè)中的競(jìng)爭(zhēng)力。

其次，提高交付和運(yùn)營(yíng)效率也是關(guān)鍵。產(chǎn)品滿意度對(duì)于降低項(xiàng)目交付成本至關(guān)重要，而高效的部署和實(shí)施，以及與客戶業(yè)務(wù)系統(tǒng)的快速集成和運(yùn)營(yíng)內(nèi)容對(duì)接，將提高運(yùn)營(yíng)效率。你需要擁有一整套交付方法論和運(yùn)營(yíng)工具，確保項(xiàng)目的毛利率最大化。這樣做將使你能夠盈利并保持長(zhǎng)期可持續(xù)發(fā)展。

AIGC 會(huì)完全替代傳統(tǒng)的客服人員嗎？

徐文浩：三位老師提到了 3 個(gè)核心壁壘：首先是聚焦垂直領(lǐng)域，其次是在產(chǎn)品層面尋求差異化，第三是跨學(xué)科的設(shè)計(jì)。這些措施將幫助企業(yè)在競(jìng)爭(zhēng)激烈的市場(chǎng)中脫穎而出，為客戶提供獨(dú)特的價(jià)值。那今天最后一個(gè)問題，請(qǐng)用簡(jiǎn)單的語言暢想下未來 AIGC 在這個(gè)領(lǐng)域的發(fā)展， AIGC 會(huì)不會(huì)完全替代掉傳統(tǒng)的客服人員？

王超：作為一個(gè)從業(yè)者，我對(duì) AIGC 的前景持樂觀態(tài)度，而取代的問題涉及不同的視角。一種觀點(diǎn)是以存量市場(chǎng)的視角看待，認(rèn)為客服行業(yè)的市場(chǎng)空間有限，因此 AIGC 可能會(huì)取代傳統(tǒng)人力。然而，我更傾向于從增量的角度來考慮。

首先，智能客服仍然需要人類運(yùn)營(yíng)支持，在從傳統(tǒng)客服到智能客服的轉(zhuǎn)變過程中，運(yùn)營(yíng)人員仍然扮演著重要的角色。其次，未來的運(yùn)營(yíng)模式可能會(huì)發(fā)生變化，智能客服與人工運(yùn)營(yíng)人員配合，形成一種新的作戰(zhàn)模式。這種模式下，少數(shù)運(yùn)營(yíng)人員可以攜帶智能客服機(jī)器人，提供高質(zhì)量的 24 小時(shí)服務(wù)，而且成本較低，這可以讓更多的小微企業(yè)以新的方式提供客戶服務(wù)，并擴(kuò)大市場(chǎng)規(guī)模?？傊?，從增量的角度來看，智能客服不會(huì)完全取代傳統(tǒng)客服，而是與其相輔相成，為市場(chǎng)帶來新的機(jī)會(huì)和發(fā)展空間。

王素文：在可預(yù)見的未來，人工客服不會(huì)被完全取代，因?yàn)樗鼈冊(cè)谔幚韽?fù)雜問題、思考性問題以及情感問題上具有獨(dú)特的優(yōu)勢(shì)。特別是在處理高價(jià)值客戶、潛在客戶以及提高客戶轉(zhuǎn)化率方面，人工客服仍然扮演著重要角色。由于獲取客戶的成本較高，通過人工客服進(jìn)行高效跟進(jìn)并確保成交仍然是許多企業(yè)所希望的。因此，人工客服和智能客服之間更多是一種相互結(jié)合的合作模式。企業(yè)需要根據(jù)自身情況考慮人工客服和智能客服的優(yōu)勢(shì)，并制定最佳的客戶服務(wù)模式。

在整體上，我認(rèn)為 AIGC 未來的發(fā)展空間是廣闊的，并且整個(gè)行業(yè)也已經(jīng)看到了這一點(diǎn)。在未來的兩三年中，AIGC 和類似 ChatGPT 的技術(shù)將以高速發(fā)展，并推動(dòng)整個(gè)企服產(chǎn)業(yè)的升級(jí)。互聯(lián)網(wǎng)和企服行業(yè)都將經(jīng)歷大規(guī)模的升級(jí)和變革，包括配套設(shè)施的改進(jìn)。目前 AIGC 仍存在一些問題，如內(nèi)容質(zhì)量、投資成本、數(shù)據(jù)安全和版權(quán)等方面。因此，我們?nèi)匀恍枰L(zhǎng)遠(yuǎn)的發(fā)展，包括探索更精密、更有效的建模方式，以改進(jìn)這些問題。我相信隨著技術(shù)的進(jìn)步，大模型的發(fā)展空間將是無限廣闊的。

賈皓文：確實(shí)，我們不應(yīng)過于強(qiáng)調(diào)替代性，而是關(guān)注未來將帶來的工作模式和業(yè)務(wù)模式的變革。在推進(jìn)業(yè)務(wù)的過程中，我們需要衡量投入產(chǎn)出比，特別是在客服推進(jìn)中需要考慮用戶數(shù)據(jù)隱私的安全性、法律法規(guī)的遵守以及跨場(chǎng)景、跨行業(yè)的擬人化服務(wù)。大模型能夠?yàn)閭鹘y(tǒng)客服人員帶來很高的價(jià)值，它們會(huì)帶來質(zhì)的變革，但并不意味著取代人工客服?？偟膩碚f，盡管大模型目前存在一些問題，但它在未來的前景非常廣闊。用一句比較文藝的話來說，未來不久大模型的發(fā)展將從夢(mèng)境變成現(xiàn)實(shí)，我們很快就能親身體驗(yàn)到。