對(duì)于大模型RAG技術(shù)的一些思考

大模型或者句向量在訓(xùn)練時(shí)，使用的語(yǔ)料都是較為通用的語(yǔ)料。這導(dǎo)致了這些模型，對(duì)于垂直領(lǐng)域的知識(shí)識(shí)別是有缺陷的。它們沒(méi)有辦法理解企業(yè)內(nèi)部的一些專用術(shù)語(yǔ)，縮寫...

2023-12-07 標(biāo)簽：向量檢索大模型 1259 0

大模型外掛知識(shí)庫(kù)優(yōu)化-大模型輔助向量召回

用LLM根據(jù)用戶query生成k個(gè)“假答案”。（大模型生成答案采用sample模式，保證生成的k個(gè)答案不一樣，不懂LLM生成答案原理的同學(xué)可以看我這篇文...

2023-09-08 標(biāo)簽：向量數(shù)據(jù)集大模型 2061 0

十分鐘讀懂旋轉(zhuǎn)編碼（RoPE）

對(duì)于位置編碼，常規(guī)的做法是在計(jì)算 query，key 和 value 向量之前，會(huì)計(jì)算一個(gè)位置編碼向量 加到詞嵌入 上，位置編碼向量 同樣也是 維向量，...

2023-09-05 標(biāo)簽：向量旋轉(zhuǎn)編碼大模型 1.5萬(wàn) 0

連接和復(fù)制運(yùn)算符

連接和復(fù)制運(yùn)算符將多個(gè)表達(dá)式連接在一起，形成一個(gè)向量表達(dá)式。結(jié)果向量中的位總數(shù)是每個(gè)子表達(dá)式中所有位的總和。連接有兩種形式，簡(jiǎn)單連接和復(fù)制連接。一個(gè)簡(jiǎn)單...

2023-02-09 標(biāo)簽：向量連接運(yùn)算符 784 0

圖解NumPy的核心概念：向量、矩陣、3維及更高維數(shù)組

譯者：AI研習(xí)社（季一帆） 雙語(yǔ)原文鏈接：NumPy Illustrated： The Visual Guide to NumPy 是一個(gè)廣泛適用的Py...

2021-02-11 標(biāo)簽：核心矩陣向量 6080 0

什么是標(biāo)量機(jī)？標(biāo)量、向量、張量的區(qū)別

計(jì)算機(jī)（computer）俗稱電腦，是一種用于高速計(jì)算的電子計(jì)算機(jī)器，可以進(jìn)行數(shù)值計(jì)算，又可以進(jìn)行邏輯計(jì)算，還具有存儲(chǔ)記憶功能。是能夠按照程序運(yùn)行，自動(dòng)...

2020-01-28 標(biāo)簽：向量標(biāo)量標(biāo)量機(jī) 1.0萬(wàn) 0

由淺入深的對(duì)其降維原理進(jìn)行了詳細(xì)總結(jié)

矩陣是由多個(gè)列向量組成的，因此矩陣降維思想與向量降維思想一樣，只要求得矩陣在各基向量的投影即可，基向量可以理解為新的坐標(biāo)系，投影就是降維后的坐標(biāo)，那么問(wèn)...

2019-03-22 標(biāo)簽：PCA向量降維 8243 0

介紹Word2Vec和Glove這兩種最流行的詞嵌入方法背后的直覺(jué)

對(duì)于IDF而言，長(zhǎng)文檔包含的單詞更多，因此更容易出現(xiàn)各種單詞。因此，IDF相等的情況下，經(jīng)常出現(xiàn)在短文檔中的單詞，信息量比經(jīng)常出現(xiàn)在長(zhǎng)文檔中的單詞要高。...

2018-06-25 標(biāo)簽：向量NLP 5.9萬(wàn) 0