什么是mybatis流式查詢(xún)？

使用mybatis作為持久層的框架時(shí)，通過(guò)mybatis執(zhí)行查詢(xún)數(shù)據(jù)的請(qǐng)求執(zhí)行成功后，mybatis返回的結(jié)果集不是一個(gè)集合或?qū)ο?，而是一個(gè)迭代器，可以通過(guò)遍歷迭代器來(lái)取出結(jié)果集，避免一次性取出大量的數(shù)據(jù)而占用太多的內(nèi)存。

Cursor

org.apache.ibatis.cursor.Cursor接口有三個(gè)抽象方法，分別是

isOpen() ：判斷cursor是否正處于打開(kāi)狀態(tài);

isConsumed() ：判斷查詢(xún)結(jié)果是否全部讀取完；

getCurrentIndex() ：查詢(xún)已讀取數(shù)據(jù)在全部數(shù)據(jù)里的索引位置；

publicinterfaceCursorextendsCloseable,Iterable{
//判斷cursor是否正處于打開(kāi)狀態(tài)
//當(dāng)返回true，則表示cursor已經(jīng)開(kāi)始從數(shù)據(jù)庫(kù)里刷新數(shù)據(jù)了；
booleanisOpen();
//判斷查詢(xún)結(jié)果是否全部讀取完；
//當(dāng)返回true,則表示查詢(xún)sql匹配的全部數(shù)據(jù)都消費(fèi)完了；
booleanisConsumed();
//查詢(xún)已讀取數(shù)據(jù)在全部數(shù)據(jù)里的索引位置；
//第一條數(shù)據(jù)的索引位置為0；當(dāng)返回索引位置為-1時(shí)，則表示已經(jīng)沒(méi)有數(shù)據(jù)可以讀??；
intgetCurrentIndex();
}

代碼實(shí)現(xiàn)

mybatis的所謂流式查詢(xún)，就是服務(wù)端程序查詢(xún)數(shù)據(jù)的過(guò)程中，與遠(yuǎn)程數(shù)據(jù)庫(kù)一直保持連接，不斷的去數(shù)據(jù)庫(kù)拉取數(shù)據(jù)，提交事務(wù)并關(guān)閉sqlsession后，數(shù)據(jù)庫(kù)連接斷開(kāi)，停止數(shù)據(jù)拉取，需要注意的是使用這種方式，需要自己手動(dòng)維護(hù)sqlsession和事務(wù)的提交。

1、實(shí)現(xiàn)方式很簡(jiǎn)單，原來(lái)返回的類(lèi)型是集合或?qū)ο?，流式查?xún)返回的的類(lèi)型Curor，泛型內(nèi)表示實(shí)際的類(lèi)型，其他沒(méi)有變化；

@Mapper
publicinterfacePersonDao{
CursorselectByCursor();
IntegerqueryCount();

}

select*fromsys_personorderbyiddesc


selectcount(*)fromsys_person

2、dao層向service層返回的是Cursor類(lèi)型對(duì)象，只要不提交關(guān)閉sqlsession，服務(wù)端程序就可以一直從數(shù)據(jù)數(shù)據(jù)庫(kù)讀取數(shù)據(jù)，直到查詢(xún)sql匹配到數(shù)據(jù)全部讀取完；

示例里的主要業(yè)務(wù)邏輯是：從sys_person表中讀取所有的人員信息數(shù)據(jù)，然后按照每1000條數(shù)據(jù)為一組，讀取到內(nèi)存里進(jìn)行處理，以此類(lèi)推，直到查詢(xún)sql匹配到數(shù)據(jù)全部處理完，再提交事務(wù)，關(guān)閉sqlSession；

@Service
@Slf4j
publicclassPersonServiceImplimplementsIPersonService{
@Autowired
privateSqlSessionFactorysqlSessionFactory;

@Override
publicvoidgetOneByAsync()throwsInterruptedException{
newThread(newRunnable(){
@SneakyThrows
@Override
publicvoidrun(){
//使用sqlSessionFactory打開(kāi)一個(gè)sqlSession，在沒(méi)有讀取完數(shù)據(jù)之前不要提交事務(wù)或關(guān)閉sqlSession
log.info("----開(kāi)啟sqlSession");
SqlSessionsqlSession=sqlSessionFactory.openSession();
try{
//獲取到指定mapper
PersonDaomapper=sqlSession.getMapper(PersonDao.class);
//調(diào)用指定mapper的方法，返回一個(gè)cursor
Cursorcursor=mapper.selectByCursor();
//查詢(xún)數(shù)據(jù)總量
Integertotal=mapper.queryCount();
//定義一個(gè)list，用來(lái)從cursor中讀取數(shù)據(jù)，每讀取夠1000條的時(shí)候，開(kāi)始處理這批數(shù)據(jù)；
//當(dāng)前批數(shù)據(jù)處理完之后，清空l(shuí)ist，準(zhǔn)備接收下一批次數(shù)據(jù)；直到大量的數(shù)據(jù)全部處理完；
ListpersonList=newArrayList<>();
inti=0;
if(cursor!=null){
for(Personperson:cursor){
if(personList.size()

	

	應(yīng)用場(chǎng)景

	其實(shí)mybatis的流式查詢(xún)適用范圍很有限，這里舉個(gè)例子，假如有這樣一個(gè)需求 :有50萬(wàn)員工的一年的工資數(shù)據(jù)明細(xì)，需要輸出一張公司支出工資的數(shù)據(jù)報(bào)表。

	需求很簡(jiǎn)單，估計(jì)有人是這樣想：這太簡(jiǎn)單了，查詢(xún)出員工的工資數(shù)據(jù)明細(xì)，然后按照套上公式逐條計(jì)算出結(jié)果，然后匯總計(jì)算結(jié)果，插入到新的結(jié)果表里不就行了。事實(shí)上這件事絕對(duì)不簡(jiǎn)單：

	50萬(wàn)的數(shù)據(jù)全部讀取到j(luò)vm的內(nèi)存里得占用多大空間？

	這么多對(duì)象的垃圾回收又需要多久？

	這么多數(shù)據(jù)計(jì)算是高頻行為還是低步行為？

	如果計(jì)算到某條員工的數(shù)據(jù)發(fā)生異常，已經(jīng)計(jì)算好的數(shù)據(jù)要不要全部回滾？...

	總之，直接取出50萬(wàn)數(shù)據(jù)來(lái)計(jì)算，風(fēng)險(xiǎn)肯定不小。那怎么辦呢？

	在實(shí)際的開(kāi)發(fā)中，也經(jīng)常遇到一些百十萬(wàn)，說(shuō)大不大，說(shuō)小不小的數(shù)據(jù)報(bào)表處理，我的主要設(shè)計(jì)思路通常就是數(shù)據(jù)切隔+異步，具體怎么做呢？結(jié)合上面的例子，是這樣的：

	1、按照月份、省份或者部門(mén)，對(duì)工資明細(xì)數(shù)據(jù)進(jìn)行數(shù)據(jù)切隔分組；

	2、把不同月份、省份、部門(mén)的工資數(shù)據(jù)包裝成多線程任務(wù)，放到線程池中去執(zhí)行；

	3、根據(jù)切隔的多線程任務(wù)數(shù)量，定義一個(gè)同步工具類(lèi)CountDownLatch；

	4、根據(jù)同步工具類(lèi)CountDownLatch，來(lái)判斷所有的多線程任務(wù)是否全部執(zhí)行完；等到所有的多線程任務(wù)全部執(zhí)行完成后，再執(zhí)行匯總的邏輯；

	5、在多線程任務(wù)里，查詢(xún)具體月份、省份的員工工資數(shù)據(jù)明細(xì)的時(shí)候，如果數(shù)據(jù)量還是不少，就可以使用mybatis的流式查詢(xún)，分批獲取員工工資明細(xì)數(shù)據(jù)，進(jìn)行當(dāng)前批的計(jì)算、匯總，然后所有分批數(shù)據(jù)都計(jì)算完成后，再匯總所有分批數(shù)據(jù)；

	注意事項(xiàng)

	mybatis的流式查詢(xún)的本意，是避免大量數(shù)據(jù)的查詢(xún)而導(dǎo)致內(nèi)存溢出，因此dao層查詢(xún)返回的是一個(gè)迭代器（Cursor），可以每次從迭代器中取出一條查詢(xún)結(jié)果，在實(shí)際業(yè)務(wù)開(kāi)發(fā)過(guò)程中，即是根據(jù)實(shí)際的jvm內(nèi)存大小，從迭代器中取出一定數(shù)量的數(shù)據(jù)后，再進(jìn)行數(shù)據(jù)處理，待處理完之后，繼續(xù)取出一定數(shù)據(jù)再處理，以此類(lèi)推直到全部數(shù)據(jù)處理完，這樣做的最大好處就是能夠降低內(nèi)存使用和垃圾回收器的負(fù)擔(dān)，使數(shù)據(jù)處理的過(guò)程相對(duì)更加高效、可控，內(nèi)存溢出的風(fēng)險(xiǎn)較小；

	好處很明顯，缺點(diǎn)也很就明顯，處理的時(shí)間可能會(huì)變長(zhǎng)，需要引入多線程異步操作，并且在迭代器遍歷和數(shù)據(jù)處理的過(guò)程中，數(shù)據(jù)庫(kù)連接不能斷開(kāi)，即當(dāng)前sqlSession要保持持續(xù)打開(kāi)狀態(tài)，一量斷開(kāi)，數(shù)據(jù)讀取就會(huì)中斷，所以關(guān)于這塊的處理，使用mybatis原生的sqlSession進(jìn)行手動(dòng)查詢(xún)、提交事務(wù)、回滾和關(guān)閉sqlSession最為穩(wěn)妥、最簡(jiǎn)單。

	




	審核編輯：劉清