導(dǎo)讀:1建站知識這篇文章主要介紹了臨時處理去重 80w 數(shù)據(jù)時夯死現(xiàn)象，需要的朋友可以參考下 近日，在對一張百萬數(shù)據(jù)的業(yè)務(wù)表進行去重時，去重操作竟然夯住了。下面就來簡單回憶一下seo網(wǎng)站關(guān)鍵詞優(yōu)化百度seo網(wǎng)站優(yōu)化。

這篇文章主要介紹了臨時處理去重 80w 數(shù)據(jù)時夯死現(xiàn)象，需要的朋友可以參考下

近日，在對一張百萬數(shù)據(jù)的業(yè)務(wù)表進行去重時，去重操作竟然夯住了。下面就來簡單回憶一下。

1、查詢業(yè)務(wù)表數(shù)據(jù)量，查看到總共有200多w條

 

 

SQL> select count(*) from tb_bj_banker_etl; 

 

2552381 

2、查詢表內(nèi)應(yīng)該去掉的重復(fù)數(shù)據(jù)量，共80多w條

 

 

SQL> select count(*) from tb_bj_banker_etl where (id) in (select id from tb_bj_banker_etl group by id having count(*)>1) and rowid not in(select max(rowid) from tb_bj_banker_etl group by&nb高端網(wǎng)站建設(shè)sp;id having count(*)>1); 

 

830099 

3、于是，在晚上下班前，執(zhí)行了下面的語句腳本，為了去重

 

SQL> delete from tb_bj_banker_etl where(id) in (select id from tb_bj_banker_etl group by id having count(*)>1) and rowid not in(select max(rowid) from tb_bj_banker_etl group by id having count(*)>1); 

關(guān)鍵詞標簽: 實例 現(xiàn)象