{eval=Array;=+count(Array);}

成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲 中文字幕 日韩 无码

問答專欄Q & A COLUMN

如何簡單粗暴的優(yōu)化一張數(shù)據(jù)量增長很快的千萬級大表?

coordinate35coordinate35 回答0 收藏1
收藏問題

2條回答

tracy

tracy

回答于2022-06-28 15:52

當(dāng)一張表的數(shù)據(jù)量達(dá)到千萬級別的時候,任何對表的操作都得小心翼翼。核心點在于避免全表掃描、避免鎖表、避免產(chǎn)生大量行鎖。

本質(zhì)上是讓每一次sql的執(zhí)行都更快的完成,避免過長時間占用數(shù)據(jù)庫連接,讓連接能夠迅速的釋放回數(shù)據(jù)庫連接池,提供更多穩(wěn)定的服務(wù)。

一旦產(chǎn)生大量的行鎖甚至表鎖,將會帶來連接瞬間被打滿、數(shù)據(jù)庫資源耗盡、服務(wù)宕機的災(zāi)難性后果。所以如何避免以上問題的發(fā)生才是最重要的,絕不能等問題發(fā)生之后再去解決。

SQL查詢的執(zhí)行路徑:

sql優(yōu)化

  1. 所有sql必須命中索引,禁止全表掃描

  2. 禁止like查詢,會導(dǎo)致全表掃描

  3. where條件必須符合最左前綴查詢原則,會無法命中索引,全表掃描

  4. 禁止使用!=、<>、OR等操作符,會導(dǎo)致全表掃描

  5. 禁止參與列運算例如:sum、date_format,會導(dǎo)致全表掃描

  6. 禁止使用is null、is not null等空判斷,會導(dǎo)致全表掃描

  7. 禁止使用select *,應(yīng)該明確指定要查詢的列,避免大批量數(shù)據(jù)傳輸、磁盤讀寫

  8. 用exist代替in

  9. 禁止大表連接查詢

結(jié)構(gòu)優(yōu)化

避免大字段和核心數(shù)據(jù)存儲在一張表,可以考慮將大字段拆出來存儲到OSS、ES、openSearch等數(shù)據(jù)源中,通過主鍵關(guān)聯(lián)的形式查詢。

一主多從,讀寫分離,緩存

主從配置可以支持更多的數(shù)據(jù)連接,避免了單機連接不足的問題,讀寫分離可以讓讀業(yè)務(wù)走從庫,不同的業(yè)務(wù)走不同的數(shù)據(jù)庫,比如報表業(yè)務(wù)。

分區(qū)分表

分區(qū)分表基本上就是終極方案了,水太深,這里不細(xì)說了。


以上,純屬扯淡!回到題主的問題,簡單粗暴的方案是啥?數(shù)據(jù)庫內(nèi)存加大!128G、256G上!硬盤采用SSD!一主多從、讀寫分離,借助ucloud云RDS輕松完成,有錢就可以了,分區(qū)分表?那就不叫簡單粗暴了!幾千萬數(shù)據(jù)?so easy!

大家有什么好的簡單粗暴的方案?歡迎評論區(qū)交流討論~

評論0 贊同0
  •  加載中...
seal_de

seal_de

回答于2022-06-28 15:52

千萬級大表在不考慮分庫分表的情況下有如下幾個可以優(yōu)化的地方,僅供參考:

數(shù)據(jù)庫層面

  • 主鍵最好是遞增的,不要用uuid,降低空間占用;

  • 根據(jù)需要查詢的字段,建立合適的索引(包括聯(lián)合索引),必要的時候根據(jù)explain查看執(zhí)行計劃分析索引是否被命中

  • 根據(jù)查詢條件,刪掉一些命中率比較低的索引,提高數(shù)據(jù)插入效率;

  • 對于一些復(fù)雜查詢,比如order by、group by等,要注意執(zhí)行計劃的Extra列是否有Using temporary字樣,如果有的話就意味著使用了臨時表,這種查詢的頻率比較高的話,可以適當(dāng)增大內(nèi)存臨時表空間,可以提高查詢速度;

查詢SQL語句層面

對于這種大數(shù)據(jù)量的表,查詢語句不要使用自動生成的那種,盡量手寫SQL,提高執(zhí)行效率并且避免一些無用字段的查詢,盡可能的去使用索引。下面是幾句寫SQL常用口訣:

  1. 全值匹配我最愛,最左前綴要遵守;

  2. 帶頭大哥不能死,中間兄弟不能斷;

  3. 索引列上不計算,范圍之后全失效;

  4. 萊克百分寫最左,覆蓋索引不寫星;

  5. 不等空值還有噢,索引失效要少用。

擴展分析

如果說你們的查詢比較頻繁,并且比較復(fù)雜,摻雜了大量的模糊查詢以及統(tǒng)計查詢,建議把數(shù)據(jù)同步放到 es(Elasticsearch)里面一份,這樣問題就解決了。

以上僅供參考,歡迎大家在評論區(qū)留言溝通交流!

評論0 贊同0
  •  加載中...

您已邀請0人回答 查看邀請

我的邀請列表

  • 擅長該話題
  • 回答過該話題
  • 我關(guān)注的人
向幫助了您的網(wǎng)友說句感謝的話吧!
付費偷看金額在0.1-10元之間
<