摘要:?jiǎn)栴}數(shù)據(jù)庫(kù)索引為什么使用樹(shù)為了保持知識(shí)體系的完整性,簡(jiǎn)單介紹下幾種樹(shù)??梢钥吹?,存儲(chǔ)大量的數(shù)據(jù)億,并不需要太高樹(shù)的深度高度,索引也不是太占內(nèi)存。
問(wèn)題1. 數(shù)據(jù)庫(kù)為什么要設(shè)計(jì)索引?
圖書(shū)館存了1000W本圖書(shū),要從中找到《架構(gòu)師之路》,一本本查,要查到什么時(shí)候去?
于是,圖書(shū)管理員設(shè)計(jì)了一套規(guī)則:
(1)一樓放歷史類(lèi),二樓放文學(xué)類(lèi),三樓放IT類(lèi)…
(2)IT類(lèi),又分軟件類(lèi),硬件類(lèi)…
(3)軟件類(lèi),又按照書(shū)名音序排序…
以便快速找到一本書(shū)。
與之類(lèi)比,數(shù)據(jù)庫(kù)存儲(chǔ)了1000W條數(shù)據(jù),要從中找到name=”shenjian”的記錄,一條條查,要查到什么時(shí)候去?
于是,要有索引,用于提升數(shù)據(jù)庫(kù)的查找速度。
加速查找速度的數(shù)據(jù)結(jié)構(gòu),常見(jiàn)的有兩類(lèi):
(1)哈希,例如HashMap,查詢/插入/修改/刪除的平均時(shí)間復(fù)雜度都是O(1);
(2)樹(shù),例如平衡二叉搜索樹(shù),查詢/插入/修改/刪除的平均時(shí)間復(fù)雜度都是O(lg(n));
可以看到,不管是讀請(qǐng)求,還是寫(xiě)請(qǐng)求,哈希類(lèi)型的索引,都要比樹(shù)型的索引更快一些,那為什么,索引結(jié)構(gòu)要設(shè)計(jì)成樹(shù)型呢?
畫(huà)外音:80%的同學(xué),面試都答不出來(lái)。
索引設(shè)計(jì)成樹(shù)形,和SQL的需求相關(guān)。
對(duì)于這樣一個(gè)單行查詢的SQL需求:
select * from t where name=”shenjian”;
確實(shí)是哈希索引更快,因?yàn)槊看味贾徊樵円粭l記錄。
畫(huà)外音:所以,如果業(yè)務(wù)需求都是單行訪問(wèn),例如passport,確實(shí)可以使用哈希索引。
但是對(duì)于排序查詢的SQL需求:
分組:group by
排序:order by
比較:<、>
…
哈希型的索引,時(shí)間復(fù)雜度會(huì)退化為O(n),而樹(shù)型的“有序”特性,依然能夠保持O(log(n)) 的高效率。
任何脫離需求的設(shè)計(jì)都是耍流氓。
多說(shuō)一句,InnoDB并不支持哈希索引。
問(wèn)題3. 數(shù)據(jù)庫(kù)索引為什么使用B+樹(shù)?為了保持知識(shí)體系的完整性,簡(jiǎn)單介紹下幾種樹(shù)。
第一種:二叉搜索樹(shù)
二叉搜索樹(shù),如上圖,是最為大家所熟知的一種數(shù)據(jù)結(jié)構(gòu),就不展開(kāi)介紹了,它為什么不適合用作數(shù)據(jù)庫(kù)索引?
(1)當(dāng)數(shù)據(jù)量大的時(shí)候,樹(shù)的高度會(huì)比較高,數(shù)據(jù)量大的時(shí)候,查詢會(huì)比較慢;
(2)每個(gè)節(jié)點(diǎn)只存儲(chǔ)一個(gè)記錄,可能導(dǎo)致一次查詢有很多次磁盤(pán)IO;
畫(huà)外音:這個(gè)樹(shù)經(jīng)常出現(xiàn)在大學(xué)課本里,所以最為大家所熟知。
第二種:B樹(shù)
B樹(shù),如上圖,它的特點(diǎn)是:
(1)不再是二叉搜索,而是m叉搜索;
(2)葉子節(jié)點(diǎn),非葉子節(jié)點(diǎn),都存儲(chǔ)數(shù)據(jù);
(3)中序遍歷,可以獲得所有節(jié)點(diǎn);
畫(huà)外音,實(shí)在不想介紹這個(gè)特性:非根節(jié)點(diǎn)包含的關(guān)鍵字個(gè)數(shù)j滿足,(┌m/2┐)-1 <= j <= m-1,節(jié)點(diǎn)分裂時(shí)要滿足這個(gè)條件。
B樹(shù)被作為實(shí)現(xiàn)索引的數(shù)據(jù)結(jié)構(gòu)被創(chuàng)造出來(lái),是因?yàn)樗軌蛲昝赖睦谩熬植啃栽怼薄?/p>
什么是局部性原理?
局部性原理的邏輯是這樣的:
(1)內(nèi)存讀寫(xiě)塊,磁盤(pán)讀寫(xiě)慢,而且慢很多;
(2)磁盤(pán)預(yù)讀:磁盤(pán)讀寫(xiě)并不是按需讀取,而是按頁(yè)預(yù)讀,一次會(huì)讀一頁(yè)的數(shù)據(jù),每次加載更多的數(shù)據(jù),如果未來(lái)要讀取的數(shù)據(jù)就在這一頁(yè)中,可以避免未來(lái)的磁盤(pán)IO,提高效率;
畫(huà)外音:通常,一頁(yè)數(shù)據(jù)是4K。
(3)局部性原理:軟件設(shè)計(jì)要盡量遵循“數(shù)據(jù)讀取集中”與“使用到一個(gè)數(shù)據(jù),大概率會(huì)使用其附近的數(shù)據(jù)”,這樣磁盤(pán)預(yù)讀能充分提高磁盤(pán)IO;
B樹(shù)為何適合做索引?
(1)由于是m分叉的,高度能夠大大降低;
(2)每個(gè)節(jié)點(diǎn)可以存儲(chǔ)j個(gè)記錄,如果將節(jié)點(diǎn)大小設(shè)置為頁(yè)大小,例如4K,能夠充分的利用預(yù)讀的特性,極大減少磁盤(pán)IO;
第三種:B+樹(shù)
B+樹(shù),如上圖,仍是m叉搜索樹(shù),在B樹(shù)的基礎(chǔ)上,做了一些改進(jìn):
(1)非葉子節(jié)點(diǎn)不再存儲(chǔ)數(shù)據(jù),數(shù)據(jù)只存儲(chǔ)在同一層的葉子節(jié)點(diǎn)上;
畫(huà)外音:B+樹(shù)中根到每一個(gè)節(jié)點(diǎn)的路徑長(zhǎng)度一樣,而B(niǎo)樹(shù)不是這樣。
(2)葉子之間,增加了鏈表,獲取所有節(jié)點(diǎn),不再需要中序遍歷;
這些改進(jìn)讓B+樹(shù)比B樹(shù)有更優(yōu)的特性:
(1)范圍查找,定位min與max之后,中間葉子節(jié)點(diǎn),就是結(jié)果集,不用中序回溯;
畫(huà)外音:范圍查詢?cè)赟QL中用得很多,這是B+樹(shù)比B樹(shù)最大的優(yōu)勢(shì)。
(2)葉子節(jié)點(diǎn)存儲(chǔ)實(shí)際記錄行,記錄行相對(duì)比較緊密的存儲(chǔ),適合大數(shù)據(jù)量磁盤(pán)存儲(chǔ);非葉子節(jié)點(diǎn)存儲(chǔ)記錄的PK,用于查詢加速,適合內(nèi)存存儲(chǔ);
(3)非葉子節(jié)點(diǎn),不存儲(chǔ)實(shí)際記錄,而只存儲(chǔ)記錄的KEY的話,那么在相同內(nèi)存的情況下,B+樹(shù)能夠存儲(chǔ)更多索引;
最后,量化說(shuō)下,為什么m叉的B+樹(shù)比二叉搜索樹(shù)的高度大大大大降低?
大概計(jì)算一下:
(1)局部性原理,將一個(gè)節(jié)點(diǎn)的大小設(shè)為一頁(yè),一頁(yè)4K,假設(shè)一個(gè)KEY有8字節(jié),一個(gè)節(jié)點(diǎn)可以存儲(chǔ)500個(gè)KEY,即j=500
(2)m叉樹(shù),大概m/2<= j <=m,即可以差不多是1000叉樹(shù)
(3)那么:
一層樹(shù):1個(gè)節(jié)點(diǎn),1*500個(gè)KEY,大小4K
二層樹(shù):1000個(gè)節(jié)點(diǎn),1000500=50W個(gè)KEY,大小10004K=4M
三層樹(shù):10001000個(gè)節(jié)點(diǎn),10001000500=5億個(gè)KEY,大小10001000*4K=4G
畫(huà)外音:額,幫忙看下有沒(méi)有算錯(cuò)。
可以看到,存儲(chǔ)大量的數(shù)據(jù)(5億),并不需要太高樹(shù)的深度(高度3),索引也不是太占內(nèi)存(4G)。
總結(jié)
數(shù)據(jù)庫(kù)索引用于加速查詢
雖然哈希索引是O(1),樹(shù)索引是O(log(n)),但SQL有很多“有序”需求,故數(shù)據(jù)庫(kù)使用樹(shù)型索引
InnoDB不支持哈希索引
數(shù)據(jù)預(yù)讀的思路是:磁盤(pán)讀寫(xiě)并不是按需讀取,而是按頁(yè)預(yù)讀,一次會(huì)讀一頁(yè)的數(shù)據(jù),每次加載更多的數(shù)據(jù),以便未來(lái)減少磁盤(pán)IO
局部性原理:軟件設(shè)計(jì)要盡量遵循“數(shù)據(jù)讀取集中”與“使用到一個(gè)數(shù)據(jù),大概率會(huì)使用其附近的數(shù)據(jù)”,這樣磁盤(pán)預(yù)讀能充分提高磁盤(pán)IO
數(shù)據(jù)庫(kù)的索引最常用B+樹(shù):
(1)很適合磁盤(pán)存儲(chǔ),能夠充分利用局部性原理,磁盤(pán)預(yù)讀;
(2)很低的樹(shù)高度,能夠存儲(chǔ)大量數(shù)據(jù);
(3)索引本身占用的內(nèi)存很??;
(4)能夠很好的支持單點(diǎn)查詢,范圍查詢,有序性查詢;
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://m.hztianpu.com/yun/29451.html
摘要:通過(guò)增加額外的寫(xiě)操作和存儲(chǔ)空間來(lái)維護(hù)數(shù)據(jù)庫(kù)索引,可以提高從數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)的速度。數(shù)據(jù)庫(kù)索引的實(shí)現(xiàn)常見(jiàn)的數(shù)據(jù)庫(kù)索引實(shí)現(xiàn)有平衡樹(shù)樹(shù)樹(shù)哈希樹(shù),樹(shù)參考,中的索引數(shù)據(jù)庫(kù)支持多種索引類(lèi)型,如索引,哈希索引,全文索引等等。 數(shù)據(jù)庫(kù)索引簡(jiǎn)介 數(shù)據(jù)庫(kù)索引的定義 數(shù)據(jù)庫(kù)索引是一種數(shù)據(jù)結(jié)構(gòu)。通過(guò)增加額外的寫(xiě)操作和存儲(chǔ)空間來(lái)維護(hù)數(shù)據(jù)庫(kù)索引,可以提高從數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)的速度。通過(guò)索引,不需要搜索數(shù)據(jù)庫(kù)的每一條...
閱讀 5023·2021-11-25 09:43
閱讀 1251·2021-11-24 09:38
閱讀 1994·2021-09-30 09:54
閱讀 2883·2021-09-23 11:21
閱讀 2428·2021-09-10 10:51
閱讀 2438·2021-09-03 10:45
閱讀 1226·2019-08-30 15:52
閱讀 1820·2019-08-30 14:13