GreenPlum數據分布機制
一、介紹
GreenPlum是Coodinator／Segment架構，集群通常由一個Coodinator節(jié)點和一個standby coodinator節(jié)點以及多個segment節(jié)點組成，其中數據放置在segment節(jié)點上。Coodinator是整個數據庫的入口，客戶端只會連接到Coodinator上并執(zhí)行相關查詢操作，Standby節(jié)點為Coordinator提供高可用支持，Mirror為primary的備。
數據默認使用hash分布。
二、插入時數據是如何分布分發(fā)到哪個segment？
1、插入操作時值的由來
我們看下insert語句的執(zhí)行計劃：
它沒有Motion節(jié)點，僅1個slice，即root slice。Result節(jié)點是將insert的值物化以構建TupleTableSlot進行插入。也就是先物化然后insert。
這里主要關注物化的值從哪來。Result節(jié)點的執(zhí)行堆棧為：
ExecInterpExpr計算物化值步驟：EEOP＿CONST；EEOP＿ASSIGN＿TMP。也就是得到個常量值放到resultslot中。
通過gdb跟蹤每個segment進程，可以了解到這里的常量值就是INSERT語句中VALUES的值。
此時就可以了解到，SQL語句中VALUES值是直接發(fā)送到對于的segment的。
那么，具體是如何發(fā)送的呢？
2、值的發(fā)送
發(fā)送函數由cdbdisp＿dispatchX完成。我們來跟蹤這個函數，看下是如何分發(fā)到指定的segment的。
了解GP原理的話，我們知道發(fā)送前需要先在master和segment之間建立一個連接，然后將執(zhí)行計劃通過這個連接發(fā)送過去。建立連接就是創(chuàng)建Gang，由函數AssignGangs完成。
最終創(chuàng)建Gang建立連接會調用函數cdbgang＿createGang＿async。下面我們看下這個函數是如何建立連接的。
cdbconn＿doConnectStart連接時，SegmentDatabaseDescriptor segdbDesc中的segment＿database＿info：：GpSegConfigEntry存有segment的端口及IP等信息，即gp＿segment＿configuration系統(tǒng)表中內容。基于此信息，可以建立連接。
那么segdbDesc內容從何而來？
從上述堆棧，segdbDesc是Gang中的db＿descriptors［i］，也就是buildGangDefinition函數生成：
SliceTable．slices［0］．segments為入參segments鏈表，存儲著執(zhí)行該slice的所有segment的content id。segdbDesc是根據content id從系統(tǒng)表gp＿segment＿config來獲取。
到這里可以知道，通過SliceTable中的segment鏈表得到該slice的segment的content。Insert僅一個slice，insert分發(fā)到執(zhí)行該insert的segment，content就是該segment的content id。通過該content id從gp＿segment＿configuration系統(tǒng)表中得到相關port、IP等信息，從而據此在master和segment之間建立連接。構建鏈接后，insert語句通過此鏈接發(fā)送到對應的segment。
那么content id又是如何與分布鍵聯(lián)系起來呢？
經過分析，由函數DirectDispatchUpdateContentIdsForInsert來完成映射：
constvalue為分布鍵的key值，然后通過cdbhash函數通過系統(tǒng)hash函數將key值進行hash，最終得到hashcode，該值即為content id，放到contentIds鏈表中。
三、基礎知識1、gp＿segment＿configuration
2、Gang、slice與QueryDesc之間關系
原文標題 : GreenPlum數據分布機制
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
