国产一级一区二区_segui88久久综合9999_97久久夜色精品国产_欧美色网一区二区

掃一掃
關注微信公眾號

云數據建模:為數據倉庫設計數據庫
2022-07-01   IT168網站

為數據倉庫或數據集市設計數據庫本質上與為傳統OLTP系統設計數據庫有很大不同。事實上,對于這些純分析系統來說,許多被普遍接受的設計OLTP數據庫的最佳實踐很可能被認為是最糟糕的實踐。

因此,數據建模人員在設計數據倉庫和數據集市時必須掌握一些新技巧。盡管其中包含的一些建議可能與您感到舒適的內容相反,但請保持開放的心態。請記住,宋飛的喬治·科斯坦扎(GeorgeCostanza)并沒有在紐約洋基隊找到理想的工作,直到他接受了與他所有想法相反的做法,如下面的視頻剪輯所示。所以,放棄任何舊的OLTP設計。

云數據建模:良好的數據庫設計意味著“適當的大小”和節約

正如本博客系列的第1部分一樣,云不是涅盤。是的,它提供了本質上無限可擴展的資源。但你必須為使用它們付費。當您為部署到云端的應用程序做出糟糕的數據庫設計選擇時,您的公司將每月為所有不可避免的低效支付費用。靜態過度配置或動態擴展會在一個糟糕的設計上迅速增加每月的云成本。所以,您真的應該熟悉云提供商的規模與成本計算器。

請看下面的圖1。它顯示了一個只有4TB數據的數據倉庫項目的定價,按照今天的標準,這個價格很低。我選擇了“隨需應變”來支持多達64個虛擬CPU和448GB的內存,因為我希望這個數據倉庫能夠完全或至少大部分位于內存中,以實現閃電般的快速訪問。因此,僅在云中運行這一個數據倉庫每年就需要136000美元。如果我能減少CPU和內存需求,我就能顯著降低成本。所以,我不想為了安全而過度提供。我想從第一天起根據一個良好的數據庫設計來調整這個大小,這個數據庫設計不會因為低效的設計而浪費資源。

  圖1: AWS中4TB數據倉庫的定價

現在,我們將介紹一些數據建模基礎知識,這些基礎知識無論是在本地還是在云中都適用。

要認識和理解的第一件也是最重要的一件事是您現在正在為其設計數據模型的新的、完全不同的目標環境。

  圖2:數據庫設計特征

主要的底層設計原則是,與OLTP系統相比,用戶運行的請求數量相對較少,OLTP系統掃描超大表中的數十萬到數百萬行,并應用聚合函數將數據匯總到少量輸出行中。對于這個目標環境,您不希望像在OLTP系統中那樣規范化數據。事實上,引用電影《年輕的弗蘭肯斯坦》(Young Frankenstein)中的一句話,讓你的大腦工作“abby normal”(艾比正常)會讓你受益匪淺。

星型模式:數據倉庫和數據湖的數據建模和數據庫設計范例

拉爾夫·金博爾(RalphKimball)為此開發了一種數據建模和數據庫設計范式,稱為維度建模和/或星型模式設計。我第一次見到拉爾夫是在20世紀90年代初,當時我參加了他的一次研討會。我當時在埃爾文的老家Logic Works工作,向拉爾夫展示了數據建模工具如何利用他的理想。我在2003年出版了第一本書,展示了我如何使用拉爾夫的技術在Oracle數據庫中創建大型數據倉庫。

星型模式設計實際上非常簡單。只有兩種類型的實體和/或表:

  • 維度:較小的非規范化表,其中包含最終用戶查詢的業務描述性列
  • 事實:非常大的表,主鍵由相關維度表外鍵列串聯而成,并且具有數字相加的非鍵列,用于最終用戶查詢期間的計算

讓我們以一個簡單的現有OLTP數據模型為例,看看如何將其轉換為星型模式設計。

  圖3:OLTP銷售點系統的數據模型

這是OLTP便利店銷售點和訂購系統的數據模型。我把它淡化了一點,使之足夠簡單,可以作為一個例子。請注意各種顏色,它們基本上表示此數據模型中類似實體的主題區域。因此,在步驟#1中,我們只需確定所有維度和事實。黃色實體向下展平到store維度,洋紅實體向下展平到product維度。綠色實體根本沒有被納入數據模型,白色實體成為事實。

  圖4:添加關系之前銷售點系統的邏輯數據模型

那么,這一時期和促銷實體是從哪里來的呢?嗯,在大多數數據倉庫中,您都需要一個時間維度,因為業務用戶希望看到給定日期的數據。所以,你總是會有一些時間維度。促銷實體是新的,因為業務用戶告訴我們,他們希望通過數據倉庫能夠看到的關鍵項目之一是他們的促銷效果如何。

至于第#2步,這很容易——只需添加事實與其所有維度之間的關系。請注意,所有關系都是標識的。看到恒星中心的事實了嗎?因此命名為星型模式。

  圖5:添加關系后銷售點系統的邏輯數據模型

如果幸運的話,您的數據建模工具將為星形模式設計提供圖表支持。在這里,我們看到歐文提供了這樣一個功能。然而,許多其他數據建模工具不提供此功能。

  圖6:銷售點系統物理數據模型的星型模式顯示格式

現在只剩下將OLTP數據模型中的所有屬性放置到我們的一個維度或事實中。你最終會得到一個類似這樣的模型。

  圖7:放置OLTP系統的所有屬性并創建一些新的聚合事實后的星型模式物理數據模型

您可以預掃描和預聚合數據以加快查詢速度

你是否注意到銷售概念被分解為三個獨立的事實?在與業務用戶交談時,我們發現他們通常希望每周或每月報告或分析。因此,我們構建了一些事實,這些事實基本上是基本事實的聚合,因此,我們基本上預掃描和預聚合了一些數據,以加速這些查詢。

創造這樣的綜合事實是很正常的。它們不必像前面的示例中所示的那樣是簡單的基于時間的。它可以是按地區或時區,甚至是按感興趣的產品。例如,本例中的便利店公司有一個德克薩斯總公司和一個啤酒總公司,如圖所示,因為他們的總部位于德克薩斯州,啤酒占所有利潤的30%以上。事實上,“啤酒人”是公司的第三位高管,所以他們應該得到自己的總數。

  圖8:創建了一些新的、特定于業務且合理的事實后的星型模式物理數據模型

不要阻止優化器看到它是一個星形模式

最后,在星型模式設計中要避免的一件事是snowflaking(這與Snowflake數據庫無關)。許多數據庫優化器識別星型模式,并具有按數量級優化其執行的代碼。但是,您不能向圖片中添加任何使優化器看不到它是星型模式的內容,甚至使其變得復雜。下面是一個雪花添加到我們之前的星型模式模型中的示例。

  圖9:一個snowflaking的例子使優化器無法看到它是一個星形模式

雖然添加類別和子類別作為規范化工作可能是有意義的,但額外的關系層通常會混淆數據庫優化器,從而導致查詢執行時間大大降低。所以請避免snowflaking。

正如我們在本博客中看到的,數據倉庫的數據建模與OLTP系統的數據建模非常不同。但是,有一些技術可以產生非常成功的數據倉庫,還有一些數據建模工具,如erwin,旨在支持使用此類功能進行建模。

熱詞搜索:數據庫

上一篇:國家統計局解讀4月份工業生產數據:短期沖擊不改長期發展大勢
下一篇:最后一頁

分享到: 收藏
国产一级一区二区_segui88久久综合9999_97久久夜色精品国产_欧美色网一区二区
欧美精选在线| 欧美精品在线一区| 亚洲精品久久7777| 亚洲伦伦在线| 久久精品成人一区二区三区蜜臀 | 免费在线欧美视频| 欧美日产国产成人免费图片| 国产午夜精品全部视频播放| 亚洲精选成人| 久久综合伊人77777尤物| 欧美日韩免费看| 在线日韩中文| 久久理论片午夜琪琪电影网| 国产精品对白刺激久久久| 激情国产一区二区| 亚洲欧美日韩区| 欧美精品18| 亚洲国产一区视频| 狂野欧美激情性xxxx| 国产婷婷一区二区| 亚洲欧美日韩国产中文在线| 欧美三区在线视频| 一区二区日韩欧美| 欧美日韩小视频| 亚洲人成亚洲人成在线观看| 欧美大片一区二区| 亚洲精品1区| 欧美成人午夜| 亚洲人成免费| 欧美a级一区| 亚洲欧洲日韩女同| 欧美国产欧美亚洲国产日韩mv天天看完整 | 欧美日韩大片| 99视频一区二区| 欧美日韩国语| 亚洲免费视频观看| 国产精品腿扒开做爽爽爽挤奶网站| 一本综合久久| 国产精品亚洲激情| 久久精品免费电影| 亚洲国产免费看| 欧美另类变人与禽xxxxx| 亚洲精品一区二区三区樱花| 欧美精品综合| 亚洲欧美日韩综合一区| 国产视频在线观看一区 | 精久久久久久| 欧美精品大片| 亚洲欧美国产高清va在线播| 国产亚洲精品激情久久| 久久久久在线| 一本久久精品一区二区| 国产精品人成在线观看免费| 欧美自拍丝袜亚洲| 亚洲电影有码| 欧美日韩精品中文字幕| 久久国产精品久久久久久| 亚洲国产精品一区二区www在线| 欧美日韩一区二区三区免费看| 亚洲你懂的在线视频| 一区二区三区在线视频观看| 欧美日韩www| 久久久国产91| 亚洲精选视频在线| 国产在线日韩| 国产精品福利久久久| 玖玖视频精品| 欧美一级欧美一级在线播放| 亚洲日韩第九十九页| 国产亚洲精品久久久久久| 欧美日本中文字幕| 老司机67194精品线观看| 亚洲欧美制服中文字幕| 亚洲激情自拍| 一区二区亚洲精品国产| 欧美色播在线播放| 免费影视亚洲| 久久精品99国产精品| 在线综合亚洲| 亚洲另类自拍| 亚洲国产精品成人综合| 国产午夜精品视频免费不卡69堂| 欧美激情国产精品| 噜噜噜久久亚洲精品国产品小说| 亚洲欧美韩国| 一本色道精品久久一区二区三区| 激情成人在线视频| 国产日韩亚洲欧美精品| 国产精品日韩在线一区| 欧美日韩一区二区三区免费| 欧美国产日韩精品免费观看| 麻豆av一区二区三区| 欧美在线一级视频| 亚洲免费在线视频一区 二区| 亚洲精品一区在线| 亚洲精品影院| 亚洲精品一二| 亚洲日本欧美天堂| 亚洲日本久久| 一本久道久久综合狠狠爱| 亚洲精品免费一区二区三区| 最近中文字幕mv在线一区二区三区四区 | 欧美系列精品| 欧美日韩视频在线观看一区二区三区 | 国产女同一区二区| 国产日韩精品视频一区| 国产亚洲一区二区精品| 国内在线观看一区二区三区 | 欧美成人综合| 欧美福利网址| 欧美日韩一区三区| 国产精品视频网站| 韩国成人福利片在线播放| 永久91嫩草亚洲精品人人| 亚洲高清在线观看| 亚洲精品一区二区三| 正在播放亚洲一区| 欧美一区日本一区韩国一区| 久久久综合精品| 欧美激情一区二区三区在线视频 | 亚洲视频一二三| 亚洲欧美日韩在线播放| 久久国产精品一区二区三区| 久久久国产一区二区| 欧美理论电影网| 国产日韩欧美亚洲| 亚洲精品国产精品国自产在线| 中文有码久久| 久久久久久久久久久久久久一区| 欧美高清视频| 国产日产欧美a一级在线| 在线播放中文字幕一区| 一区二区三区鲁丝不卡| 久久av二区| 欧美日精品一区视频| 韩国精品在线观看| 夜夜爽av福利精品导航| 久久免费国产| 国产精品男人爽免费视频1| 影音先锋欧美精品| 亚洲小视频在线观看| 久久午夜羞羞影院免费观看| 国产精品久久久久久福利一牛影视| 亚洲盗摄视频| 欧美一区二区三区视频| 欧美日韩综合久久| 亚洲国产清纯| 久久蜜桃精品| 国产精品爽爽ⅴa在线观看| 亚洲日本欧美| 美女主播精品视频一二三四| 国产日韩一区二区三区在线播放| 99www免费人成精品| 久久综合久久久| 国产视频在线观看一区二区三区| 一区二区精品| 欧美日韩岛国| 亚洲人成在线影院| 久久综合精品一区| 国内不卡一区二区三区| 欧美一区二区三区在线观看| 国产精品午夜国产小视频| 中国亚洲黄色| 欧美色另类天堂2015| 一本色道久久88精品综合| 欧美人与禽性xxxxx杂性| 91久久亚洲| 欧美精品在线免费播放| 亚洲美女福利视频网站| 欧美激情一区二区三区高清视频 | 欧美一区二区三区婷婷月色 | 欧美精品国产一区| 一区在线观看视频| 久久精品亚洲一区| 狠狠色综合色区| 久久―日本道色综合久久| 国产综合视频在线观看| 久久久xxx| 在线不卡免费欧美| 欧美不卡三区| 制服丝袜激情欧洲亚洲| 欧美午夜视频在线| 亚洲欧美日本视频在线观看| 国产欧美一区二区精品婷婷 | 欧美一区激情| 狠狠综合久久av一区二区小说 | 欧美一区二区三区免费视| 国产日韩欧美在线一区| 久久中文在线| 亚洲美女av在线播放| 欧美午夜精品久久久久久浪潮 | 亚洲精品中文字幕女同| 国产精品爱久久久久久久| 亚洲欧美另类国产| 国内精品久久久久伊人av| 欧美.日韩.国产.一区.二区| 99re6热在线精品视频播放速度| 国产精品久久久久久久久久三级| 欧美一区二区免费| 亚洲欧洲日本在线|