垃圾進(jìn)垃圾出。誕生于計算機(jī)科學(xué)早期的熟悉的短語也是如此，它強(qiáng)調(diào)了驗證輸入的重要性。
您可以擁有最巧妙，最優(yōu)雅，經(jīng)過充分測試的功能，模型或應(yīng)用程序-但是結(jié)果僅與輸入的結(jié)果一樣好。
每當(dāng)我們開發(fā)代碼時，我們都會提前對其將處理的數(shù)據(jù)的性質(zhì)進(jìn)行假設(shè)。一個簡單的算術(shù)函數(shù)可能期望單個浮點數(shù)。小吃攤亭的需求預(yù)測模型可以以特定表格形式預(yù)期最近五年的銷售數(shù)字。無人駕駛汽車控制器將從車輛周圍的許多傳感器接收不同的數(shù)據(jù)流。
如果違反了這些假設(shè)，那么可能會發(fā)生三件事之一。
該代碼對照預(yù)期檢查輸入并啟動計劃B。這可能是為了警告用戶數(shù)據(jù)問題并正常停止。
代碼遇到運(yùn)行時錯誤，導(dǎo)致程序崩潰。
該代碼繼續(xù)進(jìn)行，忽略了錯誤的輸入，并產(chǎn)生了可能合理的但不正確的輸出。
第一種情況為您提供降落傘，第二種情況為您帶來頭痛，第三種情況為您在融化的Cornetto水坑中提供多輛汽車堆積。
錯誤的數(shù)據(jù)=>錯誤的決定
隨著組織變得更加成熟的數(shù)據(jù)，重要的業(yè)務(wù)決策越來越頻繁地依賴于數(shù)據(jù)分析和建模。如果做出這些決定的數(shù)據(jù)不完整，那么基于該數(shù)據(jù)的推理將是有缺陷的，可能會帶來非常昂貴的后果。
這就是為什么了解數(shù)據(jù)質(zhì)量并了解正在使用的數(shù)據(jù)可能無法滿足您的需求如此重要的原因。
準(zhǔn)確性
曾經(jīng)創(chuàng)建的每條數(shù)據(jù)，都起源于現(xiàn)實世界中的事件或度量。這可能是溫度傳感器的輸出，金融交易的記錄或有人在網(wǎng)絡(luò)表單中鍵入其姓名。準(zhǔn)確性描述了"數(shù)據(jù)正確描述所描述的"現(xiàn)實世界"對象的程度。"
為了實現(xiàn)這一點，從真實世界到數(shù)據(jù)集的每個步驟都必須正確保留原始內(nèi)容的本質(zhì)。
在事件/對象的測量或記錄過程中，可能就在開始時就可能發(fā)生錯誤。2020年5月，由于填寫錯誤的申請表時出錯，澳大利亞政府高估了COVID19工資補(bǔ)貼計劃的支出承諾600億澳元(合390億美元)。要求雇主說明他們加入該計劃的雇員人數(shù)。但是，在0.1%的情況下，他們提交了所需補(bǔ)貼的美元價值—正確金額的1,500倍。這些錯誤被遺漏了，它們的總價值流入了議會通過的法案中。幾周后，政府宣布了自己的錯誤，面紅了，但對于在沙發(fā)后方找到600億美元的想法，可能并不太不滿意。
在上面的示例中，僅列出前100名左右的索賠人可能會闡明該問題。您可能希望找到大型的快餐和零售品牌，連鎖酒店等，但是當(dāng)您遇到一家當(dāng)?shù)夭宛^或一家小型旅游公司，聲稱擁有數(shù)千名員工時，您就會知道這是一個問題。
這突出了基本分析和概要分析對理解數(shù)據(jù)集的重要性。在進(jìn)行任何報告或建模之前，您需要仔細(xì)查看每個字段以查看其值是否有意義，并且不要感到奇怪。
精度與表親有密切關(guān)系：精度。環(huán)法自行車賽的賽段時間以小時和秒為單位進(jìn)行記錄，但這在奧運(yùn)會的100m決賽中無效。在數(shù)據(jù)類型轉(zhuǎn)換期間，或者由于用于進(jìn)行初始測量的儀器的靈敏度，精度可能會丟失，并且可能導(dǎo)致模型可用的方差較低。
完整性
數(shù)據(jù)完整性表示"數(shù)據(jù)集中所需數(shù)據(jù)的程度"。任何數(shù)據(jù)集都可能有缺口和數(shù)據(jù)缺失，但是缺失的數(shù)據(jù)是否會影響您回答問題的能力。要了解的關(guān)鍵是是否引入了會影響您結(jié)果的偏見。
1936年，《文學(xué)文摘》(LiteraryDigest)進(jìn)行了一項民意調(diào)查，詢問受訪者是否會投票支持共和黨人阿爾弗雷德·蘭登(AlfredLandon)，還是現(xiàn)任民主黨人富蘭克林·羅斯福(FranklinD.Roosevelt)。但是，郵件列表主要是從電話目錄中選擇的。現(xiàn)在，在1936年，電話遠(yuǎn)非普及，被認(rèn)為是奢侈品。因此，由于遺漏了那些無法負(fù)擔(dān)電話的人，郵寄名單最終偏向于中上層選民。一旦做出回應(yīng)，《文學(xué)文摘》就正確地預(yù)測出了滑坡。然而，不幸的是，蘭登而不是羅斯福發(fā)生了滑坡，羅斯福最終在美國歷史上最單方面的選舉中贏得了48個州中的46個。通過使用更完整的數(shù)據(jù)集(例如選舉名冊)，或者至少通過理解和調(diào)整其缺失數(shù)據(jù)所造成的偏差，投票數(shù)字可能已經(jīng)接近目標(biāo)。
完整性問題可能會在記錄級別發(fā)生，就像上面那樣，您會丟失全部行，但也可能會在列級別發(fā)生，即，字段在80%的時間內(nèi)可能為空白。如果缺失值不是均勻分布的，這可能會跳出許多機(jī)器學(xué)習(xí)方法，并且可能再次引入偏差。為了緩解此問題，有兩種方法：
丟棄不完整的列
丟棄包含缺失數(shù)據(jù)的行
插補(bǔ)丟失的數(shù)據(jù)(也稱為空白)
YoghitaKinha的精彩文章"如何處理數(shù)據(jù)集中的缺失值"中包含對上述方法的全面介紹。
盡管實際響應(yīng)率要低得多，但默認(rèn)值給人一個完整字段的錯覺，這是一個更加棘手和更隱蔽的完整性問題。當(dāng)我為零售時尚品牌建立客戶終身價值模型時，這曾經(jīng)發(fā)生在我身上。每個客戶檔案上都有一個"性別"標(biāo)志-M代表男性，F(xiàn)代表女性。該字段在數(shù)據(jù)集中具有很高的完整性，但是當(dāng)一些基本分析顯示大約6個月前向女性客戶急劇轉(zhuǎn)變時，人們就產(chǎn)生了懷疑。事實證明，在最近重新設(shè)計的注冊表單中，性別字段已從沒有默認(rèn)值的必需下拉框更改為默認(rèn)="女性"的下拉列表。這種微小的變化意味著忽略該字段的客戶現(xiàn)在被記錄為女性，而不是被發(fā)送回表格中填寫。
一致性
如果在多個位置復(fù)制數(shù)據(jù)，則所有實例之間的數(shù)據(jù)必須保持一致。對于百貨商店，您可以通過會員計劃，郵件列表，在線帳戶支付系統(tǒng)和訂單履行系統(tǒng)來保存特定客戶的數(shù)據(jù)。在混亂的系統(tǒng)中，可能會有拼寫錯誤的名稱，舊地址和沖突的狀態(tài)標(biāo)志。這可能會導(dǎo)致僅從數(shù)據(jù)點的一個實例讀取數(shù)據(jù)的過程出現(xiàn)問題，例如，如果某個客戶退訂了營銷電子郵件，但是這并未反映該客戶的所有代表，他們可能會繼續(xù)接收通信，他們感到非常沮喪。不一致的聯(lián)系信息還可能導(dǎo)致在打電話或向深淵發(fā)送信件時浪費金錢。
在上面的示例中，擁有一個高度集成的客戶數(shù)據(jù)平臺(例如Segment或Omneo)可以幫助匯總客戶的單個視圖，并確保解決一致性方面的問題。
及時性
您的數(shù)據(jù)集是否足夠最新?事件發(fā)生與它出現(xiàn)在您的數(shù)據(jù)之間有什么滯后。很多數(shù)據(jù)分析和建模都將基于歷史快照，因此直到今天為止都不需要運(yùn)行它們。但是，實時決策需要實時數(shù)據(jù)。如果每天只能一次分批下載來自雷達(dá)系統(tǒng)的數(shù)據(jù)，那么這對空中交通管制員不會有太大幫助。如果某些商店由于連接問題而推遲了周日的銷售數(shù)據(jù)，那么您周一的管理會議數(shù)字將不正確。
您的數(shù)據(jù)集的及時性可能取決于導(dǎo)致其創(chuàng)建的數(shù)據(jù)集成管道。這可以是實時的，可以在事件描述后立即提供數(shù)據(jù)，也可以批量處理，這意味著數(shù)據(jù)將"凍結(jié)"直到下一次刷新。對該管道的更改可能使您可以訪問更多最新數(shù)據(jù)，并對新事件做出更快的響應(yīng)。
獨特性
每個真實世界的對象或事件僅應(yīng)在特定的數(shù)據(jù)集中表示一次。即是否有JohnDoe和JohnnyDoe的客戶記錄，盡管他們實際上是同一個人。
因此，任何涉及客戶的指標(biāo)(客戶數(shù)量，每位客戶的支出，購買頻率)都將由于包含一個人的重復(fù)表示而被剔除。
發(fā)現(xiàn)此問題意味著確定適當(dāng)?shù)闹麈I。在JohnDoe和JohnnyDoe的示例中，他們可以具有不同的名稱和客戶ID，但是可以匹配電子郵件地址，這有力地暗示了他們是同一個人。這意味著在進(jìn)行任何分析或建模之前，需要進(jìn)行數(shù)據(jù)整理以合并這些客戶記錄的附加步驟。
有效期
數(shù)據(jù)集中的字段可能具有其必須滿足的條件才能被視為有效。電子郵件地址必須帶有"@"符號，電話號碼必須是數(shù)字序列，并且會員級別字段可能需要為"Gold"，"Silver"或"Bronze"。
在許多情況下，a使用正則表達(dá)式可以輕松實現(xiàn)有效性檢查。有在線數(shù)據(jù)庫，例如regexlib.com，其中包含數(shù)千種常見數(shù)據(jù)類型的正則表達(dá)式。對于離散數(shù)據(jù)類型，例如上面的成員資格級別示例，簡單的頻率統(tǒng)計信息可以告訴您是否存在有效性問題。如果除了"Gold"，"Silver"或"Bronze"以外，還有大量其他值，則說明出現(xiàn)了問題。
一旦識別出無效數(shù)據(jù)，它將有效地成為完整性問題，可以使用前面介紹的方法來解決。
綜上所述
在任何數(shù)據(jù)科學(xué)項目的開始階段，重要的是要清楚地了解您的數(shù)據(jù)及其從源到數(shù)據(jù)集的路徑。盡管可能會急于實施您項目中更性感，更復(fù)雜的部分，但如果它建立在不穩(wěn)定的基礎(chǔ)上，那將是浪費時間。只有認(rèn)真地進(jìn)行提問，測試假設(shè)，分析和理解數(shù)據(jù)的工作，您才能真正對分析的質(zhì)量充滿信心。
