在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫之間形成一個隔離層,ODS直接存放從各個業(yè)務(wù)系統(tǒng)抽取過來的數(shù)據(jù), 這些數(shù)據(jù)從結(jié)構(gòu)和數(shù)據(jù)邏輯關(guān)系上和業(yè)務(wù)系統(tǒng)保持一致,降低了數(shù)據(jù)抽取的復雜性。查看全文>>
進入hbase命令行 ./hbase shell 顯示hbase中的表 list 創(chuàng)建user表,包含info、data兩個列族......查看全文>>
最近,在工作中遇到了MySQL中如何存儲長度較長的字段類型問題,于是花了一周多的時間抽空學習了一下,并且記錄下來。查看全文>>
安全模式是HDFS所處的一種特殊狀態(tài),在這種狀態(tài)下,文件系統(tǒng)只接受讀數(shù)據(jù)請求,而不接受刪除、修改等變更請求,是一種保護機制,用于保證集群中的數(shù)據(jù)塊的安全性。查看全文>>
HDFS元數(shù)據(jù),按類型分,主要包括以下幾個部分: 1、文件、目錄自身的屬性信息,例如文件名,目錄名,修改信息等。 2、文件記錄的信息的存儲相關(guān)的信息,例如存儲塊信息,分塊情況,副本個數(shù)等。 3、記錄HDFS的Datanode的信息,用于DataNode的管理。查看全文>>
mapreduce.map.memory.mb: 一個Map Task可使用的內(nèi)存上限(單位:MB),默認為1024。如果Map Task實際使用的資源量超過該值,則會被強制殺死。查看全文>>