HDFS數據寫入流程

時間 : 2019-11-11
點擊次數 : 101

      1:Client 發起文件寫入請求,通過 RPC 與 NameNode 建立通訊,NameNode檢查目標文件,返回是否可以上傳;

      2:Client 請求第一個 block 該傳輸到哪些 DataNode 服務器上;

      3:NameNode 根據副本數量和副本放置策略進行節點分配,返回DataNode節點,如:A,B,C

      4:Client 請求A節點建立pipeline管道,A收到請求會繼續調用B,然后B調用C,將整個pipeline管道建立完成,后逐級返回消息到Client;

      5:Client收到A返回的消息之后開始往A上傳第一個block塊,block塊被切分成64K的packet包不斷的在pepiline管道里傳遞,從A到B,B到C進行復制存儲

      6:當一個 block塊 傳輸完成之后,Client 再次請求 NameNode 上傳第二個block塊的存儲節點,不斷往復存儲

      7.當所有block塊傳輸完成之后,Client調用FSDataOutputSteam的close方法關閉輸出流,最后調用FileSystem的complete方法告知NameNode數據寫入成功

上一篇: redis緩存穿透

上一篇:Weblogic 啟動、調優等操作相關命令 (Linux 環境)

友情鏈接:云聯泰達OA開發
煙臺網云網絡科技有限公司 魯ICP備14027327號-3

回到頂部
天津快乐10分开奖软件 江西体彩多乐彩基本走势图 江苏快三技巧都有什么 浙江11选5前三直 买入十一运夺金彩票 新宏泰股票 哪方面理财好一点 内蒙古11选5每天几点开始 湖北十一选五每天有多少期 2018股票分析范文ppt 北京通州股指期货配资