Java知識分享網 - 輕松學習從此開始!????

Java知識分享網

Java1234官方群24:java1234官方群24
Java1234官方群24:791563025
     

Mycat實現mysql高可用集群視頻教程免費領取

畢設代做,包查重聯系人QQ:1982956321畢設大神

領取國內優秀就業,加薪,跳槽項目課程源碼-vue2+jwt+springboot+mybaits前后端分離通訊錄系統課程

SpringBoot打造企業級進銷存

Java1234 VIP課程

領取微信掃碼登錄Java實現視頻教程

Java1234至尊VIP(特價活動)
當前位置: 主頁 > Java文檔 > 大數據云計算 >

HadoopMapReduce短作業執行性能優化文檔 PDF 下載


分享到:
時間:2020-03-28 18:08來源:http://www.luygg.com 作者:小鋒  侵權舉報
HadoopMapReduce短作業執行性能優化文檔 PDF 下載
失效鏈接處理
HadoopMapReduce短作業執行性能優化文檔  PDF 下載

本站整理下載:
 
相關截圖:
 
主要內容:
 由 Google公 司 于2004年 提 出 的 MapReduce[1]
并行計算框架目前被廣泛應用于解決大規模數據處
理問題.MapReduce與之前諸多并行編程模型如消
息傳遞接口(messagepassinginterface,MPI)[2]和
并行虛 擬 機 (parallelvirtualmachine,PVM)[3]完
全不同.它提供了兩個非常簡單的編程接口:map和
reduce.當開發人員實現了這兩個接口之后,應用程
序可以在 Hadoop[4]
MapReduce并行框架上實現自
動并行計 算.MapReduce擁 有 諸 多 良 好 特 性,如 負
載平 衡、高 可 擴 展 性 以 及 容 錯 等[5]
.MapReduce是
當前工業界和學術界最有效的大規模數據處理問題
并行解決方案之一.
近年來,為了在大數據集下獲得較高的執行效
率,研究者們基于 MapReduce設計了很多并行化的
算法,如機器學習算法[6-7]等.另外,也有研究工作分
析了 MapReduce和其他一些并行編程模型的不同,
并指出其在性能上還存在一些問題需要解決[8].這
個領域不斷地吸引了很多研究者,他們著力于優化
MapReduce的各種性能.Facebook為了解決 Hadoop
集群的資源 共 享 問 題,文 獻[9]提 出 了 公 平 調 度 算
法[9];另外,為了加強 MapReduce計算向 數 據 遷 移
的特性,Facebook還提出了延遲調度算法[10].加 州
大學伯 克 利 分 校 提 出 了 LATE(longestapproximate
timetoend)算 法[11],用于提高投機任務執行的性
能;HPMR(highperformance mapkeduceengine)[12]
采用pre-fetching和pre-shuffling優 化 策 略,也 提
升了 Hadoop的整體性能;文獻[13]將 map任務產
生的中間數據存入分布式內存中,以加速 MapReduce
任務的執行;文獻[14]提出了一種計算 MapReduce
作業執行進 度 的 算 法,可有效預測作業結束時間;
文獻[15]提 出 了 一 種 自 動 優 化 MapReduce參 數
的算法;文獻[16]利用作業和任務的多重并發平衡
磁盤和網絡帶寬,減小瓶頸出現的可能性,提高系統
性能

 

------分隔線----------------------------
鋒哥公眾號


鋒哥微信號


日本色在线