数据中心资源优化调度：理论与实践pdf/txt下载_在线阅读全文

内容简介

　　本书围绕数据中心IT基础资源优化调度管理关键问题，介绍了云计算的发展背景和挑战性问题、主要服务提供商的数据中心解决方案和国内外研究现状，对资源优化调度管理领域内的主要挑战性问题进行了深入分析和探索，特别是实时负载均衡调度、能耗敏感调度、计算资源*化利润调度、云工作流和数据中心模拟系统设计应用等关键内容，希望为读者深入了解相关知识和有兴趣的研究人员提供一些借鉴。

作者简介

　　田文洪, 电子科技大学计算机学院副教授，研究方向主要集中在云计算网络动态设计和资源管理调度、物联网管理系统等领域，擅长以简洁创新的方式解决复杂网络问题，特别是在云计算、高性能资源调度管理、绿色节能调度方面他积累了丰富的经验，具有很深的造诣, 基本达到国际先进水平。

目　　录

第1章云计算概述
　1.1 云计算发展背景
　1.2 云计算是集大成者
　1.2.1 并行计算
　1.2.2 网格计算
　1.2.3 效用计算
　1.2.4 普适计算
　1.2.5 SaaS
　1.2.6 虚拟化技术
　1.3 云计算的驱动因素
　1.3.1 云计算发展现状和趋势
　1.3.2 云计算应用初步分类
　1.4 云计算产业链中的不同角色
　1.5 云计算的主要特征和技术挑战

第1章 云计算概述 
　1.1 云计算发展背景 
　1.2 云计算是集大成者 
　1.2.1 并行计算 
　1.2.2 网格计算 
　1.2.3 效用计算 
　1.2.4 普适计算 
　1.2.5 SaaS 
　1.2.6 虚拟化技术 
　1.3 云计算的驱动因素 
　1.3.1 云计算发展现状和趋势 
　1.3.2 云计算应用初步分类 
　1.4 云计算产业链中的不同角色 
　1.5 云计算的主要特征和技术挑战 
　1.5.1 云计算的主要特征 
　1.5.2 挑战性问题 
　1.6 小结 
　思考题 
　参考文献 
第2章 数据中心 
　2.1 数据中心概述 
　2.1.1 数据中心简介 
　2.1.2 数据中心的需求和挑战 
　2.2 云计算数据中心资源调度需求分析 
　2.2.1 技术需求 
　2.2.2 技术目标 
　2.3 云计算数据中心资源调度研究进展 
　2.4 云计算数据中心资源调度方案分析 
　2.4.1 Google解决方案 
　2.4.2 Amazon解决方案 
　2.4.3 IBM解决方案 
　2.4.4 HP解决方案 
　2.4.5 VMware解决方案 
　2.4.6 其他厂家解决方案 
　2.5 云计算数据中心资源调度标准进展 
　2.6 云资源管理调度关键技术及研究热点 
　2.7 小结 
　思考题 
　参考文献 
第3章 大数据处理 
　3.1 大数据的发展背景及定义 
　3.2 大数据问题 
　3.2.1 速度方面的问题 
　3.2.2 种类及架构问题 
　3.2.3 体量及灵活性问题 
　3.2.4 成本问题 
　3.2.5 价值挖掘问题 
　3.2.6 存储及安全问题 
　3.2.7 互联互通与数据共享问题 
　3.3 大数据与云计算的辩证关系 
　3.4 大数据技术 
　3.4.1 基础架构支持 
　3.4.2 数据采集 
　3.4.3 数据存储 
　3.4.4 数据计算 
　3.4.5 数据展现与交互 
　3.5 小结 
　思考题 
　参考文献 
第4章 云资源监控管理 
　4.1 云数据中心监控系统概述 
　4.1.1 研究背景 
　4.1.2 云数据中心资源监控的方式 
　4.1.3 虚拟机监控简介 
　4.2 云数据中心监控系统的相关研究 
　4.2.1 云数据中心监控系统的功能需求分析 
　4.2.2 实现云监控系统的关键技术 
　4.3 云数据中心计算资源监控系统的设计与实现 
　4.3.1 云数据中心计算资源监控系统的设计 
　4.3.2 云数据中心计算资源监控系统的实现 
　4.4 云数据中心监控系统数据分析 
　4.4.1 用户请求展示 
　4.4.2 用排队论分析用户请求 
　4.4.3 云数据中心的功耗计算 
　4.5 云资源监控系统的性能分析与评价 
　4.6 小结 
　思考题 
　参考文献 
第5章 实时负载均衡调度 
　5.1 引言 
　5.2 相关工作 
　5.2.1 示例说明 
　5.2.2 问题描述和模型建立 
　5.2.3 负载均衡调度算法的度量指标 
　5.3 OLRSA算法 
　5.4 算法性能比较 
　5.4.1 模拟设置 
　5.4.2 模拟仿真的结果和分析 
　5.5 小结 
　思考题 
　参考文献 
第6章 计算资源节能调度概述 
　6.1 数据中心节能研究背景 
　6.1.1 国内外研究背景介绍 
　6.1.2 国内外主要参考文献 
　6.2 数据中心能耗模型 
　6.2.1 数据中心调度系统 
　6.2.2 数据中心能耗评估 
　6.2.3 服务器能耗模型 
　6.3 节能问题描述与建模 
　6.3.1 前置条件 
　6.3.2 主要节能调度算法分类 
　6.4 离线调度算法 
　6.4.1 同构且请求容量为单位容量 
　6.4.2 同构且请求容量为任意容量 
　6.5 在线调度算法 
　6.6 随机调度算法 
　6.6.1 M/M/1排队模型 
　6.6.2 M/M/k排队模型 
　6.7 节能调度算法评估 
　6.7.1 理论分析证明 
　6.7.2 模拟对比分析 
　6.8 小结 
　思考题 
　参考文献 
第7章 离线和在线节能调度算法 
　7.1 离线节能调度算法 
　7.1.1 MFFDE算法分析 
　7.1.2 MFFDE算法的近似度证明 
　7.2 在线节能调度算法 
　7.2.1 BFF算法分析与近似度证明 
　7.2.2 BFF算法性能评估 
　7.3 MinTBT问题及节能调度算法在数据中心节能中的应用 
　7.4 小结 
　思考题 
　参考文献 
第8章 Hadoop集群节能调度管理 
　8.1 Hadoop介绍 
　8.1.1 Hadoop简介 
　8.1.2 Hadoop框架 
　8.1.3 Hadoop运行流程 
　8.2 新型动态负反馈调度算法 
　8.2.1 Hadoop集群动态管理设计特点 
　8.2.2 负载模型设计 
　8.2.3 DANF算法设计与实现 
　8.2.4 动态调度模块算法伪代码 
　8.3 节能调度系统设计 
　8.3.1 系统总体架构 
　8.3.2 模块详细设计 
　8.4 系统测试和分析 
　8.4.1 测试环境 
　8.4.2 程序功能性测试 
　8.4.3 性能测试 
　8.5 Hadoop其他节能方式 
　8.6 小结 
　思考题 
　参考文献 
第9章 计算资源的利润最大化问题 
　9.1 计算资源作为服务的利润最大化 
　9.1.1 云计算与数据中心 
　9.1.2 数据中心的发展 
　9.2 传统的最大化利润解决方法 
　9.2.1 经典的0-1背包问题 
　9.2.2 动态规划法 
　9.2.3 贪婪算法 
　9.2.4 回溯法 
　9.3 区间调度问题介绍 
　9.4 带权区间调度 
　9.4.1 传统的带权区间调度问题 
　9.4.2 WIS中的可相互兼容区间 
　9.4.3 带权区间调度问题 
　9.5 考虑容量共享的带权区间调度 
　9.5.1 考虑容量共享的带权区间调度问题 
　9.5.2 WISWCS问题中可相互共享兼容的区间 
　9.5.3 WISWCS问题中的容量分割 
　9.5.4 WISWCS问题中的权值与容量成比例 
　9.5.5 最大化利润的公式 
　9.5.6 一种考虑容量共享的准确调度算法 
　9.5.7 用SAWIS算法找出最佳子集 
　9.6 可共享容量调度问题的应用 
　9.6.1 云计算中的虚拟机调度 
　9.6.2 通信链路共享 
　9.6.3 性能评估 
　9.7 相关工作 
　9.8 小结 
　思考题 
　参考文献 
第10章 云工作流应用 
　10.1 科学计算云平台研究背景 
　10.2 工作流和云平台集成的相关研究工作 
　10.3 科学计算云平台的结构化方案 
　10.3.1 需求 
　10.3.2 架构 
　10.3.3 集成选项 
　10.3.4 实现细节 
　10.4 科学计算云平台集群配置和产品部署 
　10.4.1 MODIS图片处理工作流 
　10.4.2 产品部署 
　10.5 小结 
　思考题 
　参考文献 
第11章 数据中心调度模拟系统 
　11.1 引言 
　11.2 CloudSched的架构和主要特点 
　11.2.1 数据中心的建模 
　11.2.2 虚拟机分配的建模 
　11.2.3 用户请求建模 
　11.3 不同调度算法的性能度量 
　11.3.1 多维度负载均衡的度量指标 
　11.3.2 节能算法的度量指标 
　11.3.3 最大化资源利用率的度量指标 
　11.3.4 置信区间的度量 
　11.4 CloudSched的设计与实现 
　11.4.1 数据中心的调度过程 
　11.4.2 调度算法——以LIF算法为例 
　11.5 性能评估 
　11.5.1 负载均衡比较 
　11.5.2 节能效果比较 
　11.6 小结 
　参考文献 
第12章 总结与展望 
　12.1 动态多层次分布式资源监控 
　12.2 动态综合调度策略和算法研发 
　12.3 多数据中心（多调度域）的调度策略和算法动态可选择 
　12.4 监控、调度和部署等功能融合 
　12.5 绿色节能数据中心的综合解决方案 
　12.6 从基础资源调度拓展到应用任务调度

显示全部信息

在线试读部分章节

前言

“经过精细规划的优化理论设计的实践比随意性或一般性实施在性能、节能以及提高运营利润等方面可体现高出多个量级的效果，并不断接近或达到最优化结果。”
云计算是一种计算模型和服务模式，它将计算任务分布在大量计算机构成的不同数据中心，使各种应用系统能够根据需要获取计算能力、存储空间和信息服务。提供资源的网络或数据中心被称为“云”。业界研究者将云计算列为水、电、气、油之外的第五种公用资源（The Fifth Utility）。继个人计算机变革、互联网变革之后，云计算被看做第三次IT浪潮，是世界和中国战略性新兴产业的重要组成部分，它将带来生活、生产方式和商业模式的深刻改变，已成为当前全社会关注的热点。
云计算目前已经广泛应用于网络搜索、科学计算、虚拟环境、能源和生物信息等领域的日常业务和创新性探索。IDC预测，未来4年中国云计算将产生1.1万亿元的市场。赛迪顾问2010年年底的《中国云计算产业发展白皮书》预测未来3年，云计算应用将以政府、电信、教育、医疗、金融、石油石化和电力等行业为重点，在中国市场逐步被越来越多的企业和机构采用，市场规模也将从2009年的92.23亿元增长到2012年的606.78亿元，年均复合增长率达87.4%。该报告预计中国云计算产业发展将分为准备阶段（2007—2010年）、起飞阶段（2011—2015年）和成熟阶段（2015年以后）。
不少研究预言“将来的核心竞争在数据中心”。数据中心是容纳计算设备资源的集中之地，同时负责对计算设备的能源提供和空调维护等。数据中心可以单独建设，也可以置于其他建筑之内，还可以是分布在不同地理位置的多个系统。云资源汇聚在一起，通过多租户模式服务多个消费者。在物理上，资源以分布式的共享方式存在，但最终在逻辑上以单一整体的形式呈现给用户。资源种类很多，分类角度也不一样，本书所涉及的资源主要包括以下几类。
物理服务器：构成数据中心的物理计算设备，每个物理服务器可以提供多个虚拟机，每个物理服务器可以由多个CPU、内存、硬盘、网卡等构成。
物理集群：由多个物理服务器、必要的网络和存储设施构成的物理服务器组。
虚拟机：通过虚拟化软件在物理服务器上生成的虚拟计算平台，可以由多个虚拟化CPU、硬盘、网卡等构成。
虚拟集群：由多个虚拟机、必要的网络和存储设施构成的虚拟机组。
共享存储：为数据中心的计算资源提供大容量存储，可以被所有设备和用户共享。

前  言 
  
“经过精细规划的优化理论设计的实践比随意性或一般性实施在性能、节能以及提高运营利润等方面可体现高出多个量级的效果，并不断接近或达到最优化结果。” 
云计算是一种计算模型和服务模式，它将计算任务分布在大量计算机构成的不同数据中心，使各种应用系统能够根据需要获取计算能力、存储空间和信息服务。提供资源的网络或数据中心被称为“云”。业界研究者将云计算列为水、电、气、油之外的第五种公用资源（The Fifth Utility）。继个人计算机变革、互联网变革之后，云计算被看做第三次IT浪潮，是世界和中国战略性新兴产业的重要组成部分，它将带来生活、生产方式和商业模式的深刻改变，已成为当前全社会关注的热点。 
云计算目前已经广泛应用于网络搜索、科学计算、虚拟环境、能源和生物信息等领域的日常业务和创新性探索。IDC预测，未来4年中国云计算将产生1.1万亿元的市场。赛迪顾问2010年年底的《中国云计算产业发展白皮书》预测未来3年，云计算应用将以政府、电信、教育、医疗、金融、石油石化和电力等行业为重点，在中国市场逐步被越来越多的企业和机构采用，市场规模也将从2009年的92.23亿元增长到2012年的606.78亿元，年均复合增长率达87.4%。该报告预计中国云计算产业发展将分为准备阶段（2007—2010年）、起飞阶段（2011—2015年）和成熟阶段（2015年以后）。 
不少研究预言“将来的核心竞争在数据中心”。数据中心是容纳计算设备资源的集中之地，同时负责对计算设备的能源提供和空调维护等。数据中心可以单独建设，也可以置于其他建筑之内，还可以是分布在不同地理位置的多个系统。云资源汇聚在一起，通过多租户模式服务多个消费者。在物理上，资源以分布式的共享方式存在，但最终在逻辑上以单一整体的形式呈现给用户。资源种类很多，分类角度也不一样，本书所涉及的资源主要包括以下几类。 
 物理服务器：构成数据中心的物理计算设备，每个物理服务器可以提供多个虚拟机，每个物理服务器可以由多个CPU、内存、硬盘、网卡等构成。 
 物理集群：由多个物理服务器、必要的网络和存储设施构成的物理服务器组。 
 虚拟机：通过虚拟化软件在物理服务器上生成的虚拟计算平台，可以由多个虚拟化CPU、硬盘、网卡等构成。 
 虚拟集群：由多个虚拟机、必要的网络和存储设施构成的虚拟机组。 
 共享存储：为数据中心的计算资源提供大容量存储，可以被所有设备和用户共享。 
以上数据中心资源在本书中统称为基础资源，简称云资源。 
云资源优化管理调度技术是云计算应用的核心，是云计算得以大规模应用和提高系统性能、兼顾节能减排及运营成本等方面的关键技术。先进的动态资源调度管理，对于提高学校、政府、研究机构和企业计算资源的利用效率，节约能源，提高资源共享和降低运营成本都具有极大意义，值得深入系统地学习和研究。 
资源管理调度是将资源从资源提供方分配给用户的一个过程。对于资源过载（需求大于系统容量），以及需求与容量随着时间的推移而动态变化的事实，通过优化资源调度管理，可以动态地重新分配资源，以便更高效地使用可用资源。业界一般将调度分为作业级调度和设施级调度。作业级调度是指针对具体的运行程序，系统将作业具体分配到哪些资源上运行的问题。例如，一些独立的需要较多计算资源和较长运行时间的程序，或者高性能并行处理程序，这些程序往往需要较大规模的高性能计算资源（如云计算）才能很快完成。设施级调度主要指将底层资源作为一种基础设施服务（Infrastructure as a Service，IaaS）提供给用户，用户依据实际情况使用这些资源。例如，数据中心的物理服务器（含CPU、内存、网络带宽等）、虚拟机（含虚拟化的CPU、内存、网络带宽等）及虚拟集群都属于底层基础资源。 
本书侧重于设施级（也称应用级）调度，同时兼顾作业级调度（如MapReduce多任务），并介绍资源动态优化管理与调度。如果把数据中心作为一个整体与人体比较，资源优化管理调度类似人的大脑，是最为核心的功能之一，具有极大的理论意义和实用价值。另外，资源监控类似人的眼睛，资源部署类似人的四肢。目前的数据中心管理与调度大多仅实现了简单的初级功能，还有很多问题亟须深入系统解决。针对基础资源优化管理调度，主要回答以下三大基本问题。 
 优化目标问题：将所需的虚拟机（或虚拟集群）配置在某个数据中心物理服务器（或物理集群）的具体优化函数（目标）是什么？如何建立高效的数学理论优化模型？这涉及宏观的管理策略制定。 
 优化分配问题：具体在哪个数据中心的哪个物理服务器上（或物理集群）分配所需的虚拟机（或虚拟集群）以实现优化目标？满足的具体前提和限制条件有哪些？针对不同的优化目标，业界优化实践方案有哪些？ 
 实践性能问题：针对理论优化目标与模型，业界优化管理调度方案的性能对比效果如何？如何选择适合不同目标的具体方法？ 
“没有理论的实践是盲目的，没有实践的理论是苍白的。”从优化和长远的角度来看，云计算的建设需要坚实的理论与实践经验的结合，我们发现经过精细规划的优化理论设计的实践比随意性或一般性实施在性能、节能以及提高运营利润等方面可体现高出多个量级的效果，并不断接近或达到最优化结果。经过多年的数据中心建设的实践和理论探索，我们在本书中提出并总结相关领域的优化理论模型和实践方法，在解决基本问题的同时，实现动态调度而不是静态预先完全设定相关参数，兼顾资源（CPU、存储、网络等）的性能、热耗、利用率等特性，本书称为资源的动态综合调度技术问题。 
数据中心需要处理物理和虚拟资源的动态结合的优化管理调度这一新问题，以实现高性能、节能减排及降低投资等目标。当前数据中心的资源调度不少仍然沿袭传统方法，较为简单化，难以满足以上目标的精细化和动态变化的要求。数据中心调度面临的挑战性问题包括：在考虑配置动态可调虚拟机的分配和迁移以及物理机综合性能，同时兼顾CPU、存储、网络等资源因素而非单一因素的情况下,如何解决用户需求不一致和资源规格不一致造成的系统性能不平衡、能耗效率低下及成本过高等问题。 
本书围绕以上关键问题展开，介绍了主要云服务提供商的相关解决方案和国内外研究现状，以及对以上挑战性问题的理论与实践探索，希望为读者深入了解相关知识内容和有兴趣的研究人员提供一些借鉴。 
本书各章之间的关系紧密围绕云资源优化管理调度展开，如下图所示。本书主要内容包括云计算概述（第1章）、数据中心（第2章）、大数据处理（第3章）、云资源监控管理（第4章）、实时负载均衡调度（第5章）、计算资源节能调度概述（第6章）、离线和在线节能调度算法（第7章）、Hadoop集群节能调度管理（第8章）、计算资源的利润最大化问题（第9章）、云工作流应用（第10章）、数据中心调度模拟系统（第11章），以及总结与展望（第12章）。本书可作为高年级本科生和研究生教材，也可作为相关专业研究人员的参考资料。 
  
本书是编者对以上内容大量理论知识与实践经验的积累结果，因时间仓促，书中难免存在不妥之处，欢迎读者指正，请发邮件至<a href="mailto:CloudSched@gmail.com">CloudSched@gmail.com</a>。


	                                                    编  者  
2013年11月

显示全部信息

数据中心资源优化调度：理论与实践下载

数据中心资源优化调度：理论与实践

发布书评

相关图书推荐