Storm企业级应用：实战、运维和调优pdf/txt下载_在线阅读全文

内容简介

　　本书共11章，分为三篇。基础篇（第1~3章），介绍了Storm背景、基本原理、安装部署、核心概念和数据流模型。实战篇（第4~9章），通过6个典型的应用案例和代码示例，结合实践技巧和理论知识，深入讲解了如何使用Storm设计大型数据应用系统。技巧篇（第10~11章），重点介绍了Storm的高级特性、运维监控和性能调优等，并结合生产系统的性能优化、运维经验和使用技巧等方面进行讲解，旨在提升读者的实际操作经验。

目　　录

前言
基础篇
第1章认识Storm
1.1什么是实时流计算
1.1.1实时流计算背景
1.1.2实时计算应用场景
1.1.3实时计算处理流程
1.1.4实时计算框架
1.2Storm是什么
1.2.1Storm出现的背景
1.2.2Storm简介
1.2.3Storm的设计思想
1.2.4Storm与Hadoop的角色和组件比较
1.3Storm核心组件

前言 
基础篇 
第1章认识Storm 
1.1什么是实时流计算 
1.1.1实时流计算背景 
1.1.2实时计算应用场景 
1.1.3实时计算处理流程 
1.1.4实时计算框架 
1.2Storm是什么 
1.2.1Storm出现的背景 
1.2.2Storm简介 
1.2.3Storm的设计思想 
1.2.4Storm与Hadoop的角色和组件比较 
1.3Storm核心组件 
1.3.1主节点Nimbus 
1.3.2工作节点Supervisor 
1.3.3协调服务组件ZooKeeper 
1.3.4其他核心组件 
1.4Storm的特性 
1.5Storm的功能 
1.6本章小结


	 
第2章开始使用Storm 
2.1环境准备 
2.1.1系统配置 
2.1.2安装ZooKeeper集群 
2.2启动模式 
2.2.1本地模式 
2.2.2分布式模式 
2.3安装部署Storm集群 
2.3.1安装Storm依赖库 
2.3.2安装Storm集群 
2.3.3启动Storm集群 
2.3.4停止Storm集群 
2.4创建Topology并向集群提交任务 
2.4.1创建Topology 
2.4.2向集群提交任务 
2.5本章小结


	 
第3章核心概念和数据流模型 
3.1Tuple元组 
3.1.1Tuple描述 
3.1.2Tuple的生命周期 
3.2Spout数据源 
3.2.1Spout介绍 
3.2.2Spout实例 
3.3Bolt消息处理者 
3.3.1Bolt介绍 
3.3.2Bolt实例 
3.4Topology拓扑 
3.4.1Topology实例 
3.4.2Topology运行 
3.5Stream消息流和StreamGrouping消息流组 
3.5.1Stream消息流 
3.5.2StreamGrouping消息流组 
3.6Task任务 
3.7Worker工作者进程 
3.8Worker、Task、Executor三者之间的关系 
3.9事务 
3.10数据流模型 
3.10.1数据流模型简介 
3.10.2Storm数据流模型 
3.11本章小结


	 
实战篇 
第4章实例1：移动互联--语音“实时墙” 
4.1业务背景 
4.1.1案例背景 
4.1.2设计目标 
4.1.3数据格式 
4.1.4硬件配置 
4.2系统架构与模块设计 
4.2.1整体架构 
4.2.2数据采集 
4.2.3数据实时处理 
4.2.4存储设计 
4.2.5Web实时展示 
4.2.6硬件部署图 
4.3核心模块实现 
4.3.1实时处理业务逻辑实现 
4.3.2Web展示实现 
4.3.3最终效果呈现 
4.4本章小结


	 
第5章实例2：运营商--网络流量流向实时分析 
5.1业务背景 
5.1.1案例背景 
5.1.2设计目标 
5.1.3数据规模预估 
5.1.4数据格式 
5.1.5统计分析需求 
5.2系统架构与模块设计 
5.2.1整体架构 
5.2.2数据源 
5.2.3日志采集 
5.2.4数据存储 
5.2.5数据处理 
5.2.6目标存储和扩展服务 
5.2.7结果Web展示 
5.3核心模块实现 
5.3.1模拟数据实现 
5.3.2日志采集和存储实现 
5.3.3数据处理实现 
5.3.4Web展示实现 
5.4本章小结


	 
第6章实例3：交通--基于GPS的实时路况分析 
6.1业务背景 
6.1.1案例背景 
6.1.2设计目标 
6.1.3数据格式 
6.1.4实时路况分析方法 
6.2系统架构和模块设计 
6.3核心模块的实现 
6.3.1安装Kafka集群 
6.3.2Flume整合Kafka 
6.3.3实时处理数据 
6.3.4Web页面展示 
6.4本章小结


	 
第7章实例4：互联网--数据质量实时监控 
7.1业务背景 
7.1.1案例背景 
7.1.2设计目标 
7.1.3数据格式 
7.2系统架构与模块设计 
7.2.1整体架构 
7.2.2结果Web展示 
7.3核心模块实现 
7.3.1模拟数据 
7.3.2实时处理业务逻辑的实现 
7.3.3Web界面实现 
7.3.4最终效果图 
7.4本章小结


	 
第8章实例5：交通--超速频发路段监控 
8.1业务背景 
8.1.1案例背景 
8.1.2数据类型 
8.2系统架构和模块设计 
8.3核心模块实现 
8.3.1实现入口类Main 
8.3.2数据源SocketSpout的实现 
8.3.3实时处理MapSearchBolt和SpeedProcessBolt的实现 
8.3.4目标存储DataBaseLoadBolt的实现 
8.4本章小结


	 
第9章实例6：互联网--广告实时流量统计 
9.1广告实时流量统计系统架构 
9.1.1广告数据 
9.1.2详细需求描述 
9.1.3系统架构 
9.2表结构与模块设计 
9.2.1表结构设计 
9.2.2功能模块设计 
9.3核心模块实现 
9.3.1部署物理集群环境 
9.3.2Kafka生产者逻辑的实现 
9.3.3使用Stormkafka实现业务逻辑 
9.3.4使用HBase存储并实现统计 
9.4本章小结


	 
技巧篇 
第10章Storm常见故障及解决方法 
10.1安装部署故障 
10.1.1“nojzmqinjava.library.path”异常 
10.1.2“Noruletomaketarget”异常 
10.1.3“cannotaccessorg.zeromq.ZMQ”异常 
10.1.4缺少pkgconf?ig异常 
10.1.5“java.lang.Unsatisf?iedLinkError”异常 
10.1.6“java.lang.NoClassDefFoundError：clojure.core.protocols$”异常 
10.1.7“Error：cannotlinkwithluuid，installuuiddev”异常 
10.1.8“badinterpreter：Nosuchf?ileordirectory”异常 
10.1.9“org.zeromq.ZMQException：Invalidargument”异常 
10.2启动故障 
10.2.1“java.io.FileNotFoundException”异常 
10.2.2“java.io.EOFException”异常 
10.3运行时故障 
10.3.1“Nimbushostisnotset”异常 
10.3.2“AlreadyAliveException（msg：xxxisalreadyactive）”异常 
10.3.3无法序列化log4j.Logger异常 
10.3.4“Failingmessage”异常 
10.3.5“java.io.NotSerializableException”异常 
10.3.6“java.lang.NoClassDefFoundError”异常 
10.3.7“java.net.NoRouteToHostException”异常 
10.3.8“java.net.UnknownHostException”异常 
10.3.9重复defaults.yaml资源文件异常 
10.3.10“KeeperException$NoNodeException”异常 
10.3.11“AfatalerrorhasbeendetectedbytheJavaRuntimeEnvironment”错误 
10.3.12“java.lang.ArrayIndexOutOfBoundsException”异常 
10.3.13DRPC空指针异常 
10.3.14StormThrift读取数据报错 
10.4本章小结


	 
第11章Storm使用技巧和最佳实践 
11.1核心组件使用要点 
11.1.1Spout和Bolt 
11.1.2ZooKeeper集群尽量独立 
11.1.3Thrift服务的应用场景 
11.1.4序列化机制的使用场景 
11.2集群配置技巧 
11.2.1默认参数配置 
11.2.2日志信息 
11.2.3合理配置JVM参数 
11.3集群运维技巧 
11.3.1Storm计算结果的存储位置 
11.3.2Storm集群动态增删节点 
11.3.3关闭Storm相关进程 
11.3.4StormUI显示内容的问题 
11.4项目开发技巧 
11.4.1使用assembly插件打包 
11.4.2依赖JAR冲突 
11.5保证消息的可靠处理 
11.5.1消息失败后的处理 
11.5.2主动干预可靠性 
11.5.3处理重复的Tuple 
11.6理解DRPC原语 
11.6.1DRPC工作流 
11.6.2LinearDRPCTopologyBuilder实现类 
11.6.3DRPC的两种模式 
11.7快速理解一致性事务 
11.7.1Trident框架的使用 
11.7.2Trident框架的细节 
11.7.3事务性Spout 
11.7.4状态State 
11.8本章小结

显示全部信息

前　　言

　　Preface?前言为什么写作本书大数据是继云计算、物联网之后IT行业又一大颠覆性的技术变革。之前大数据在互联网、军事、金融、通信和物理学等领域已有不少落地案例，却因为近年来Hadoop技术的快速发展而引起业界广泛关注。可以说，Hadoop目前是大数据处理的关键技术，也是迄今为止，最成熟、应用最广泛的技术。但是Hadoop生态圈下面的数据处理几乎都是在离线状态下进行的，离线处理海量数据是比较耗时、耗力的，Storm的实时处理技术应运而生。正如曾经开发Storm的一位主要工程师所谈到的，Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，Storm用于实时处理，就好比Hadoop用于批处理。Storm保证每个消息都会得到处理，而且它很快——在一个小集群中，每秒可以处理数以百万计的消息，更棒的是可以使用任意编程语言来开发。因此在节省时间、人力的情况下，Storm的优势就充分体现了。
　　现在有关Storm的中文学习资料非常少，这给不少研发人员带来了很大的难度。尽管现在市面上已经有几本Storm的中文书籍，但是，这些书籍多是翻译过来的，语言组织不符合国人的习惯，并且实例讲解部分也不能切合本土国情。还有，这些书分别侧重了某一个方面，如理论、实战、运维等，还没有一本书能够非常系统地阐述Storm框架。本书正是为了解决以上的各种问题而撰写的，这也是国内第一本系统讲解Storm理论、实战、运维和调优的书籍。

Preface?前 言为什么写作本书大数据是继云计算、物联网之后IT行业又一大颠覆性的技术变革。之前大数据在互联网、军事、金融、通信和物理学等领域已有不少落地案例，却因为近年来Hadoop技术的快速发展而引起业界广泛关注。可以说，Hadoop目前是大数据处理的关键技术，也是迄今为止，最成熟、应用最广泛的技术。但是Hadoop生态圈下面的数据处理几乎都是在离线状态下进行的，离线处理海量数据是比较耗时、耗力的，Storm的实时处理技术应运而生。正如曾经开发Storm的一位主要工程师所谈到的，Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，Storm用于实时处理，就好比Hadoop用于批处理。Storm保证每个消息都会得到处理，而且它很快——在一个小集群中，每秒可以处理数以百万计的消息，更棒的是可以使用任意编程语言来开发。因此在节省时间、人力的情况下，Storm的优势就充分体现了。 
　　现在有关Storm的中文学习资料非常少，这给不少研发人员带来了很大的难度。尽管现在市面上已经有几本Storm的中文书籍，但是，这些书籍多是翻译过来的，语言组织不符合国人的习惯，并且实例讲解部分也不能切合本土国情。还有，这些书分别侧重了某一个方面，如理论、实战、运维等，还没有一本书能够非常系统地阐述Storm框架。本书正是为了解决以上的各种问题而撰写的，这也是国内第一本系统讲解Storm理论、实战、运维和调优的书籍。 
　　写作本身还有一个重要因素——让大家少走弯路。这一点笔者感同身受，在使用Storm之前，开始调研、搜集、了解Storm是比较痛苦的过程，由于网上的资料参差不齐，也没有比较完全系统的实战类书籍，因此尽管自己文笔很差，也想把自己了解的，以及实战过的东西，总结出来供大家参考，帮大家少走些弯路，让Storm为我们多做点事情。 
　　本书以Storm 0.8.2为基础，不仅深入探讨了Storm的原理架构和数据模型，更重要的是通过实战案例教给读者如何运用Storm框架来设计、搭建以及实时计算海量数据，同时结合生产案例剖析Storm的运维和性能调优的技巧。 
　　读者对象本书适合以下读者阅读： 
　　（1）云计算、大数据处理技术和分布式计算处理数据爱好者“大数据”无疑是继“云计算”之后IT业界上最热的词汇。而云计算、大数据、实时处理数据本身存在交集，现在不少涉猎大数据的，以及要求数据时效性的公司已经开始深入了解Storm，本书讲解的Storm是实时处理数据的一种工具。本书可以帮助这部分读者快速而全面地了解Storm的原理、架构、使用场景和细节知识点，理解Storm在云计算、大数据时代处理数据的重要性。 
　　（2）对实时处理数据感兴趣的开发人员Hadoop技术在近几年非常热，已经是大数据处理的关键技术，而Storm作为Hadoop生态系统不足之处的补充者，已经被越来越多的公司用来满足数据实时处理的需求。本书可以帮助这部分读者详细了解Storm与Hadoop之间的不同之处，涉及Storm的基本概念、核心知识点和高级特性，并且结合实战案例讲解，使读者可以快速掌握Storm的使用。 
　　（3）开源软件爱好者Storm作为Twitter开源的项目，其实现过程中吸收了很多开源领域的优秀思想，值得我们深入研究和学习。本书在讲解过程中剖析了不少Storm的源代码，可以帮助该部分读者了解和掌握Storm框架源代码的设计方法和技巧。 
　　（4）对Clojure语言编程感兴趣的开发人员Storm是由BackType开发的实时处理系统，基本是用Clojure写的。因此了解Clojure语言对于快速掌握Storm有很大的帮助，同时如果对Clojure语言感兴趣，也可以借助Storm进行学习。 
　　如何阅读本书本书共11章，分为三篇。 
　　基础篇（第1～3章），介绍了Storm背景、基本原理、安装部署、核心概念和数据流模型。 
　　实战篇（第4～9章），通过6个典型的应用案例和代码示例，结合实践技巧和理论知识，深入讲解如何使用Storm设计大型数据应用系统。 
　　技巧篇（第10～11章），重点介绍了Storm的高级特性、运维监控和性能调优等，并结合生产系统的性能优化、运维经验和使用技巧等方面进行讲解，旨在提升读者的实际操作经验。 
　　如果你是一名具备一定的Storm基础知识和使用经验的用户，那么可以直接阅读后两篇。实战篇侧重案例实战，技巧篇侧重技巧性能，请读者自行选择阅读。但是，如果你是一名初学者，请一定从第1章的基础理论知识开始学习。本书所有章节的源码都托管在Github上。 
　　勘误和支持由于笔者的水平有限，编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。你可以将书中的错误发布在站点页面的留言中，同时如果你遇到任何问题，也可以访问该页面，我们将尽量在线上为读者提供最满意的解答。 
　　致谢首先要感谢Twitter公司将Storm开源，感谢其麾下的BackType团队成员对开源软件和开源社区做出的巨大贡献。 
　　感谢一直以来帮助过我们的众多开源社区，这样的平台让我们认识了很多圈子里的同行，使我从技术和思想的碰撞中受益匪浅。 
　　感谢对我们有过帮助的Nathan Marz、徐明明、向磊、赵修湘、史东杰、廖旻可、王成祥、何定巍、卢亿雷等人。 
　　感谢普开第一期大数据就业班的所有同学，他们的大力支持和关心让我们倍感欣慰和鼓舞。 
　　感谢机械工业出版社华章公司的编辑杨福川和姜影，在这一年多的时间中始终支持我们的写作，他们的鼓励和帮助引导我们能顺利完成本书。 
　　最后感谢我们的爸爸、妈妈、爷爷、奶奶，感谢他们的养育之恩，并时时刻刻为我们灌输着信心和力量！ 
　　谨以此书献给我们最亲爱的家人，以及众多热爱Storm的朋友们！

显示全部信息

Storm企业级应用：实战、运维和调优

发布书评

相关图书推荐