今天和大家分享的话题是如何利用青云资源编排服务快速创建批量资源组合、规划和构建系统，同时谈谈资源编排如何帮助我们复制一整套IT环境，以及如何实现跨区做相同架构资源的拷贝。 资源编排到底是什么呢？

关键词： 技术培训  架构  人人  资源 

从Spark-1 2 0开始，Spark的Shuffle由Hash Based Shuffle升级成了Sort Based Shuffle。即Spark shuffle manager从Hash换成了Sort。不同形式是Shuffle逻辑主要是ShuffleManager的实现类不同。

关键词： 源码 

首先我们先了解一下Hadoop的起源。然后介绍一些关于Hadoop生态系统中的具体工具的使用方法。如:HDFS、MapReduce、Yarn、Zookeeper、Hive、HBase、Oozie、Mahout、Pig、Flume、Sqoop。

关键词： 生态  系统 

本文的目标是：Driver的ReceiverTracker接收到数据之后，下一步对数据是如何进行管理

关键词： 架构  源码 

1 软件版本 & 部署：maven：3 3 9，jdk：1 7 ，Struts2：2 3 24 1，Hibernate：4 3 6，Spring：4 2 5，MySQL：5 1 34，Junit：4，Myeclipse：2014；Hadoop2 6 4，HBase1 1 2源码下载：https: github com f

关键词： 管理系统 

最小二乘法Least Square Method，做为分类回归算法的基础，有着悠久的历史（由马里·勒让德于1806年提出）。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

关键词： 乘法 

本文的目标是：1 Executor的WAL机制详解；2 消息重放Kafka。

关键词： 容错  安全性  源码 

字符串匹配算法之----Boyer-Moore算法。各种文本编辑器的”查找”功能（Ctrl+F），大多采用 Boyer-Moore算法 。

关键词： 算法  字符串 

本文的目标如下： 1 ReceiverBlockTracker容错安全性 ；2 DStream和JobGenerator容错安全性。

关键词： 容错  安全性  源码 

本讲内容：a JobScheduler内幕实现；b JobScheduler深度思考

关键词： 内幕  源码  深度 

长久以来，人们对一件事情发生或不发生，只有固定的0和1，即要么发生，要么不发生，从来不会去考虑某件事情发生的概率有多大，不发生的概率又是多大。而且事情发生或不发生的概率虽然未知，但最起码是一个确定的值。

关键词： 网络  贝叶斯  概率  模型 

博文的目标是：Spark Streaming在接收数据的全生命周期贯通。组织思路如下：a) 接收数据的架构模式的设计；b) 然后再具体源码分析。

关键词： 源码  周期  不断  生命  数据 

在Spark Streaming的应用程序中，框架自动帮我们提交了一些Job，来完成一些事情，从而简化我们的程序逻辑，使我们只需关注在业务逻辑代码上，这正是spark streaming的精华所在，正体现了spark框架的易用性。

关键词： 三板斧  案例 

OpenStack Object Storage(Swift)是OpenStack开源云计算项目的子项目之一，被称为对象存储，提供了强大的扩展性、冗余和持久性。对象存储，用于永久类型的静态数据的长期存储。

关键词： 对象 

文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。参数估计中，我们会遇到两个主要问题：（1）如何去估计参数的value。（2）估计出参数的value之后，如何去计算新的observation的概率，即进行回归分析和预测。

关键词： 文本  参数  方法 

之前已经介绍过nginx的事件框架。那么，对于client发出的一个http的请求，nginx的http框架是如何一步步解析这个http请求？http框架又是如何和之前介绍过得epoll事件模块结合起来的，下面来简要介绍下。

关键词： 框架  流程  笔记 

计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况。

关键词： 计数器 

1) RADOS GW是一个提供与Amazon S3和Swift兼容的RESTful API的gateway，以供相应的对象存储应用开发使用。RADOS GW提供的API抽象层次更高，但功能则不如librados强大。因此，开发者应针对自己的需求选择使用。

关键词： 知识  系统 

映射mapping机制用于进行字段类型确认，将每个字段匹配为一种确定的数据类型(string, boolean, date)；

关键词：

为了理解有向图对于描述概率分布的作用,首先考虑三个变量 a, b, c 上的一个任意的联合分布 p(a, b, c) 。注意,现阶段我们不需要对这些变量做出任何更多的假设,例如它们是离散的还是连续的。

关键词： 概率  模型  网络  贝叶斯