Spark源码分析10 - 存储体系03:通信层(2)数据传输

大数据
流式处理
Spark
源码解析

对于Spark分布式计算的特性而言,Map任务和Reduce任务很有可能会发生Shuffle过程,此时Map任务会将产生的数据保存到存储体系中,然后由Reduce任务进行拉取,当遇... 查看更多

2019-08-31 1 阅读 0 评论

Spark源码分析09 - 存储体系02:通信层(1)消息通信

大数据
流式处理
Spark
源码解析

本文将主要讲解存储体系中消息通信层的各类组件和实现原理。 查看更多

2019-08-28 3 阅读 0 评论

Spark源码分析08 - 存储体系01:辅助类

大数据
流式处理
Spark
源码解析

Spark存储体系由各个Driver和Executor实例中的BlockManager所构成,实现了分布式管理,而从Driver和Executor单个节点来看,Spark存储体系属... 查看更多

2019-08-25 4 阅读 0 评论

Spark源码分析07 - 通信架构05:事件总线

大数据
流式处理
Spark
源码解析

一般来说,笔者通常将事件总线归为Spark的通信架构层。事件总线是以监听器模式实现的,主要组成结构分为监听器、事件源和事件分发器(也即是事件总线)。Spark中定义了大量的事件总线... 查看更多

2019-08-20 1 阅读 0 评论

Spark源码分析06 - 通信架构04:高层实现(2)RpcHandler与消息的处理

大数据
流式处理
Spark
源码解析

NettyRpcEnv将使用NettyRpcHandler来处理入站的RPC消息。 查看更多

2019-08-18 2 阅读 0 评论

Spark源码分析05 - 通信架构03:高层实现(1)RpcEnv和Dispatcher

大数据
流式处理
Spark
源码解析

Spark针对各类场景,实现了不同的RpcHandler和StreamManager,在Spark Core模块的org.apache.spark.rpc包下,包含了RPC通信框架... 查看更多

2019-08-15 2 阅读 0 评论

Spark源码分析04 - 通信架构02:传输层原理(2)消息处理

大数据
流式处理
Spark
源码解析

主要讲解TransportServer对四类消息的处理流程 查看更多

2019-08-12 7 阅读 0 评论

Spark源码分析03 - 通信架构01:传输层原理(1)传输层组件

大数据
流式处理
Spark
源码解析

主要讲解通信架构中传输层相关的组件,包括TransportServer、TransportClient、Bootstrap等 查看更多

2019-08-11 9 阅读 0 评论

Spark源码分析02 - SparkConf配置管理

大数据
流式处理
Spark
源码解析

本文主要讲解Spark中与配置管理相关的内容。 查看更多

2019-08-11 3 阅读 0 评论

Spark源码分析01 - 2.1.0版本源码编译及阅读环境搭建

大数据
流式处理
Spark
源码解析

本文主要讲解Spark 2.1.0源码的编译和阅读环境搭建 查看更多

2019-08-07 3 阅读 0 评论

Kafka系列 28 - 服务端源码分析 19:Kafka脚本工具

大数据
流式处理
Kafka
源码解析

主要讲解Kafka中各类脚本工具的实现 查看更多

2019-08-02 135 阅读 0 评论

Kafka系列 27 - 服务端源码分析 18:Kafka中的Metrics和监控

大数据
流式处理
Kafka
源码解析

主要讲解JMX和Metrics在Kafka中的使用原理 查看更多

2019-07-31 50 阅读 0 评论

Kafka系列 26 - 服务端源码分析 17:JMX和Metrics简介

大数据
流式处理
Kafka
源码解析

主要讲解JMX和Yammer Metrics的使用 查看更多

2019-07-30 39 阅读 0 评论

Kafka系列 25 - 服务端源码分析 16:权限控制

大数据
流式处理
Kafka
源码解析

主要讲解Kafka中权限控制的实现 查看更多

2019-07-24 54 阅读 0 评论

Kafka系列 24 - 服务端源码分析 15:身份认证

大数据
流式处理
Kafka
源码解析

主要讲解Kafka中权限认证的配置和身份认证的具体流程 查看更多

2019-07-21 69 阅读 0 评论

Kafka系列 23 - 服务端源码分析 14:GroupCoordinator功能详解

大数据
流式处理
Kafka
源码解析

主要讲解GroupCoordinator对各类操作的处理 查看更多

2019-07-17 117 阅读 0 评论

Kafka系列 22 - 服务端源码分析 13:GroupCoordinator相关组件

大数据
流式处理
Kafka
源码解析

主要讲解与GroupCoordinator相关的组件,包括GroupMetadata、MemberMetadata等 查看更多

2019-07-09 45 阅读 0 评论

Kafka系列 21 - 服务端源码分析 12:其他的Zookeeper监听器

大数据
流式处理
Kafka
源码解析

主要讲解Broker、Topic、Partition相关的监听器 查看更多

2019-07-03 54 阅读 0 评论

Kafka系列 20 - 服务端源码分析 11:KafkaController相关的Zookeeper监听器

大数据
流式处理
Kafka
源码解析

主要讲解KafkaController相关的Zookeeper监听器的实现 查看更多

2019-06-30 45 阅读 0 评论

Kafka系列 19 - 服务端源码分析 10:分区与副本状态机及Leader副本选举器

大数据
流式处理
Kafka
源码解析

主要讲解分区和副本的状态机机制以及Leader副本的选举器 查看更多

2019-06-26 54 阅读 0 评论

Kafka系列 18 - 服务端源码分析 09:KafkaController基本组件

大数据
流式处理
Kafka
源码解析

主要简介KafkaController的辅助组件,包括ControllerContext、ControllerChannelManager和ControllerBrokerRequ... 查看更多

2019-06-21 40 阅读 0 评论

Kafka系列 17 - 服务端源码分析 08:副本的管理

大数据
流式处理
Kafka
源码解析

讲解ReplicaManager对副本的管理,以及消息同步机制 查看更多

2019-06-17 47 阅读 0 评论

Kafka系列 16 - 服务端源码分析 07:副本机制介绍

大数据
流式处理
Kafka
源码解析

讲解副本和分区相关内容 查看更多

2019-06-11 35 阅读 0 评论

Kafka系列 15 - 服务端源码分析 06:延迟任务案例

大数据
流式处理
Kafka
源码解析

讲解生产请求和消费请求的延迟任务处理 查看更多

2019-06-05 44 阅读 0 评论

Kafka系列 14 - 服务端源码分析 05:时间轮的实现

大数据
流式处理
Kafka
源码解析

主要讲解时间轮算法和Kafka中的时间轮实现 查看更多

2019-05-29 42 阅读 0 评论

Kafka系列 13 - 服务端源码分析 04:日志的存储管理

大数据
流式处理
Kafka
源码解析

主要讲解LogManager的实现,以及日志压缩,日志系统的初始化 查看更多

2019-05-24 46 阅读 0 评论

Kafka系列 11 - 服务端源码分析 02:日志的存储构成(1)

大数据
流式处理
Kafka
源码解析

主要讲解OffsetIndex、Message、ByteBufferMessageSet、FileMessageSet及日志读写操作 查看更多

2019-05-12 53 阅读 0 评论

Kafka系列 10 - 服务端源码分析 01:网络层和API层

大数据
流式处理
Kafka
源码解析

主要讲解Kafka服务端的1 + M + N模型 查看更多

2019-05-07 44 阅读 0 评论

Kafka系列 09 - 消费者源码分析 03:更新Offset、重置Position、自动任务和消息拉取

大数据
流式处理
Kafka
源码解析

讲解OffsetFetchRequest、ListOffsetRequest、HeartbeatRequest、OffsetCommitRequest和FetchRequest的处... 查看更多

2019-05-03 47 阅读 0 评论

  Kafka权威指南

大数据
流式处理

每个应用程序都会产生数据,包括日志消息、度量指标、用户活动记录、响应消息等。如何移动数据,几乎变得与数据本身一样重要。如果你是架构师、开发者... View More

2018-01-27 126 阅读 0 评论

  Spark快速大数据分析

大数据
流式处理

大数据是近几年广受关注的一个概念。今天,互联网不断发展,逐渐深入我们生活的各个层面,随之而来的是数据量的指数级增长。 View More

2017-02-05 142 阅读 0 评论

  SQL基础教程

MySQL

本书介绍了关系数据库以及用来操作关系数据库的SQL语言的使用方法,提供了大量的示例程序和详实的操作步骤说明,读者可以亲自动手解决具体问题,循... View More

2015-05-31 359 阅读 0 评论

  深入理解Java虚拟机(第2版)

Java虚拟机

《深入理解Java虚拟机:JVM高级特性与最佳实践(第2版)》共分为五大部分,围绕内存管理、执行子系统、程序编译与优化、高效并发等核心主题对... View More

2014-12-19 611 阅读 0 评论

  偷书贼

纳粹
二战

这是个讲述书是如何振奋灵魂的令人难忘的故事。 View More

2014-12-19 401 阅读 0 评论

Java虚拟机20 - 线程安全和锁优化

  深入理解Java虚拟机(第2版)    周志明

  Chapter:第13章 线程安全与锁优化

Java
Java虚拟机

当多个线程访问一个对象时,如果不用考虑这些线程在运行时环境下的调度和交替执行,也不需要进行额外的同步,或者在调用方进行任何其他的协调操作,调... View More

2016-12-19 174 阅读 0 评论

查看书籍 《深入理解Java虚拟机(第2版)》 信息  

《深入理解Java虚拟机(第2版)》

作者:周志明

100%

《深入理解Java虚拟机:JVM高级特性与最佳实践(第2版)》共分为五大部分,围绕内存管理、执行子系统、程序编译与优化、高效并发等核心主题对JVM进行了全面而深入的分析,深刻揭示了JVM的工作原理。

JVM
Java
虚拟机
java
计算机
编程
软件开发
程序设计

Java虚拟机19 - Java内存模型

  深入理解Java虚拟机(第2版)    周志明

  Chapter:第12章 Java内存模型与线程

Java
Java虚拟机

Java虚拟机定义的内存模型(Java Memory Model,JMM)屏蔽了各种硬件和操作系统的内存访问差异,让Java程序在各种平台下... View More

2016-11-25 153 阅读 0 评论

查看书籍 《深入理解Java虚拟机(第2版)》 信息  

《深入理解Java虚拟机(第2版)》

作者:周志明

100%

《深入理解Java虚拟机:JVM高级特性与最佳实践(第2版)》共分为五大部分,围绕内存管理、执行子系统、程序编译与优化、高效并发等核心主题对JVM进行了全面而深入的分析,深刻揭示了JVM的工作原理。

JVM
Java
虚拟机
java
计算机
编程
软件开发
程序设计

Java虚拟机18 - 虚拟机字节码执行引擎

  深入理解Java虚拟机(第2版)    周志明

  Chapter:第8章 虚拟机字节码执行引擎

Java
Java虚拟机

虚拟机把描述类的数据从Class文件加载到内存,并对数据进行校验、转换解析和初始化,最终形成可以被虚拟机直接使用的Java类型,这就是虚拟机... View More

2016-08-03 175 阅读 0 评论

查看书籍 《深入理解Java虚拟机(第2版)》 信息  

《深入理解Java虚拟机(第2版)》

作者:周志明

100%

《深入理解Java虚拟机:JVM高级特性与最佳实践(第2版)》共分为五大部分,围绕内存管理、执行子系统、程序编译与优化、高效并发等核心主题对JVM进行了全面而深入的分析,深刻揭示了JVM的工作原理。

JVM
Java
虚拟机
java
计算机
编程
软件开发
程序设计

Java虚拟机17 - 类加载机制

  深入理解Java虚拟机(第2版)    周志明

  Chapter:第7章 虚拟机类加载机制

Java
Java虚拟机

虚拟机把描述类的数据从Class文件加载到内存,并对数据进行校验、转换解析和初始化,最终形成可以被虚拟机直接使用的Java类型,这就是虚拟机... View More

2016-06-30 171 阅读 0 评论

查看书籍 《深入理解Java虚拟机(第2版)》 信息  

《深入理解Java虚拟机(第2版)》

作者:周志明

100%

《深入理解Java虚拟机:JVM高级特性与最佳实践(第2版)》共分为五大部分,围绕内存管理、执行子系统、程序编译与优化、高效并发等核心主题对JVM进行了全面而深入的分析,深刻揭示了JVM的工作原理。

JVM
Java
虚拟机
java
计算机
编程
软件开发
程序设计

Java虚拟机16 - 字节码指令

  深入理解Java虚拟机(第2版)    周志明

  Chapter:第6章 类文件结构

Java
Java虚拟机

Java虚拟机的指令由一个字节长度的、 代表着某种特定操作含义的数字(称为操作码,Opcode)以及跟随其后的零至多个代表此操作所需参数(称... View More

2016-06-11 145 阅读 0 评论

查看书籍 《深入理解Java虚拟机(第2版)》 信息  

《深入理解Java虚拟机(第2版)》

作者:周志明

100%

《深入理解Java虚拟机:JVM高级特性与最佳实践(第2版)》共分为五大部分,围绕内存管理、执行子系统、程序编译与优化、高效并发等核心主题对JVM进行了全面而深入的分析,深刻揭示了JVM的工作原理。

JVM
Java
虚拟机
java
计算机
编程
软件开发
程序设计

Java虚拟机15 - 类文件结构

  深入理解Java虚拟机(第2版)    周志明

  Chapter:第6章 类文件结构

Java
Java虚拟机

实现语言无关性的基础仍然是虚拟机和字节码存储格式。Java的规范拆分成了Java语言规范《The Java Language Specifi... View More

2016-05-19 148 阅读 0 评论

查看书籍 《深入理解Java虚拟机(第2版)》 信息  

《深入理解Java虚拟机(第2版)》

作者:周志明

100%

《深入理解Java虚拟机:JVM高级特性与最佳实践(第2版)》共分为五大部分,围绕内存管理、执行子系统、程序编译与优化、高效并发等核心主题对JVM进行了全面而深入的分析,深刻揭示了JVM的工作原理。

JVM
Java
虚拟机
java
计算机
编程
软件开发
程序设计

Java虚拟机14 - JVM工具之Btrace

  深入理解Java虚拟机(第2版)    周志明

  Chapter:第3章 虚拟机性能监控与故障处理工具

Java
Java虚拟机

Java开发工具包中提供了众多的虚拟机工具可供开发者使用。 View More

2016-03-09 228 阅读 0 评论

查看书籍 《深入理解Java虚拟机(第2版)》 信息  

《深入理解Java虚拟机(第2版)》

作者:周志明

100%

《深入理解Java虚拟机:JVM高级特性与最佳实践(第2版)》共分为五大部分,围绕内存管理、执行子系统、程序编译与优化、高效并发等核心主题对JVM进行了全面而深入的分析,深刻揭示了JVM的工作原理。

JVM
Java
虚拟机
java
计算机
编程
软件开发
程序设计

Java虚拟机13 - JVM工具之VisualVM

  深入理解Java虚拟机(第2版)    周志明

  Chapter:第3章 虚拟机性能监控与故障处理工具

Java
Java虚拟机

Java开发工具包中提供了众多的虚拟机工具可供开发者使用。 View More

2016-02-22 110 阅读 0 评论

查看书籍 《深入理解Java虚拟机(第2版)》 信息  

《深入理解Java虚拟机(第2版)》

作者:周志明

100%

《深入理解Java虚拟机:JVM高级特性与最佳实践(第2版)》共分为五大部分,围绕内存管理、执行子系统、程序编译与优化、高效并发等核心主题对JVM进行了全面而深入的分析,深刻揭示了JVM的工作原理。

JVM
Java
虚拟机
java
计算机
编程
软件开发
程序设计

Java虚拟机12 - JVM工具之jconsole

  深入理解Java虚拟机(第2版)    周志明

  Chapter:第3章 虚拟机性能监控与故障处理工具

Java
Java虚拟机

Java开发工具包中提供了众多的虚拟机工具可供开发者使用。 View More

2016-01-21 129 阅读 0 评论

查看书籍 《深入理解Java虚拟机(第2版)》 信息  

《深入理解Java虚拟机(第2版)》

作者:周志明

100%

《深入理解Java虚拟机:JVM高级特性与最佳实践(第2版)》共分为五大部分,围绕内存管理、执行子系统、程序编译与优化、高效并发等核心主题对JVM进行了全面而深入的分析,深刻揭示了JVM的工作原理。

JVM
Java
虚拟机
java
计算机
编程
软件开发
程序设计

Java虚拟机11 - JVM工具之jstack

  深入理解Java虚拟机(第2版)    周志明

  Chapter:第3章 虚拟机性能监控与故障处理工具

Java
Java虚拟机

Java开发工具包中提供了众多的虚拟机工具可供开发者使用。 View More

2015-07-22 134 阅读 0 评论

查看书籍 《深入理解Java虚拟机(第2版)》 信息  

《深入理解Java虚拟机(第2版)》

作者:周志明

100%

《深入理解Java虚拟机:JVM高级特性与最佳实践(第2版)》共分为五大部分,围绕内存管理、执行子系统、程序编译与优化、高效并发等核心主题对JVM进行了全面而深入的分析,深刻揭示了JVM的工作原理。

JVM
Java
虚拟机
java
计算机
编程
软件开发
程序设计

Write the code, Change the world

最热阅读

标签墙

关于 [5]
本站相关 [4]
Java [142]
语言基础 [37]
Java集合 [20]
反编译 [1]
Java IO [27]
纳粹 [1]
二战 [1]
Java虚拟机 [21]
Java Web基础 [9]
软件工具使用 [9]
Mac [3]
Java Web框架 [25]
MySQL [9]
XenServer [4]
大数据 [78]
流式处理 [55]
基础组件 [21]
Linux [1]
数据结构 [0]
HBase [5]
分布式存储 [5]
Java多线程 [47]
Java并发 [32]
NIO [4]
Git [5]
Spring [1]
Hive [3]
Nginx [4]
JUC相关 [3]
编辑器 [1]
JUC锁 [12]
Spark [19]
JUC集合 [12]
线程池 [9]
源码解析 [34]
Kafka [28]