一级: 全部 文章

文章列表 Articles

Spark源码分析09 - 存储体系02:通信层(1)消息通信

大数据
流式处理
Spark
源码解析

本文将主要讲解存储体系中消息通信层的各类组件和实现原理。 查看更多

2019-08-28 1 阅读 0 评论

Spark源码分析08 - 存储体系01:辅助类

大数据
流式处理
Spark
源码解析

Spark存储体系由各个Driver和Executor实例中的BlockManager所构成,实现了分布式管理,而从Driver和Executor单个节点来看,Spark存储体系属... 查看更多

2019-08-25 1 阅读 0 评论

Spark源码分析07 - 通信架构05:事件总线

大数据
流式处理
Spark
源码解析

一般来说,笔者通常将事件总线归为Spark的通信架构层。事件总线是以监听器模式实现的,主要组成结构分为监听器、事件源和事件分发器(也即是事件总线)。Spark中定义了大量的事件总线... 查看更多

2019-08-20 1 阅读 0 评论

Spark源码分析06 - 通信架构04:高层实现(2)RpcHandler与消息的处理

大数据
流式处理
Spark
源码解析

NettyRpcEnv将使用NettyRpcHandler来处理入站的RPC消息。 查看更多

2019-08-18 1 阅读 0 评论

Spark源码分析05 - 通信架构03:高层实现(1)RpcEnv和Dispatcher

大数据
流式处理
Spark
源码解析

Spark针对各类场景,实现了不同的RpcHandler和StreamManager,在Spark Core模块的org.apache.spark.rpc包下,包含了RPC通信框架... 查看更多

2019-08-15 1 阅读 0 评论

Spark源码分析04 - 通信架构02:传输层原理(2)消息处理

大数据
流式处理
Spark
源码解析

主要讲解TransportServer对四类消息的处理流程 查看更多

2019-08-12 7 阅读 0 评论

Spark源码分析03 - 通信架构01:传输层原理(1)传输层组件

大数据
流式处理
Spark
源码解析

主要讲解通信架构中传输层相关的组件,包括TransportServer、TransportClient、Bootstrap等 查看更多

2019-08-11 9 阅读 0 评论

Spark源码分析02 - SparkConf配置管理

大数据
流式处理
Spark
源码解析

本文主要讲解Spark中与配置管理相关的内容。 查看更多

2019-08-11 3 阅读 0 评论

Spark源码分析01 - 2.1.0版本源码编译及阅读环境搭建

大数据
流式处理
Spark
源码解析

本文主要讲解Spark 2.1.0源码的编译和阅读环境搭建 查看更多

2019-08-07 3 阅读 0 评论

标签墙

关于 [5]
本站相关 [4]
Java [142]
语言基础 [37]
Java集合 [20]
反编译 [1]
Java IO [27]
纳粹 [1]
二战 [1]
Java虚拟机 [21]
Java Web基础 [9]
软件工具使用 [9]
Mac [3]
Java Web框架 [25]
MySQL [9]
XenServer [4]
大数据 [77]
流式处理 [54]
基础组件 [21]
Linux [1]
数据结构 [0]
HBase [5]
分布式存储 [5]
Java多线程 [47]
Java并发 [32]
NIO [4]
Git [5]
Spring [1]
Hive [3]
Nginx [4]
JUC相关 [3]
编辑器 [1]
JUC锁 [12]
Spark [18]
JUC集合 [12]
线程池 [9]
源码解析 [33]
Kafka [28]