一级: 全部 文章

文章列表 Articles

Kafka系列 03 - 消费者的基本使用

大数据
流式处理
Kafka

KafkaConsumer对象用于读取消息。创建KafkaConsumer对象与创建KafkaProducer对象非常相似。 查看更多

2019-03-01 168 阅读 0 评论

Kafka系列 02 - 生产者的基本使用

大数据
流式处理
Kafka

Kafka生产者是提供给开发者用于向Kafka中写入消息的组件。 查看更多

2019-02-20 140 阅读 0 评论

Kafka系列 01 - 基本概念

大数据
流式处理
Kafka

Kafka是分布式的、分区的且具有副本机制的消息服务器。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。Kafka对消息保存时根据Topic进行... 查看更多

2019-02-12 245 阅读 0 评论

Spark基础 09 - Spark缓存和持久化

大数据
流式处理
Spark

与RDD类似,SparkStreaming也可以让开发人员手动控制,将数据流中的数据持久化到内存中。对DStream调用persist()方法,就可以让SparkStreaming... 查看更多

2018-03-15 76 阅读 0 评论

Spark基础 08 - Spark Streaming

大数据
流式处理
Spark

Spark Streaming,其实就是一种Spark提供的,对于大数据,进行实时计算的一种框架。它的底层,其实,也是基于我们之前讲解的SparkCore的。基本的计算模型,还是基... 查看更多

2018-03-03 185 阅读 0 评论

Spark基础 07 - Spark数据源的使用

大数据
流式处理
Spark

Spark可以加载各类数据源 查看更多

2018-02-23 299 阅读 0 评论

Spark基础 06 - Spark SQL

大数据
流式处理
Spark

Spark 1.0版本开始,推出了Spark SQL。其实最早使用的,都是Hadoop自己的Hive查询引擎;但是后来Spark提供了Shark;再后来Shark被淘汰,推出了Sp... 查看更多

2018-02-14 109 阅读 0 评论

Spark基础 05 - Spark性能优化和错误诊断

大数据
流式处理
Spark

由于Spark的计算本质是基于内存的,所以Spark性能程序的性能可能因为集群中的任何因素出现瓶颈:CPU、网络带宽、或者是内存。如果内存能够容纳得下所有的数据,那么网络传输和通信... 查看更多

2018-02-03 179 阅读 0 评论

Spark基础 04 - Spark架构简介

大数据
流式处理
Spark

本文简单介绍了Spark的基础架构以及相关的Spark参数配置及命令 查看更多

2018-01-20 93 阅读 0 评论

Spark基础 03 - 基础案例

大数据
流式处理
Spark

本文实现了几个Spark相关的基础案例 查看更多

2018-01-18 218 阅读 0 评论

标签墙

关于 [5]
本站相关 [4]
Java [142]
语言基础 [37]
Java集合 [20]
反编译 [1]
Java IO [27]
纳粹 [1]
二战 [1]
Java虚拟机 [21]
Java Web基础 [9]
软件工具使用 [8]
Mac [2]
Java Web框架 [25]
MySQL [9]
XenServer [4]
大数据 [102]
流式处理 [80]
基础组件 [21]
Linux [1]
数据结构 [0]
HBase [6]
分布式存储 [6]
Java多线程 [47]
Java并发 [32]
NIO [4]
Git [5]
Spring [1]
Hive [3]
Nginx [3]
JUC相关 [3]
编辑器 [1]
JUC锁 [12]
Spark [43]
JUC集合 [12]
线程池 [9]
源码解析 [58]
Kafka [29]