一级: 全部 文章

文章列表 Articles

Kafka系列 03 - 消费者的基本使用

大数据
流式处理
Kafka

KafkaConsumer对象用于读取消息。创建KafkaConsumer对象与创建KafkaProducer对象非常相似。 查看更多

2019-03-01 392 阅读 0 评论

Kafka系列 02 - 生产者的基本使用

大数据
流式处理
Kafka

Kafka生产者是提供给开发者用于向Kafka中写入消息的组件。 查看更多

2019-02-20 268 阅读 0 评论

Kafka系列 01 - 基本概念

大数据
流式处理
Kafka

Kafka是分布式的、分区的且具有副本机制的消息服务器。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。Kafka对消息保存时根据Topic进行... 查看更多

2019-02-12 378 阅读 0 评论

Spark基础(九) - Spark缓存和持久化

大数据
流式处理
Spark

与RDD类似,SparkStreaming也可以让开发人员手动控制,将数据流中的数据持久化到内存中。对DStream调用persist()方法,就可以让SparkStreaming... 查看更多

2018-03-15 50 阅读 0 评论

Spark基础(八) - Spark Streaming

大数据
流式处理
Spark

Spark Streaming,其实就是一种Spark提供的,对于大数据,进行实时计算的一种框架。它的底层,其实,也是基于我们之前讲解的SparkCore的。基本的计算模型,还是基... 查看更多

2018-03-03 50 阅读 0 评论

Spark基础(六) - Spark SQL

大数据
流式处理
Spark

Spark 1.0版本开始,推出了Spark SQL。其实最早使用的,都是Hadoop自己的Hive查询引擎;但是后来Spark提供了Shark;再后来Shark被淘汰,推出了Sp... 查看更多

2018-02-14 52 阅读 0 评论

Spark基础(五) - Spark性能优化和错误诊断

大数据
流式处理
Spark

由于Spark的计算本质是基于内存的,所以Spark性能程序的性能可能因为集群中的任何因素出现瓶颈:CPU、网络带宽、或者是内存。如果内存能够容纳得下所有的数据,那么网络传输和通信... 查看更多

2018-02-02 45 阅读 0 评论

Spark基础(四) - Spark架构简介

大数据
流式处理
Spark

本文简单介绍了Spark的基础架构以及相关的Spark参数配置及命令 查看更多

2018-01-20 46 阅读 0 评论

Spark基础(三) - 基础案例

大数据
流式处理
Spark

本文实现了几个Spark相关的基础案例 查看更多

2018-01-18 29 阅读 0 评论

标签墙

关于 [5]
本站相关 [4]
Java [142]
语言基础 [37]
Java集合 [20]
反编译 [1]
Java IO [27]
纳粹 [1]
二战 [1]
Java虚拟机 [21]
Java Web基础 [9]
软件工具使用 [9]
Mac [3]
Java Web框架 [25]
MySQL [9]
XenServer [4]
大数据 [78]
流式处理 [55]
基础组件 [21]
Linux [1]
数据结构 [0]
HBase [5]
分布式存储 [5]
Java多线程 [47]
Java并发 [32]
NIO [4]
Git [5]
Spring [1]
Hive [3]
Nginx [4]
JUC相关 [3]
编辑器 [1]
JUC锁 [12]
Spark [19]
JUC集合 [12]
线程池 [9]
源码解析 [34]
Kafka [28]