一级: 全部 文章

文章列表 Articles

Flume 01 - Flume的安装及Source案例

大数据
基础组件

Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能... 查看更多

2017-09-22 147 阅读 0 评论

Sqoop的简单使用

大数据
基础组件

Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(MySQL、PostgreSQL等)间进行数据的传递,可以将一个关系型数据库(例如:MySQL、Ora... 查看更多

2017-09-01 67 阅读 0 评论

Pig的简单入门

大数据
基础组件

相比Java的MapReduce API,Pig为大型数据集的处理提供了更高层次的抽象,与MapReduce相比,Pig提供了更丰富的数据结构,一般都是多值和嵌套的数据结构。Pig... 查看更多

2017-09-01 123 阅读 0 评论

Hive 04 - 函数及UDF

大数据
基础组件
Hive

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。 其优点是... 查看更多

2017-08-03 138 阅读 0 评论

Hive 03 - 查询、视图、索引和分桶

大数据
基础组件
Hive

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。 其优点是... 查看更多

2017-07-19 150 阅读 0 评论

Hive 02 - API使用、Beeline和表操作

大数据
基础组件
Hive

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。 其优点是... 查看更多

2017-07-12 101 阅读 0 评论

Hive 01 - Hive的安装和Cli使用

大数据
基础组件

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。 其优点是... 查看更多

2017-06-17 57 阅读 0 评论

序列化工具:ProtoBuf

大数据
基础组件

ProtocolBuffer是用于结构化数据串行化的灵活、高效、自动的方法,有如XML,不过它更小、更快、也更简单,可以定义自己的数据结构,然后使用代码生成器生成的代码来读写这个数... 查看更多

2017-04-01 112 阅读 0 评论

标签墙

关于 [5]
本站相关 [4]
Java [142]
语言基础 [37]
Java集合 [20]
反编译 [1]
Java IO [27]
纳粹 [1]
二战 [1]
Java虚拟机 [21]
Java Web基础 [9]
软件工具使用 [8]
Mac [2]
Java Web框架 [25]
MySQL [9]
XenServer [4]
大数据 [102]
流式处理 [80]
基础组件 [21]
Linux [1]
数据结构 [0]
HBase [6]
分布式存储 [6]
Java多线程 [47]
Java并发 [32]
NIO [4]
Git [5]
Spring [1]
Hive [3]
Nginx [3]
JUC相关 [3]
编辑器 [1]
JUC锁 [12]
Spark [43]
JUC集合 [12]
线程池 [9]
源码解析 [58]
Kafka [29]