1. 什么是storm

• 一款开源的分布式,高容错的实时框架.用来处理实时数据.

  特点:

  • 低延迟: 实时系统,延迟一定要底.
  • 高性能
  • 分布式
  • 可扩展
  • 容错

  数据的输入 Spout—> 数据计算 Bolt1 …—> 数据输出 BoltN —> 数据计算 BlotN+1 —> 数据输出 BlotN….

  more >>

问题描述: 编译pom.xml文件时,有四项加载报错(具体对应以下依赖的artifactId)

解决方案: 新建一个maven项目,在pom.xml中添加下列依赖,下载后即可

1
2
3
4
5
6

<!-- https://mvnrepository.com/artifact/org.apache.maven.plugins/maven-pmd-plugin -->
<dependency>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-pmd-plugin</artifactId>
  <version>3.0.1</version>
</dependency>

1
2
3
4
5
6

<!-- https://mvnrepository.com/artifact/org.codehaus.mojo/taglist-maven-plugin -->
<dependency>
  <groupId>org.codehaus.mojo</groupId>
  <artifactId>taglist-maven-plugin</artifactId>
  <version>2.4</version>
</dependency>

1
2
3
4
5
6

<!-- https://mvnrepository.com/artifact/org.apache.maven.plugins/maven-gpg-plugin -->
<dependency>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-gpg-plugin</artifactId>
  <version>1.6</version>
</dependency>

1
2
3
4
5

<dependency>
  <groupId>org.apache.rat</groupId>
  <artifactId>apache-rat-plugin</artifactId>
  <version>0.12</version>
</dependency>

1. 什么是Kafka?

• Apache Kafka是一个开源的消息系统,由Scala写成.
• Kafka是一个分布式消息队列, 生产者消费者的功能,类似与 JMS特性.
• Kafka对消息保存时根据Topic进行归类
• Kafka由多个实例构成,每个实例为一个broker
• 无论Kafka集群,producer,comsumer都依赖zookeeper来保存meta信息,保证系统的可用性.

准备工作

1.修改Linux主机名

2.修改IP

3.修改主机名和IP的映射关系 /etc/hosts

---------注意---------
如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系

4.关闭防火墙
more >>

一丶 yum在线安装

mysql

yum install mysql mysql-server mysql-devel 

完成后，用 /etc/init.d/mysqld start 启动mysql

启动mysql控制台：

mysql
more >>

步骤

1.上传tar包

apache-hive-1.2.1-bin.tar.gz

####2.解压
tar -zxvf hive-1.2.1.tar.gz

####3.安装mysql数据库

推荐yum 在线安装- 详细见 mysql-linux-安装
more >>

###Hive ? 把一张表与已经处理的结构化数据产生映射关系

1 基于hadoop数据仓库的工具

2 讲结构化的数据映射为一张数据库表 本质是讲sql转换为MapReduce程序

映射关系

1.准备Linux环境

1.0 配置好各虚拟机的网络（采用NAT联网模式）

• 第一种：通过Linux图形界面进行修改(桌面版本Centos)

  进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections

  -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual ->
  

  more >>

一、准备的资料

源码根目录下有个BUILDINT.txt，打开即可看见里面关于编译hadoop的一些环境要求　 　

• 64位linux系统CentOS 6.7。
• JDK 1.7+。
• maven-3.2.5。 一个项目管理综合工具, 使用标准的目录结构和默认构建生命周期
• protobuf 2.5.0 google的一种数据交换的格式，它独立于语言，独立于平台
• hadoop-2.x.x-src 　　
• ant-1.9.7　　将软件编译、测试、部署等步骤联系在一起加以自动化的一个工具 more >>

1.1 为什么搭建Zookeeper集群

大部分分布式应用需要一个主控、协调器或者控制器来管理物理分布的子进程。目前，大多数都要开发私有的协调程序，缺乏一个通用机制，协调程序的反复编写浪费，且难以形成通用、伸缩性好的协调器，zookeeper提供通用的分布式锁服务，用以协调分布式应用。所以说zookeeper是分布式应用的协作服务。