Amabari Atlas LDAP认证配置
web ui
勾选 Enable LDAP Authentication
Atlas Type System
Type System
一、Type
(可以理解为 “类”) –> class
定义了如何存储和访问特定类型的元数据对象,表示了 所定义 的元数据对象一个或多个的集合
可以通过该API获取Atlas的所有类型：http://atlas:21000/api/atlas/v2/types/typedefs
下面通过该API获取hive_table类型的定义：http://atlas:21000/api/atlas/v2/types/typedefs/typedef/name/hive_table
下面是在Atlas中定义的一个名为Hive表的类型，该类型包含了以下的属性：
1 | Name: hive_table |
pycharm安装及快捷键
PyCharm3.0默认快捷键
PyCharm Default Keymap
1、编辑（Editing）
1 | Ctrl + Space 基本的代码完成（类、方法、属性） |
spark streaming
Spark Streaming流式处理
目标
- 掌握Spark Streaming的原理架构
- 掌握DStream的相关操作
- 实现spark streaming 与 flume的整合
- 实现spark streaming 与 kafka的整合
spark on hive
1、spark on hive介绍
- （1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息
- （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据
- （3）接下来就可以通过spark sql来操作hive表中的数据
- spark on hive步骤：
- 将hive-site.xml文件拷贝到所有spark安装目录下conf文件夹下
- 需要将mysql驱动包，拷贝到所有spark安装目录下的jars
- 如果是spark2.0之前，这个时候是已经将sparksql 与hive整合了。
- 如果是spark2.0之后，此时并没有完全整合，
- spark-sql –master spark://node1:7077 –executor-memory 1g –total-executor-cores 2 –conf spark.sql.warehouse.dir=hdfs://node1:9000/user/hive/warehouse
2、spark on hive 配置
- （1）将hive安装目录下conf/hive-site.xml拷贝到spark的conf目录下
（2）同时把hive安装目录下lib目录中的mysql驱动包，拷贝到spark的jars目录下 （3）分发所有配置和拷贝mysql驱动到spark的其他节点
（4） 启动spark-sql 就可以操作hive的sql语句了。 注意需要添加配置- –conf spark.sql.warehouse.dir=hdfs://node1:9000/user/hive/warehouse
3、操作实例
- 执行命令：spark-sql –master spark://node1:7077 –executor-memory 1g –total–executor-cores 2 –conf spark.sql.warehouse.dir=hdfs://node1:9000/user/hive/warehouse
- 操作：
- show databases;
SparkRDD函数
RDD操作详解
启动spark-shell
spark-shell –master spark://hdp-node-01:7077
基本转换
1) map
map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。
举例：
more >>tag:
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：
jsonContent:
meta: false
pages: false
posts:
title: true
date: true
path: true
text: false
raw: false
content: false
slug: false
updated: false
comments: false
link: false
permalink: false
excerpt: false
categories: false
tags: true
一个简单的自我介绍.渣渣程序员,页面效果一般,分类做的很差.如果想搜索,请点击所有文章.