# 大数据学习

**Repository Path**: shaokai7878/big-data-learning

## Basic Information

- **Project Name**: 大数据学习
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2022-03-28
- **Last Updated**: 2025-02-27

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 大数据学习

### git操作步骤
1.  第一次提交：git clone https://gitee.com/shaokai7878/personal-code-base.git 将git仓库代码克隆到本地
2.  进入仓库目录，执行下面命令 git add .                `.表示将当前目录所有文件添加到git暂存区`
3.  git commit -m "my first commit"               `提交并备注提交信息`
4.  git push origin master                  ` 将本地提交推送到远程仓库`

1.  第二次提交:
2.  在提交前先拉取，git pull 无参数
3.  git add . (.和*都表示当前目录全部)
4.  git commit -m "备注"
5.  git push origin master #将本地提交推送到远程仓库

#### 若使用git clone 命令显示错误fatal: unable to access ‘×ב: OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 10054
1. 首先执行以下命令,：
`git config http.sslVerify "false"`
2. 若出现下列错误：
`fatal: not in a git directory`
继续执行：
`git config --global http.sslVerify "false"`

#### 介绍
1.  记录大数据学习过程，逐渐完善。
2.  记录个人常用代码及命令。
3.  学习路线：Java-Linux-MySQL-Zookeeper-Hadoop(HDFS、MR、Yarn)-Hive-Flume-Sqoop-Azkaban-Redis-Kafka-HBase-Scala-Spark-Flink

#### Elasticsearch
1.  添加elasticsearch相关api
2.  kibana操作常用语法


#### linux
1.  linux常用命令
2.  shell脚本编写
3.  八股文

#### java

自己平时开发用到的解题思路。

###  mysql
个人用到的SQL，批量插入，子查询，存储过程。


#### 常用链接
1. java廖雪峰：https://www.liaoxuefeng.com/wiki/1252599548343744/1255878730977024
2. 大数据入门指南：https://www.bookstack.cn/read/BigData-Notes/notes-Flink_Data_Sink.md
3. 王知无大数据技术架构：https://mp.weixin.qq.com/s/9Y1Mv8qtCwcvkf6BJuI0Ug
4. java面试：https://blog.csdn.net/weixin_43314519/article/details/112603595
5. linux菜鸟教程：https://www.runoob.com/linux/linux-comm-crontab.html
6. 力扣：https://leetcode-cn.com/circle/discuss/Z2dG35/
7. 牛客网：https://www.nowcoder.com/discuss/experience?tagId=733
8. 阿里云大数据学习路线：https://developer.aliyun.com/learning/roadmap/bigdata?spm=a2c6h.21110250.J_4161449680.1.68e9760fuJC49f
9. mvnRepository：https://mvnrepository.com/artifact/org.apache.flink/flink-shaded-hadoop-3-uber/3.1.1.7.1.1.0-565-9.0

| 名称 |  | 说明 | 是否必填 |
| --- | --- | --- | --- |
| content | reader | reader插件详细配置 | 是 |
|  | writer | writer插件详细配置 | 是 |
|  | transformer | 数据转换SQL | 否 |
| setting | speed | 速率限制 | 否 |
|  | errorLimit | 出错控制 | 否 |
|  | dirty | 脏数据保存 | 否 |


|  名称 |   | 说明  | 是否必填  |  
|---|---|---|---|
| content  |  reader |  reader插件详细配置 |  是 |  
|   |         writer |  writer插件详细配置 |  是 |   
|   |    transformer |  数据转换SQL       |  否 |   
|  setting |  speed  |  速率限制           |  否 |  
|   |  errorLimit |  出错控制 | 否  |