# bigdata

**Repository Path**: zwdcdu/bigdata

## Basic Information

- **Project Name**: bigdata
- **Description**: 大数据技术原理与应用
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 15
- **Forks**: 1
- **Created**: 2024-02-26
- **Last Updated**: 2025-12-25

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 大数据技术原理与应用

## 教材

- 《大数据技术原理与应用 概念、存储、处理、分析与应用》 （2024年7月第4版）
ISBN:978-7-115-64181-6 厦门大学 林子雨 编著，人民邮电出版社
- 老师的课程资源: https://gitee.com/zwdcdu/bigdata
- 教材课程资源: https://dblab.xmu.edu.cn/post/bigdata4/
- 教材配套大数据软件安装和编程实践指南: https://dblab.xmu.edu.cn/blog/4189/
- 本地数据集上传到到数据仓库Hive: https://www.cnblogs.com/Salinger/p/16731463.html
- 在Ubuntu22.04中安装MongoDB6.0（2024年1月版）: https://dblab.xmu.edu.cn/blog/4594/
- HDFS编程实践（Hadoop3.3.5）: https://dblab.xmu.edu.cn/blog/4230/

## 教材虚拟机中的服务启动

- 使用vmware打开bigdata4，运行ubuntu系统

```sh
/usr/bin/redis-server

sudo systemctl start mongod
mongosh
(base) hadoop@hadoop01:~$ mongosh
test> show dbs;
School  80.00 KiB
admin   40.00 KiB
config  72.00 KiB
test> use School
switched to db School
School> show tables
student
teacher
School> db.student.find()
[
  {
    _id: ObjectId('68be09297c3f4b488bf1f1f3'),
    sname: 'Mary',
    sage: 25
  },
  { _id: ObjectId('68be09297c3f4b488bf1f1f4'), sname: 'Bob', sage: 20 },
  {
    _id: ObjectId('68f55e70c431545bea774b70'),
    sname: 'Mary',
    sage: 25
  },
  { _id: ObjectId('68f55e70c431545bea774b71'), sname: 'Bob', sage: 20 }
]
School> exit



/usr/local/hadoop/sbin/start-all.sh
/usr/local/hadoop/sbin/stop-all.sh

启动hbase
/usr/local/hbase/bin/start-hbase.sh
/usr/local/hbase/bin/stop-hbase.sh
HBase管理页面：
http://hadoop01:16010/master-status

启动kafka
cd /usr/local/kafka
启动Kafka 服务‌: bin/kafka-server-start.sh config/server.properties
停止Kafka 服务‌: bin/kafka-server-stop.sh
创建主题‌：bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1
生产消息‌：bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
消费消息‌：bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

启动flink
/usr/local/flink/bin/start-cluster.sh
停止flink
/usr/local/flink/bin/stop-cluster.sh

hive --service hiveserver2 &
/usr/local/hive/bin/hiveserver2
/usr/local/hive/bin/hive

/usr/local/spark/sbin/start-all.sh
/usr/local/spark/sbin/stop-all.sh
进入scala交互环境：
/usr/local/spark/bin/spark-shell

sudo systemctl start mysql

/usr/local/eclipse/eclipse
```