# jxxx

**Repository Path**: AmberHan/jqxx

## Basic Information

- **Project Name**: jxxx
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2022-04-22
- **Last Updated**: 2022-04-22

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README





##学习1（神经网络）

1、定义函数；2、定义损失函数；3、最小二乘法，尽可能降低损失函数，优化函数参数



- 此处模型是线性模型。步长η、求两个参数的微积分。

- 优化参数时可能存在：局部最优解、梯度消失等问题。

- 不同的函数，得到的优化效果不一样。

- 常用的是用多个激活函数叠加模拟 函数变化的曲线。(香农采样定义）

<center>
     <img src="机器学习.assets/image-20220420153430485.png"  width="200" />
     <img src="机器学习.assets/image-20220422144821100.png" width="200" />
  </center>
<center>
     <img src="机器学习.assets/image-20220422145314569.png" width="200" />
     <img src="机器学习.assets/image-20220420153356610.png" width="200" />
</center>


<img src="机器学习.assets/image-20220422145418689.png" alt="image-20220422145418689" style="zoom:50%;" /> 

2、激活 $y=c \frac{1}{1+e^{-\left(b+w x_{1}\right)}}=c*sigmoid(b+wx_1)$，调整w(斜率)、b(左右)、c(高度)

- 分段函数不可导，所以此处用激活函数（光滑连续可导）
- 利用多个激活函数叠加，实现预测函数的模拟（下图1采用单个x）
- 使用j天叠加模拟预测。（下图2采用多个x）

<center>
<img src="机器学习.assets/image-20220420160601227.png" alt="image-20220420160601227" width="200" " />
<img src="机器学习.assets/image-20220420160957545.png" alt="image-20220420160957545" width="200" " />
</center>

3、$y=b+\sum_{i} c_{i} \text { sigmoid }\left(b_{i}+\sum_{j} w_{i j} x_{j}\right)$ 。sigmoid可以换成其他函数比如ReLU,对应图中的$\sigma$

<center>
   <img src="机器学习.assets/image-20220420165647526.png"  width="200" " />
   <img src="机器学习.assets/image-20220420162855218.png" width="200" " />
</center>

4、计算损失函数Loss，L(θ)，θ表示所有变化的向量；$\boldsymbol{\theta}^{*}=\arg \min _{\boldsymbol{\theta}} L$

<center>
   <img src="机器学习.assets/image-20220420173422520.png"  width="200" " />
   <img src="机器学习.assets/image-20220420173827579.png" width="200" " />
</center>

- 将训练集切割成m份，对每一份进行处理，更新参数。
- 嵌套多层神经元，效果可能变好。只要足够多的神经元，可以模拟任何函数

 <center>
   <img src="机器学习.assets/image-20220420174158096.png"  width="200" " />
   <img src="机器学习.assets/image-20220420175137765.png" width="200" " />
</center>



## 学习2（深度学习）

- 深度学习模型

<center>
   <img src="机器学习.assets/image-20220422160356635.png"  width="200" " />
   <img src="机器学习.assets/image-20220422161630747.png" width="200" " />
</center>

- 多个隐藏层，多个函数进行嵌套（全连接前馈神经网络）

<center>
   <img src="机器学习.assets/image-20220422161108028.png"  width="200" " />
   <img src="机器学习.assets/image-20220422161041095.png" width="200" " />
</center>



- 计算梯度，得到最优解。用链式法则

<center>
   <img src="机器学习.assets/image-20220422163412867.png"  width="200" " />
   <img src="机器学习.assets/image-20220422163634246.png" width="200" " />
</center>

- 损失函数计算偏微分（反向传播）

<center>
   <img src="机器学习.assets/image-20220422170043658.png"  width="200" " />
   <img src="机器学习.assets/image-20220422170420906.png" width="200" " />
</center>

<center>
   <img src="机器学习.assets/image-20220422170718297.png"  width="200" " />
   <img src="机器学习.assets/image-20220422171120474.png" width="200" " />
</center>

- 假设问号部分已知得到

<center>
   <img src="机器学习.assets/image-20220422171312431.png"  width="200" " />
   <img src="机器学习.assets/image-20220422171641900.png" width="200" " />
</center>

- case2 从后往前推偏微分；根据损失函数不同的C，C的偏微分不同

<center>
   <img src="机器学习.assets/image-20220422171959204.png"  width="200" " />
   <img src="机器学习.assets/image-20220422172439854.png" width="200" " />
</center>