进行深度学习模型训练的时候，一般使用GPU来进行加速，当训练样本只有百万级别的时候，单卡GPU通常就能满足我们的需求，但是当训练样本量达到上千万，上亿级别之后，单卡训练耗时很长，这个时候通常需要采用多机多卡加速。深度学习多卡训练常见有两种方式，一种是数据并行化（data parallelism），另外一种是模型并行化（model parallelism）。 数据并行化：每个GPU上面跑一个模型...

1介绍 深度学习后面的数学概念已经存在10多年，但是深度学习框架是最近几年才出来的。现在大量的框架在灵活性上和便于工业界使用上做了权衡，灵活性对于科研非常重要，但是对于工业界太慢了，但是换句话说，足够快，能够用于分布式的框架只适用于特别的网络结构，这对科研又不够灵活。 这留给了使用者一个矛盾的境地：我们是否应该尝试用没有那么灵活的框架做科研，这样当应用于工业界的时候...

一、保存模型的全部配置信息 使用model.save()函数搭配tf.keras.models.load_model()对模型的架构，权重以及配置进行保存与恢复...

一、准备数据 二、构建模型 三、训练模型 四、进行预测 五、批量随机梯度下降的实现 免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权...

卷积神经网络是目前深度学习的核心网络结构，被广泛的应用于计算机图像识别。 输入数据会通过多个卷积层及激活函数来获得输入数据的特征，每层之间的传递如下图： 在上面的图例中，每一个输入层的一格对应卷积层的四格，也可以更多。当然，一个输入层往往对应了很多个卷积层，比如RGB图片就有三个输入层，R图层，G图层与B图层，然后输入到大于3层或小于3层或刚好3层的卷积层中。卷积层后往往会有池化层...

1.建立模型(Model) 如下为我们进行某项实验获得的一些实验数据： 我们将这些数据放到一个二维图上可以看的更直观一些，如下，这些数据在图中表现为一些离散的点 我们需要根据现有的这些数据归纳出一个通用模型，通过这个模型我们可以预测其他的输入值产生的输出值。 如下图，我们选择的模型既可以是红线表示的鬼都看不懂的曲线模型，也可以是蓝线表示的线性模型，在概率统计理论的分析中...

一、保存、读取说明 我们创建好模型之后需要保存模型，以方便后续对模型的读取与调用，保存模型我们可能有下面三种需求：1、只保存模型权重参数；2、同时保存模型图结构与权重参数；3、在训练过程的检查点保存模型数据。下面分别对这三种需求进行实现...

第1章 张量的索引与切片 1.1 张量的维度方向 1.2 张量元素的访问：下标 张量元素的标识a[Idx-x][Idx-y][Idx-z] 其中Idx-x，Idx-y，Idx-z就是张量在不同维度方向的位置下标，代表了张量元素在整个张量空间中的位置。 1.3. 张量元素的下标切片 上述访问张量的方式称为下标访问，每次只能获取张量空间中的一个点...

本文将介绍如何使用Python和深度学习库Tensorflow来进行异常仿真。我们将以图像分类任务为例...

1.结论 照惯例，先上结论，再说过程，不想看过程的可直接略过。 从这个图我们可以知道，一个LSTM cell中有4个参数，并且形状都是一样的shape=[output_size+n,output_size],其中n表示输入张量的维度,output_size通过函数BasicLSTMCell(num_units=output_size)获得...

一、如何搭建神经网络 在搭建神经网络中，需要通过训练集训练搭建的神经网络，训练完成后需要通过验证集测试我们神经网络训练的效果。 总体流程如下图所示： 二、代码 代码流程： 1、获取数据【x：特征 y：标签】 2、将数据转为tf格式，并将特征和标签配对做batch 3、确定神经网络层数，并初始化神经网络参数w,b,学习率，轮次等 4、循环将数据开始训练。记录loss...

一、异常检测 异常定义为偏离标准，很少发生且不遵循其余“模式”的事件。异常的例子包括： 由于世界大事而导致的股市大跌 工厂/传送带上的不良物品 实验室中被污染的样品 假设我们的数据服从一个正太分布，那么通常异常数据位于正态分布曲线的两侧。如下图所示。 正如我们看到的那样，这些事件将发生，但发生的可能性极低。从机器学习的角度来看，这使得很难检测异常-根据定义，我们有很多“标准”事件的示例...

Tensor Flow 是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。 这是谷歌开源的一个强大的做深度学习的软件库，提供了C++ 和 Python 接口，下面给出用Tensor Flow 建立MLP 网络做笑脸识别的一个简单用例...

一.全连接的BP神经网络 1.BP(back propagation反传播)神经网络 bp神经网络的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小。基本BP算法包括信号的前向传播和误差的反向传播两个过程。即计算误差输出时按从输入到输出的方向进行，而调整权值和阈值则从输出到输入的方向进行。正向传播时，输入信号通过隐含层作用于输出节点，经过非线性变换...

了解机器学习概念之后，无涯教程现在可以将重点转移到深度学习概念上，深度学习是机器学习的一个分支，被认为是近几十年来研究人员迈出的关键一步。深度学习实现的示例包括图像识别和语音识别等应用。 以下是深度神经网络的两种重要类型- 卷积神经网络 递归神经网络 在本章中，将重点介绍CNN，即卷积神经网络。 卷积神经网络 卷积神经网络旨在通过多层数组处理数据，这种类型的神经网络用于图像识别或面部识别等应用中，

一、前述 ANN人工神经网络有两个或两个以上隐藏层，称为DNN 只有一个隐藏层是多层感知机 没有隐藏层是感知机 二、反向传播应用举例 举例： 正向传播，反向传播是一次迭代， 正向传播：在开始的每一层上都有一个参数值w，初始的时候是随机的,前向带入的是每一个样本值。 反向传播：然后反过来求所有的梯度值。如果是BGD则再根据公式wt=wt-1-ag进行调整所有w值。 然后再正向传播，迭代，以此类推...

本节将展示如何使用多层感知机（MLP）进行函数逼近，具体来说，是预测波士顿的房价。第2章使用回归技术对房价进行预测，现在使用 MLP 完成相同的任务。 准备工作 对于函数逼近，这里的损失函数是 MSE。输入应该归一化，隐藏层是 ReLU，输出层最好是 Sigmoid。 下面是如何使用 MLP 进行函数逼近的示例： 导入需要用到的模块：sklearn，该模块可以用来获取数据集，预处理数据...

TensorFlow.NET为广大.NET开发者提供了一个除了ML.NET的第二个机器学习框架选择。 什么是线性回归？

1、右键管理运行 2、全部勾选点击Install 3、下一步 4、Close 5、软件安装完成

概述 线性回归 (Linear Regression) 是利用回归分析来确定两种或两种以上变量间相互依赖的定量关系. 均方误差 (Mean Square Error): 是用来描述连续误差的一种方法. 公式: y_predict: 我们预测的值 y_real: 真实值线性回归 公式 w: weight, 权重系数 b: bias, 偏置顶 x: 特征值 y: 预测值 梯度下降 梯度下降 (Grad