LeNet5网络结构 在计算机视觉中卷积神经网络取得了巨大的成功，它在工业上以及商业上的应用很多，一个商业上最典型的应用就是识别支票上的手写数字的LeNet5神经网络。从20世纪90年代开始美国大多数银行都用这种技术识别支票上的手写数字。 实际应用中的LeNet5卷积神经网络共有8层，其中每层都包含可训练的神经元，而连接神经元的是每层的权重。 8层LeNet5神经网络...

一、准备数据集 本篇旨在人脸识别，在百度图片上下载了120张张钧甯的图片，存放在/models/research/object_detection下新建的images文件夹内，images文件夹下新建train和test两个文件夹，然后将120分为100和20张分别存放在train和test中。 接下来使用 LabelImg 这款小软件，安装方法参考这里...

一、软件下载 1、pycharm下载以及anaconda下载，安装位置具体自己设定 2、安装时，路径可以根据需求，安装在除C盘以外的其他盘中，将红色方框内的选项全部打勾，如下： 二、环境安装 1、安装完成后，打开anaconda prompt 2、创建环境(本例中，环境名称为test，将test换为自己想要的名称即可)，同时指定python版本，比如python=3.9...

1 TF依赖视图 TF的依赖视图如图1所示，描述了TF的上下游关系链。 TF托管在github平台，有google groups和contributors共同维护。 TF提供了丰富的深度学习相关的API，支持Python和C/C++接口。 TF提供了可视化分析工具Tensorboard，方便分析和调整模型。 TF支持Linux平台，Windows平台，Mac平台，甚至手机移动设备等各种平台...

一、PyTorch简介 PyTorch 是由 Torch7 团队开源的，这也是Facebook 的 AI 研究团队发布了一个 Python 工具包，据该项目官网介绍，是一个 Python 优先的深度学习框架，能够在强大的 GPU 加速基础上实现张量和动态神经网络。 目前除了 Facebook 之外，也有大量的机构正在使用 PyTorch PyTorch 的前身是 Torch...

深度学习工具箱 —— 支持变换器等架构；导入并共同模拟 PyTorch 和 TensorFlow 模型。

Tensorflow2.0——卷积神经网络 卷积神经网络 卷积 池化与采样 经典卷积神经网络 LeNet-5 AlexNet VGG GoogLeNet ResNet ResNet实现 比较 Batch

上一篇博客是对于两个数据集的合并，这部分内容是通过合并的数据集生成tfrecord文件。 1 为PNet生成tfrecord文件 进入prepare_data文件夹打开gen_PNet_tfrecor

[[191845]] 目录 ■ 简介 ■ 第一步：将图像理解为一个概率分布的样本 你是怎样补全缺失信息的呢？ 但是怎样着手统计呢？这些都是图像啊。 那么我们怎样补全图像？ ■ 第二步：快速生成假图像 在未知概率分布情况下，学习生成新样本 [

众所周知，人类在很小的时候就学会了识别和标记自己所看到的事物。如今，随着机器学习和深度学习算法的不断迭代，计算机已经能够以非常高的精度，对捕获到的图像进行大规模的分类了。目前，此类先进算法的应用场景已经涵括到了包括：解读肺部扫描影像是否健康，通过移动设备进行面部识别，以及为零售商区分不同的消费对象类型等领域。 下面...

介绍 Airbnb是一个在线市场，允许人们将自己的房产或空余房间出租给客人。每预订3位客人，收取12%和6%的佣金。 该公司自2009年成立以来，已从每年帮助2.1万名客人找到住处，发展到每年帮助600万人度假，目前在90个不同国家的34000个城市列出了惊人的80万套房产。 在本文中，我将使用Kaggle-newyorkcityairbnb开放数据集...

介绍 如果您一直在追踪数据科学/机器学习，您将不会错过深度学习和神经网络周围的动态。组织正在寻找具有深度学习技能的人，无论他们在哪里。从竞争开始到开放采购项目和大额奖金，人们正在尝试一切可能的事情来利用这个有限的人才。自主驾驶的工程师正在被汽车行业的大型枪支所猎杀，因为该行业处于近几十年来面临的最大破坏的边缘！ 如果您对深度学习所提供的潜在客户感到兴奋，但还没有开始您的旅程 - 我在这里启用它...

tf.train.get_checkpoint_state函数通过checkpoint文件找到模型文件名。 tf.train.get_checkpoint_state(checkpoint_dir,latest_filename=None) 该函数返回的是checkpoint文件CheckpointState proto类型的内容...

一、背景 搜索和推荐是互联网应用的两个核心入口，大多数流量都来自于搜索和推荐这两个场景。京东零售按站点，分为主站、京喜、海外站以及一些垂直领域站点。 对于搜索业务来讲，每个站点下会有关键词搜索、下拉发现、以及店铺、优惠券、订单等细分页面的搜索；对推荐业务来讲，依照应用场域不同，划分了大大小小几百种推荐位。 以上每一种业务场景下，都包含了十多种策略环节，需要机器学习模型支持...

零、从LR到SVM再到FM模型 线性模型： 逻辑回归LR： 优势：简单、可解释、易扩展、易并行； 缺点：难以捕获特征组合。 CTR早期用的LR最多，采用【线性模型】+【人工特征组合引入非线性】模式。后面为了解决LR需要人工特征工程的缺陷，大佬们想办法把特征组合能力体现在模型中，如下式子，最后一项是两两特征组合（类似多项式核SVM），...

我们首先来看看RNN的网络结构，如下图所示 xt表示第t,t=1,2,3…步(step)的输入 st为隐藏层的第t步的状态，它是网络的记忆单元。 st=f(u×xt+w×st−1)，其中f一般是非线性的激活函数 ot是第t步的输出，如下个单词的向量表示softmax(Vst) LSTM与RNN LSTM中的控制参数 LSTM中的门 门是一种信息选择式通过的方法sigmoid...

1.VGG-16介绍 vgg是在Very Deep Convolutional Networks for Large-Scale Image Recognition期刊上提出的。模型可以达到92.7%的测试准确度,在ImageNet的前5位。它的数据集包括1400万张图像，1000个类别。 vgg-16是一种深度卷积神经网络模型，16表示其深度，在图像分类等任务中取得了不错的效果...

概述 最近学习机器学习（和深度学习），入门第一个接触的便是简单线性回归。 所谓线性回归，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。其形式可表示为：y = w1x1 + w2x2 + w3x3 + … + w_nx_n + b 而简单线性回归，是其最简单的形式：y = wx + b，即我们所熟知的一次函数，理解为给定权重w和偏置（或称为截距）b...

1、 情景引入 波士顿房价数据集包括506个样本，每个样本包括12个特征变量和该地区的平均房价。房价显然和多个特征变量是相关的，因此需要选择多个特征变量来建立线性方程，这就是典型的多变量线性回归问题，下面是多元线性回归模型公式：y=w0+w1x1+w2x2+...+wn*xn+b 下面是波士顿房价的数据集部分展示，后面我们将使用数据集进行模型实现...

1.读取数据：把磁盘中的数据读取出来（模块的导入这里就不在叙述，需要什么模块就导入即可） 2.数据处理： a.这里提取年月日的方式是直接索引文件中需要的数据名称，并且赋值给我们定义的变量 b.字符编码，并且在表中删除‘真实结果’数据，然后表中剩下的都是‘X’变量，也就是说，可以把剩下的的整个表输入到训练模型中当作输入的‘X’ c.把字符类型的数据转换为数组格式 d.把数据变成标准的模式...

很多教程说用更小的样本数或者换显存更大的硬件。。。其实是治标不治本。 如果你是直接将全部训练样本以np.narray数组的形式输入fit，这种情况下的内存不够，即使使用更小的batchsize，也不会有明显的改善。 先说解决方案——那就是官方自定义的数据格式tfrecords. 在这种格式下，每次只从存储硬盘中读取一个batchsize的数据入内存（显存），而不是将整个训练样本一次性全部读入...

一个神经元有多个输入和输出。每个神经元的输入既可以是其他神经元的输出，也可以是整个神经网络的输入，所谓神经网络的结构指的就是不同神经元之间的连接结构。如下图所示，一个最简单的神经元结构的输出就是所有输入的加权和，而不同权重就是神经元的参数，神经网络的优化过程就是优化神经元中参数取值的过程。 计算神经网络的前向传播结果需要三部分信息，如下图所示： 第一部分是神经网络的输入...

1、关于深度学习框架的安装，如果单纯安装cpu版本的直接去下载到本地即可...

tensorflow 、SSD 目标检测是AI的一项重要应用，通过目标检测模型能在图像中把人、动物、汽车、飞机等目标物体检测出来，甚至还能将物体的轮廓描绘出来，就像下面这张图。

1.建立一个神经网络添加层 输入值、输入的大小、输出的大小和激励函数 学过神经网络的人看下面这个图就明白了，不懂的去看看我的另一篇博客（http://www.cnblogs.com/wjy-lulu/p/6547542.html） 复制 d

[[211061]] STATWORX 团队近日从 Google Finance API 中精选出了 S＆P 500 数据，该数据集包含 S＆P 500 的指数和股价信息。有了这些数据，他们就希望能利用深度学习模型和 500 支成分股价预测

时间序列预测的机器学习概述 当前，机器学习正在席卷全球，机器人能够以类似人类的精度完成许多领域中的任务。例如，在医疗领域，智能助手可以随时检查人们的健康状况；在金融领域，也有一些工具可以合理准确地预测投资回报；而在在线营销中，也已经研发出一些产品推荐工具能够根据人们的购买历史向其推荐特定的产品和品牌。 在上述这些应用领域中，人们可以使用不同类型的数据来训练机器学习模型。其中...

线性回归 步骤 构造线性回归数据 定义输入层 设计神经网络中间层 定义神经网络输出层 计算二次代价函数，构建梯度下降 进行训练...

本文将从iris数据集创建一个线性分类器。如前所述，用花萼宽度和花萼长度的特征可以创建一个线性二值分类器来预测是否为山鸢尾花...

图像编码处理+图像大小调整+图像翻转+图像色彩调整+处理标注框 #!/usr/bin/env python # -*- coding: UTF-8 -*- # coding=utf-8 """ @author: Li Tian @contact: 694317828@qq.com @software: pycharm @file: figure_deal_test1.py @time: 201

Seq2Seq 首先来简单说明一下 Seq2Seq 模型，如果搞过深度学习，想必一定听说过 Seq2Seq 模型，Seq2Seq 其实就是 Sequence to Sequence，也简称 S2S，也可以称之为 Encoder-Decoder 模型，这个模型的核心就是编码器（Encoder）和解码器（Decoder）组成的...

首先是确定好所有软件的版本是最重要的，现在控制面板中找到Nvida控制面板 在这里找到我们的显卡型号1050ti和对应的cuda版本： 点左下角的系统信息 然后在组件中可以查看 这里能够看到cuda的版本是11.1.70...

之前我们讲了神经网络的起源、单层神经网络、多层神经网络的搭建过程、搭建时要注意到的具体问题、以及解决这些问题的具体方法。本文将通过一个经典的案例：MNIST手写数字识别，以代码的形式来为大家梳理一遍神经网络的整个过程。 一 、MNIST手写数字数据集介绍 M是著名的公开数据集之一，通常这个数据集都会被作为深度学习的入门案例。数据集中的数字图片是由250个不同职业的人纯手写绘制...

1、神经网络优化算法 梯度下降算法主要用户优化单个参数的取值，而反向传播算法给出了一个高效的方式在所有参数上使用梯度下降算法，从而使神经网络模型在训练数据上的损失函数尽可能小。反向传播算法是训练神经网络的核心算法，它可以根据定义好的损失函数优化神经网络中参数的取值，从而使神经网络在训练数据集上的损失函数达到一个最小值。神经网络模型中参数的优化过程直接决定了模型的质量...

一、简介 Keras 是一个用于构建和训练深度学习模型的高阶 API。它可用于快速设计原型、高级研究和生产...

PS：对神经风格迁移的原理感兴趣的可以参考：Tensorflow2.0之神经风格迁移...

[[253678]] 机器学习(ML)是一种用于识别模式和预测未来概率的数据分析方法，它是人工智能(AI)研究的一部分。通过将答案预确定的数据输入到数学模型中，计算机可以训练自己、预测将来未知的输入集。 虽然ML迄今已成功解决了特定的任务，但分析参数更复杂的数据需要能够大规模部署简化操作的模型。这种机器学习将使计算机能够从更多数量的信息中找到解决方案并使之自动化。由于这些原因...

顾名思义，k均值聚类是一种对数据进行聚类的技术，即将数据分割成指定数量的几个类，揭示数据的内在性质及规律。 我们知道，在机器学习中，有三种不同的学习模式：监督学习、无监督学习和强化学习： 监督学习，也称为有导师学习，网络输入包括数据和相应的输出标签信息。例如，在 MNIST 数据集中，手写数字的每个图像都有一个标签，代表图片中的数字值。 强化学习，也称为评价学习，不给网络提供期望的输出...

支持向量机可以用来拟合线性回归。 相同的最大间隔（maximum margin）的概念应用到线性回归拟合。代替最大化分割两类目标是，最大化分割包含大部分的数据点（x，y）。我们将用相同的iris数据集，展示用刚才的概念来进行花萼长度与花瓣宽度之间的线性拟合。 相关的损失函数类似于max（0，|yi-（Axi+b）|-ε）。ε这里，是间隔宽度的一半，这意味着如果一个数据点在该区域，则损失等于0...

卷积神经网络的概念 在多层感知器（Multilayer Perceptrons，简称MLP）中，每一层的神经元都连接到下一层的所有神经元。一般称这种类型的层为完全连接。 多层感知器示例 反向传播 几个人站成一排第一个人看一幅画（输入数据），描述给第二个人（隐层）……依此类推，到最后一个人（输出）的时候，画出来的画肯定不能看了（误差较大）。反向传播就是，把画拿给最后一个人看（求取误差）...

进行深度学习模型训练的时候，一般使用GPU来进行加速，当训练样本只有百万级别的时候，单卡GPU通常就能满足我们的需求，但是当训练样本量达到上千万，上亿级别之后，单卡训练耗时很长，这个时候通常需要采用多机多卡加速。深度学习多卡训练常见有两种方式，一种是数据并行化（data parallelism），另外一种是模型并行化（model parallelism）。 数据并行化：每个GPU上面跑一个模型...

1介绍 深度学习后面的数学概念已经存在10多年，但是深度学习框架是最近几年才出来的。现在大量的框架在灵活性上和便于工业界使用上做了权衡，灵活性对于科研非常重要，但是对于工业界太慢了，但是换句话说，足够快，能够用于分布式的框架只适用于特别的网络结构，这对科研又不够灵活。 这留给了使用者一个矛盾的境地：我们是否应该尝试用没有那么灵活的框架做科研，这样当应用于工业界的时候...

一、保存模型的全部配置信息 使用model.save()函数搭配tf.keras.models.load_model()对模型的架构，权重以及配置进行保存与恢复...

一、准备数据 二、构建模型 三、训练模型 四、进行预测 五、批量随机梯度下降的实现 免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权...

卷积神经网络是目前深度学习的核心网络结构，被广泛的应用于计算机图像识别。 输入数据会通过多个卷积层及激活函数来获得输入数据的特征，每层之间的传递如下图： 在上面的图例中，每一个输入层的一格对应卷积层的四格，也可以更多。当然，一个输入层往往对应了很多个卷积层，比如RGB图片就有三个输入层，R图层，G图层与B图层，然后输入到大于3层或小于3层或刚好3层的卷积层中。卷积层后往往会有池化层...

1.建立模型(Model) 如下为我们进行某项实验获得的一些实验数据： 我们将这些数据放到一个二维图上可以看的更直观一些，如下，这些数据在图中表现为一些离散的点 我们需要根据现有的这些数据归纳出一个通用模型，通过这个模型我们可以预测其他的输入值产生的输出值。 如下图，我们选择的模型既可以是红线表示的鬼都看不懂的曲线模型，也可以是蓝线表示的线性模型，在概率统计理论的分析中...

一、保存、读取说明 我们创建好模型之后需要保存模型，以方便后续对模型的读取与调用，保存模型我们可能有下面三种需求：1、只保存模型权重参数；2、同时保存模型图结构与权重参数；3、在训练过程的检查点保存模型数据。下面分别对这三种需求进行实现...

第1章 张量的索引与切片 1.1 张量的维度方向 1.2 张量元素的访问：下标 张量元素的标识a[Idx-x][Idx-y][Idx-z] 其中Idx-x，Idx-y，Idx-z就是张量在不同维度方向的位置下标，代表了张量元素在整个张量空间中的位置。 1.3. 张量元素的下标切片 上述访问张量的方式称为下标访问，每次只能获取张量空间中的一个点...

最近，另一个常用的深度学习框架 TensorFlow 也有了自己的高度模块化和高效处理库...

既然是图，则有节点（变量），边（操作（简单函数）） 反向传播通过使用计算图形在Tensorflow，Torch，Theano等深度学习框架中实现。