一.概率学中的逆概率 什么是逆概率 我们肯定知道正概率，举个例子就是，箱子里有5个黑球5个白球，那你随机拿到黑球和白球的概率都是50%，那现在我不知道箱子里有多少个黑球白球，那我通过不断的拿球应该如何确定箱子里有多少个黑球白球呢，这就是出名的逆概率 其实机器学习很多时候也就是逆概率的问题，我有大量现实例子的情况下，让机器从这些例子中找到共同的特征，例如给一万张猫的图片给机器学习...

优化器总结 机器学习中，有很多优化方法来试图寻找模型的最优解。比如神经网络中可以采取最基本的梯度下降法。 梯度下降法(Gradient Descent) 梯度下降法是最基本的一类优化器，目前主要分为三种梯度下降法：标准梯度下降法(GD, Gradient Descent)...

reshape()的括号中所包含的参数有哪些呢？常见的写法有tf.reshape((28,28)): tf.reshape(tensor,shape,name=None) 函数的作用是将tensor变换为参数shape形式，其中的shape为一个列表形式，特殊的是列表可以实现逆序的遍历，即list(-1).-1所代表的含义是我们不用亲自去指定这一维的大小，函数会自动进行计算...

实验原理： RNN的网络结构及原理 RNNs包含输入单元(Input units)，输入集标记为{x0,x1,...,xt,xt+1,...}，而输出单元(Output units)的输出集则被标记为{y0,y1,...,yt,yt+1.,..}。RNNs还包含隐藏单元(Hidden units)，我们将其输出集标记为{h0,h1,...,ht,ht+1,...}...

一般对没有加激活函数的输出称为"Logits",softmax函数保证输出的和为1，从而使得在分类过程中让某个输出属于某一类 免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权...

Unet——用于图像边缘检测，是FCN的改进 如上图是UNET的架构图，可以发现器输入图像和输出图像不一致，如果我们需要输入图像和输出图像一致时，在卷积时，使用padding=“SAME”即可，然后再边缘检测时，就相当与像素级别的二分类问题，用交叉熵做loss函数即可。但位置检测常用IOU作为loss函数。 个人觉得UNET的优点： 1.Unet的去除了全链接层...

背景 深度学习模型如何服务化是一个机器学习领域工程方面的热点，现在业内一个比较主流的做法是将模型和模型的服务环境做成docker image。这样做的一个好处是屏蔽了模型对环境的依赖，因为深度学习模型在服务的时候可能对各种框架版本和依赖库有要求，解决运行环境问题一直是个令人头痛的事情。 将模型通过docker服务化后意味着深度学习模型可以在各种环境使用，比如云端直接通过k8s调度拉起...

1.1 概述 Tensor提供了大量的张量运算，基本上可以对标Numpy多维数组的运算，以支持对张量的各种复杂的运算。 这些操作运算中大多是对数组中每个元素执行相同的函数运算，并获得每个元素函数运算的结果序列，这些序列生成一个新的同维度的数组。 不同维度张量的维度方向标识 随着张量维度的增加，张量维度的标识dim的范围也在扩宽 在张量维度扩展的过程中，维度标识值（dim=n）的含义也在发生变化...

训练自己模型的三种方法 1、准备一个需要的模型（如：inception）,然后确定算法的框架，初始化参数都是随机的，准备数据集，从头开始训练。 2、准备一个已经训练好的模型（如：inception），因为已经训练好，所以卷积层、池化层里面的权值和参数不需要更改，需要更改的只是最后一层，分类的地方。 3、准备一个已经训练好的模型，同方法二不一样的地方是，卷积层和池化层的权值和参数也参与训练...

一、神经网络的实现过程 1、准备数据集，提取特征，作为输入喂给神经网络 2、搭建神经网络结构，从输入到输出 3、大量特征数据喂给 NN，迭代优化 NN 参数 4、使用训练好的模型预测和分类 二、前向传播　　 前向传播就是搭建模型的计算过程，可以针对一组输入给出相应的输出。 举例：假如生产一批零件， 体积为 x1， 重量为 x2， 体积和重量就是我们选择的特征，把它们喂入神经网络...

1.线性模型求解方法 闭式解（closed-form）： 直接计算参数，从而使得训练数据可以很好的满足模型。 梯度下降（gradient descent） 通过迭代方式，逐渐使得参数可以最大化的满足代价函数（cost function）。 2.线性回归计算方法 线性问题： 可以写成向量形式： 而要使求得的斯塔使得线性拟合结果最好...

1.云计算与边缘计算 1.1 云计算 云计算是一种利用互联网实现随时随地共享的计算设施，列入我们的物联网监控系统 我们需要远程通过一些物联网设备来采集一些数据，通过获取这些数据，传输到远程的服务器上，进行机器学习算法的计算，再将计算的结果反馈到系统平台中。这当中就会遇到几个问题： 数据量大 物联网设备当地的宽带不够 对于监控系统，需要实时的，低延迟的获取计算结果，云计算由于宽带远程服务器...

每个神经元都必须有激活函数。它们为神经元提供了模拟复杂非线性数据集所必需的非线性特性。该函数取所有输入的加权和，进而生成一个输出信号。你可以把它看作输入和输出之间的转换。使用适当的激活函数，可以将输出值限定在一个定义的范围内。 如果 xi 是第 j 个输入，Wj 是连接第 j 个输入到神经元的权重，b 是神经元的偏置，神经元的输出（在生物学术语中，神经元的激活）由激活函数决定...

1、有了神经网络，为什么有CNN？ 如果全部使用神经网络，会导致权重过多，计算量增大，无法正常计算。 CNN个人理解为特征的提取，在不损失太多信息量的情况下，减小权重数量，使得网络更容易迭代。其中最重要的2个武器就是局部连接与共享权重 主要搞懂以下2张图的含义，就ok了： 局部连接 图1：局部连接 全连接：如果我们使用全连接，原图像是1000*1000的图，隐层也设置成1000*1000层...

1、二话不说...

译者 | 朱先忠 审校 | 孙淑娟 归纳一下所有当今巨型卷积神经网络（例如RESNET、VGG等），它们都引出了同样一个问题：我们如何能够用更少的参数使所有这些网络体积更小，同时仍然保持相同的精度水平，甚至使用更少的参数改进模型的泛化。 一

如果深层神经网络模型的复杂度非常高的话，那么训练它可能需要相当长的一段时间，当然这也取决于你拥有的数据量，运行模型的硬件等等。在大多数情况下，你需要通过保存文件来保障你试验的稳定性，防止如果中断(或一个错误)，你能够继续从没有错误的地方开始

一、下载安装Anaconda 官网： https://www.continuum.io/downloads 请注意版本 安装过程中，Anaconda会提示是否添加到环境变量，选择“是”；（其实不用太看...

对于条件随机场的学习，我觉得应该结合HMM模型一起进行对比学习。首先浏览HMM模型 一、定义 条件随机场（crf）：是给定一组输入随机变量条件下，另一组输出随机变量的条件概率的分布模型，其特点是假设输出随机变量构成马尔科夫随机场。本文所指线性链条件随机场。 隐马尔科夫模型（HMM）：描述由隐藏的马尔科夫链随机生成观测序列的过程，属于生成模型。 当然，作为初学者...

一、前言 随着深度学习在图像、语言、广告点击率预估等各个领域不断发展，很多团队开始探索深度学习技术在业务层面的实践与应用。而在广告CTR预估方面，新模型也是层出不穷： Wide and Deep[1]、DeepCross Network[2]、DeepFM[3]、xDeepFM[4]，美团很多篇深度学习博客也做了详细的介绍。但是，当离线模型需要上线时...

1.背景 最近在做模型训练，发现在导入大量数据时，由于要进行预处理（concat和reshape操作等），导致内存会占满，使得程序出错。由于输入数据存在大量的稀疏情况，想着能不能输入数据时利用稀疏矩阵进行保存，然后输入到模型中进行训练。 2.稀疏矩阵输入构造 python中scipy.sparse模块，能够有效的对输入数据进行稀疏化存储。但缺点在于稀疏矩阵必定只有两维的操作...

项目简介 1994 年深度学习三巨头之一的 Yan LeCun 提出了 LeNet 神经网络，这是最早的卷积神经网络。1998 年 Yan LeCun 在论文 “Gradient-Based Learning Applied to Document Recognition” 中将这种卷积神经网络命名为 “LeNet-5”。LeNet 已经包含了现在卷积神经网络中的卷积层，池化层，全连接层...

一、前言 随着深度学习在图像、语言、广告点击率预估等各个领域不断发展，很多团队开始探索深度学习技术在业务层面的实践与应用。而在广告CTR预估方面，新模型也是层出不穷： Wide and Deep[^1]、DeepCross Network[^2]、DeepFM[^3]、xDeepFM[^4]，美团很多篇深度学习博客也做了详细的介绍。但是，当离线模型需要上线时...

1.准备与入门 进入自己的虚拟环境，安装MLflow pip install mlflow 注意：window的虚拟环境中可能需要使用 python3 -m pip install 来进行安装，否则会报错—— python3 -m pip install 只在本环境中的python解释器下安装 并能被识别和使用。 pip install 直接把包安装在pip所属的python解释器中...

一、Word2Vec Word2Vec（Word Embeddings)——词向量/词嵌入 是一个可以将语言中字词转化为向量形式表达（Vector Representations）的模型。 主要分为CBOW（Continuous Bag of Words）和Skip-Gram两种模式，其中CBOW是从原始语句（比如：中国的首都是____）推测目标字词（比如：北京）；而Skip-Gram则正好相反，

训练一个机器学习模型用于预测图片里面的数字...

问题描述 如上图所示，有一些点位于单位正方形内，并做好了标记。要求找到一条线，作为分类的标准。这些点的数据在 inearly_separable_data.csv 文件内...

TF2.0默认为动态图，即eager模式。意味着TF能像Pytorch一样不用在session中才能输出中间参数值了，那么动态图和静态图毕竟是有区别的，tf2.0也会有写法上的变化。不过值得吐槽的是，tf2.0启动速度仍然比Pytorch慢的多。 操作被记录在磁带中（tape） 这是一个关键的变化。在TF0.x到TF1.X时代，操作（operation）被加入到Graph中。但现在...

一、前沿 最近搞cvr 转化时延建模的事情，升级了一下模型结构，并写了一个巨复杂的损失函数，但是调试好多时间，总是在训练过程中偶尔报下面的错误： 错误的原因是 计算auc的过程中偶尔出现 InvalidArgumentError (see above for traceback): assertion failed: [predictions must be in [0, 1]]...

反向传播（BPN）算法是神经网络中研究最多、使用最多的算法之一，它用于将输出层中的误差传播到隐藏层的神经元，然后用于更新权重。 学习 BPN 算法可以分成以下两个过程： 正向传播：输入被馈送到网络，信号从输入层通过隐藏层传播到输出层。在输出层，计算误差和损失函数。 反向传播：在反向传播中，首先计算输出层神经元损失函数的梯度，然后计算隐藏层神经元损失函数的梯度。接下来用梯度更新权重...

1、适用顺序模型的情况 顺序模型适用于简单的层堆栈，其中每一层正好具有一个输入张量和一个输出张量...

包括卷积神经网络(CNN)在内的各种前馈神经网络模型, 其一次前馈过程的输出只与当前输入有关与历史输入无关. 递归神经网络(Recurrent Neural Network, RNN)充分挖掘了序列数据中的信息, 在时间序列和自然语言处理方面有着重要的应用. 递归神经网络可以展开为普通的前馈神经网络: 长短期记忆模型(Long-Short Term Memory)是RNN的常用实现. 与一般神经网

LeNet5网络结构 在计算机视觉中卷积神经网络取得了巨大的成功，它在工业上以及商业上的应用很多，一个商业上最典型的应用就是识别支票上的手写数字的LeNet5神经网络。从20世纪90年代开始美国大多数银行都用这种技术识别支票上的手写数字。 实际应用中的LeNet5卷积神经网络共有8层，其中每层都包含可训练的神经元，而连接神经元的是每层的权重。 8层LeNet5神经网络...

一、准备数据集 本篇旨在人脸识别，在百度图片上下载了120张张钧甯的图片，存放在/models/research/object_detection下新建的images文件夹内，images文件夹下新建train和test两个文件夹，然后将120分为100和20张分别存放在train和test中。 接下来使用 LabelImg 这款小软件，安装方法参考这里...

一、软件下载 1、pycharm下载以及anaconda下载，安装位置具体自己设定 2、安装时，路径可以根据需求，安装在除C盘以外的其他盘中，将红色方框内的选项全部打勾，如下： 二、环境安装 1、安装完成后，打开anaconda prompt 2、创建环境(本例中，环境名称为test，将test换为自己想要的名称即可)，同时指定python版本，比如python=3.9...

1 TF依赖视图 TF的依赖视图如图1所示，描述了TF的上下游关系链。 TF托管在github平台，有google groups和contributors共同维护。 TF提供了丰富的深度学习相关的API，支持Python和C/C++接口。 TF提供了可视化分析工具Tensorboard，方便分析和调整模型。 TF支持Linux平台，Windows平台，Mac平台，甚至手机移动设备等各种平台...

一、PyTorch简介 PyTorch 是由 Torch7 团队开源的，这也是Facebook 的 AI 研究团队发布了一个 Python 工具包，据该项目官网介绍，是一个 Python 优先的深度学习框架，能够在强大的 GPU 加速基础上实现张量和动态神经网络。 目前除了 Facebook 之外，也有大量的机构正在使用 PyTorch PyTorch 的前身是 Torch...

Tensorflow2.0——卷积神经网络 卷积神经网络 卷积 池化与采样 经典卷积神经网络 LeNet-5 AlexNet VGG GoogLeNet ResNet ResNet实现 比较 Batch

tensorflow 、SSD 目标检测是AI的一项重要应用，通过目标检测模型能在图像中把人、动物、汽车、飞机等目标物体检测出来，甚至还能将物体的轮廓描绘出来，就像下面这张图。

[[191845]] 目录 ■ 简介 ■ 第一步：将图像理解为一个概率分布的样本 你是怎样补全缺失信息的呢？ 但是怎样着手统计呢？这些都是图像啊。 那么我们怎样补全图像？ ■ 第二步：快速生成假图像 在未知概率分布情况下，学习生成新样本 [

众所周知，人类在很小的时候就学会了识别和标记自己所看到的事物。如今，随着机器学习和深度学习算法的不断迭代，计算机已经能够以非常高的精度，对捕获到的图像进行大规模的分类了。目前，此类先进算法的应用场景已经涵括到了包括：解读肺部扫描影像是否健康，通过移动设备进行面部识别，以及为零售商区分不同的消费对象类型等领域。 下面...

介绍 Airbnb是一个在线市场，允许人们将自己的房产或空余房间出租给客人。每预订3位客人，收取12%和6%的佣金。 该公司自2009年成立以来，已从每年帮助2.1万名客人找到住处，发展到每年帮助600万人度假，目前在90个不同国家的34000个城市列出了惊人的80万套房产。 在本文中，我将使用Kaggle-newyorkcityairbnb开放数据集...

介绍 如果您一直在追踪数据科学/机器学习，您将不会错过深度学习和神经网络周围的动态。组织正在寻找具有深度学习技能的人，无论他们在哪里。从竞争开始到开放采购项目和大额奖金，人们正在尝试一切可能的事情来利用这个有限的人才。自主驾驶的工程师正在被汽车行业的大型枪支所猎杀，因为该行业处于近几十年来面临的最大破坏的边缘！ 如果您对深度学习所提供的潜在客户感到兴奋，但还没有开始您的旅程 - 我在这里启用它...

tf.train.get_checkpoint_state函数通过checkpoint文件找到模型文件名。 tf.train.get_checkpoint_state(checkpoint_dir,latest_filename=None) 该函数返回的是checkpoint文件CheckpointState proto类型的内容...

一、背景 搜索和推荐是互联网应用的两个核心入口，大多数流量都来自于搜索和推荐这两个场景。京东零售按站点，分为主站、京喜、海外站以及一些垂直领域站点。 对于搜索业务来讲，每个站点下会有关键词搜索、下拉发现、以及店铺、优惠券、订单等细分页面的搜索；对推荐业务来讲，依照应用场域不同，划分了大大小小几百种推荐位。 以上每一种业务场景下，都包含了十多种策略环节，需要机器学习模型支持...

零、从LR到SVM再到FM模型 线性模型： 逻辑回归LR： 优势：简单、可解释、易扩展、易并行； 缺点：难以捕获特征组合。 CTR早期用的LR最多，采用【线性模型】+【人工特征组合引入非线性】模式。后面为了解决LR需要人工特征工程的缺陷，大佬们想办法把特征组合能力体现在模型中，如下式子，最后一项是两两特征组合（类似多项式核SVM），...

我们首先来看看RNN的网络结构，如下图所示 xt表示第t,t=1,2,3…步(step)的输入 st为隐藏层的第t步的状态，它是网络的记忆单元。 st=f(u×xt+w×st−1)，其中f一般是非线性的激活函数 ot是第t步的输出，如下个单词的向量表示softmax(Vst) LSTM与RNN LSTM中的控制参数 LSTM中的门 门是一种信息选择式通过的方法sigmoid...

1.VGG-16介绍 vgg是在Very Deep Convolutional Networks for Large-Scale Image Recognition期刊上提出的。模型可以达到92.7%的测试准确度,在ImageNet的前5位。它的数据集包括1400万张图像，1000个类别。 vgg-16是一种深度卷积神经网络模型，16表示其深度，在图像分类等任务中取得了不错的效果...

概述 最近学习机器学习（和深度学习），入门第一个接触的便是简单线性回归。 所谓线性回归，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。其形式可表示为：y = w1x1 + w2x2 + w3x3 + … + w_nx_n + b 而简单线性回归，是其最简单的形式：y = wx + b，即我们所熟知的一次函数，理解为给定权重w和偏置（或称为截距）b...

1、 情景引入 波士顿房价数据集包括506个样本，每个样本包括12个特征变量和该地区的平均房价。房价显然和多个特征变量是相关的，因此需要选择多个特征变量来建立线性方程，这就是典型的多变量线性回归问题，下面是多元线性回归模型公式：y=w0+w1x1+w2x2+...+wn*xn+b 下面是波士顿房价的数据集部分展示，后面我们将使用数据集进行模型实现...