knn的基本原理： KNN是通过计算不同特征值之间的距离进行分类。 整体的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在分类决策上只依据最邻近的一个或者几个样本的类别来决定待分类样本所属的类别。 KNN算法要解决的核心问题是K值选择...

▲ 机器之心根据真实店铺照片生成的效果图，一度以为，这就是某个日漫番剧的截图 随手拍张照片，顺势转换为宫崎骏、新海诚等日漫大师的手绘风格作品，这个专门生成动漫图像的 GAN，实测很好用。 尽管最近 2019 年的图灵奖颁给了计算机图形学、颁给了皮克斯 3D 动画，但很多人可能认为二维动漫更有意思一些。像宫崎骏、新海诚这些大师手绘下的动漫，才有了灵魂，张张都能成为壁纸，而整个日漫也以二维为核心...

数据集：minist （我走的是本地读取） 数据集链接：https://pan.baidu.com/s/1o2faz60YLaba3q7hn_JWqg 提取码：yv3y 代码和数据集放在一个文件下 目的：测试服务器是否安装成功cuda和cudnn 环境:ubuntu16.04...

1 VGG介绍 VGG全称是指牛津大学的Oxford Visual Geometry Group，该小组在2014年的ImageNet挑战赛中，设计的VGG神经网络模型在定位和分类跟踪比赛中分别取得了第一名和第二名的成绩...

tf.add_n([p1, p2, p3....])函数是实现一个列表的元素的相加。就是输入的对象是一个列表，列表里的元素可以是向量，矩阵...

前言：对于神经网络的理解，基础的是前向传播过程，重难点是反向的传播，无论是卷积神经网络还是循环神经网络，都是需要一定数学功底的，可以经常回顾下一些老师的博客，重点复习下反向传播的过程，这里就只总结下卷积层的操作，并给出一个经典案例来说明卷积神经网络是如何搭建起来的。 一、卷积计算层/ CONV layer 局部关联。每个神经元看做一个filter。 窗口(receptive field)滑动...

一.安装docker 安装教程很多...

目的 在Tensorflow的教程里面，使用梯度下降算法训练神经网络时，都会提到一个使模型更加健壮的策略，即滑动平均模型。本文基于最近一段时间的学习，记录一下自己的理解。

SSD网络tensorflow版本源码深入分析 以VGG-16作为特征提取层实现SSD网络的代码，解读SSD网络代码实现的各个细节，从输入参数、默认框的位置匹配、宽高比率、放缩比率、各层默认框的生成、到损失函数计算

本小节直接从 TensorFlow contrib 数据集加载数据。使用随机梯度下降优化器优化单个训练样本的系数。 实现简单线性回归的具体做法 导入需要的所有软件包： 在神经网络中，

主要内容 面向动态环境基于点的语义SLAM系统。ORB-SLAM2的动态环境扩展版本，面向单目，双目和RGB-D相机。具体内容如下：动态物体检测方法。使用深学习方法(Mask R-CNN检测可能运动的

目录 论文学习 摘要 介绍 相关研究 网络结构 超参设置 卷积核深度 C3D网络 sport-1M数据集上表现 网络可视化 动作识别分类 网络compactness(紧密度？) ASLAN动作识别数据集表现 场景识别 耗时比较 附录 参考

由于近年来虚拟个人助理的迅猛发展和深度学习算法的运用所带来的字词识别准确率的飞跃，自动语音识别 (ASR) 已经得到广泛的采用。许多语音识别团队都依靠 Kaldi，这是一款广受欢迎的开放源代码语音识别工具包。我们宣布 Kaldi 现在提供

在从事深度学习过程中, 如果我们想训练一个类别非常多的分类器 (比如一个拥有巨大词汇库的语言模型), 正常的训练过程将非常缓慢。这是由于在训练过程中，所有的类别都需要进行评估。为了解决这个问题，人们发明了候选采样的技巧，每次只评估所有类别的

一、函数式api tf.keras.Sequential 模型只适用于多层简单堆叠网络，不能表示复杂模型。 使用 Keras functional API 可以构建有复杂拓扑结构的模型...

一.概率学中的逆概率 什么是逆概率 我们肯定知道正概率，举个例子就是，箱子里有5个黑球5个白球，那你随机拿到黑球和白球的概率都是50%，那现在我不知道箱子里有多少个黑球白球，那我通过不断的拿球应该如何确定箱子里有多少个黑球白球呢，这就是出名的逆概率 其实机器学习很多时候也就是逆概率的问题，我有大量现实例子的情况下，让机器从这些例子中找到共同的特征，例如给一万张猫的图片给机器学习...

优化器总结 机器学习中，有很多优化方法来试图寻找模型的最优解。比如神经网络中可以采取最基本的梯度下降法。 梯度下降法(Gradient Descent) 梯度下降法是最基本的一类优化器，目前主要分为三种梯度下降法：标准梯度下降法(GD, Gradient Descent)...

reshape()的括号中所包含的参数有哪些呢？常见的写法有tf.reshape((28,28)): tf.reshape(tensor,shape,name=None) 函数的作用是将tensor变换为参数shape形式，其中的shape为一个列表形式，特殊的是列表可以实现逆序的遍历，即list(-1).-1所代表的含义是我们不用亲自去指定这一维的大小，函数会自动进行计算...

实验原理： RNN的网络结构及原理 RNNs包含输入单元(Input units)，输入集标记为{x0,x1,...,xt,xt+1,...}，而输出单元(Output units)的输出集则被标记为{y0,y1,...,yt,yt+1.,..}。RNNs还包含隐藏单元(Hidden units)，我们将其输出集标记为{h0,h1,...,ht,ht+1,...}...

一般对没有加激活函数的输出称为"Logits",softmax函数保证输出的和为1，从而使得在分类过程中让某个输出属于某一类 免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权...

Unet——用于图像边缘检测，是FCN的改进 如上图是UNET的架构图，可以发现器输入图像和输出图像不一致，如果我们需要输入图像和输出图像一致时，在卷积时，使用padding=“SAME”即可，然后再边缘检测时，就相当与像素级别的二分类问题，用交叉熵做loss函数即可。但位置检测常用IOU作为loss函数。 个人觉得UNET的优点： 1.Unet的去除了全链接层...

背景 深度学习模型如何服务化是一个机器学习领域工程方面的热点，现在业内一个比较主流的做法是将模型和模型的服务环境做成docker image。这样做的一个好处是屏蔽了模型对环境的依赖，因为深度学习模型在服务的时候可能对各种框架版本和依赖库有要求，解决运行环境问题一直是个令人头痛的事情。 将模型通过docker服务化后意味着深度学习模型可以在各种环境使用，比如云端直接通过k8s调度拉起...

1.1 概述 Tensor提供了大量的张量运算，基本上可以对标Numpy多维数组的运算，以支持对张量的各种复杂的运算。 这些操作运算中大多是对数组中每个元素执行相同的函数运算，并获得每个元素函数运算的结果序列，这些序列生成一个新的同维度的数组。 不同维度张量的维度方向标识 随着张量维度的增加，张量维度的标识dim的范围也在扩宽 在张量维度扩展的过程中，维度标识值（dim=n）的含义也在发生变化...

训练自己模型的三种方法 1、准备一个需要的模型（如：inception）,然后确定算法的框架，初始化参数都是随机的，准备数据集，从头开始训练。 2、准备一个已经训练好的模型（如：inception），因为已经训练好，所以卷积层、池化层里面的权值和参数不需要更改，需要更改的只是最后一层，分类的地方。 3、准备一个已经训练好的模型，同方法二不一样的地方是，卷积层和池化层的权值和参数也参与训练...

一、神经网络的实现过程 1、准备数据集，提取特征，作为输入喂给神经网络 2、搭建神经网络结构，从输入到输出 3、大量特征数据喂给 NN，迭代优化 NN 参数 4、使用训练好的模型预测和分类 二、前向传播　　 前向传播就是搭建模型的计算过程，可以针对一组输入给出相应的输出。 举例：假如生产一批零件， 体积为 x1， 重量为 x2， 体积和重量就是我们选择的特征，把它们喂入神经网络...

1.线性模型求解方法 闭式解（closed-form）： 直接计算参数，从而使得训练数据可以很好的满足模型。 梯度下降（gradient descent） 通过迭代方式，逐渐使得参数可以最大化的满足代价函数（cost function）。 2.线性回归计算方法 线性问题： 可以写成向量形式： 而要使求得的斯塔使得线性拟合结果最好...

1.云计算与边缘计算 1.1 云计算 云计算是一种利用互联网实现随时随地共享的计算设施，列入我们的物联网监控系统 我们需要远程通过一些物联网设备来采集一些数据，通过获取这些数据，传输到远程的服务器上，进行机器学习算法的计算，再将计算的结果反馈到系统平台中。这当中就会遇到几个问题： 数据量大 物联网设备当地的宽带不够 对于监控系统，需要实时的，低延迟的获取计算结果，云计算由于宽带远程服务器...

每个神经元都必须有激活函数。它们为神经元提供了模拟复杂非线性数据集所必需的非线性特性。该函数取所有输入的加权和，进而生成一个输出信号。你可以把它看作输入和输出之间的转换。使用适当的激活函数，可以将输出值限定在一个定义的范围内。 如果 xi 是第 j 个输入，Wj 是连接第 j 个输入到神经元的权重，b 是神经元的偏置，神经元的输出（在生物学术语中，神经元的激活）由激活函数决定...

1、有了神经网络，为什么有CNN？ 如果全部使用神经网络，会导致权重过多，计算量增大，无法正常计算。 CNN个人理解为特征的提取，在不损失太多信息量的情况下，减小权重数量，使得网络更容易迭代。其中最重要的2个武器就是局部连接与共享权重 主要搞懂以下2张图的含义，就ok了： 局部连接 图1：局部连接 全连接：如果我们使用全连接，原图像是1000*1000的图，隐层也设置成1000*1000层...

1、二话不说...

你有没有关注最近有没有看TensorFlow2020峰会?今年，TensorFlow团队发布了很多非常酷的产品，本文就将介绍如何使用tensorflow.js模型执行计算机视觉应用程序。

Mtcnn_tensorflow训练模型错误总结 AttributeError: 'NoneType' object has no attribute 'shape' 一键获取完整项目代码pytho

1.实现一个简单的神经网络 TensorFlow中的一个称为keras的API，Keras使定义神经网络变得非常容易 dense定义一层相连的神经元，一个dense表示一层 优化器是sgd，代表随机梯度下降

译者 | 朱先忠 审校 | 孙淑娟 归纳一下所有当今巨型卷积神经网络（例如RESNET、VGG等），它们都引出了同样一个问题：我们如何能够用更少的参数使所有这些网络体积更小，同时仍然保持相同的精度水平，甚至使用更少的参数改进模型的泛化。 一

如果深层神经网络模型的复杂度非常高的话，那么训练它可能需要相当长的一段时间，当然这也取决于你拥有的数据量，运行模型的硬件等等。在大多数情况下，你需要通过保存文件来保障你试验的稳定性，防止如果中断(或一个错误)，你能够继续从没有错误的地方开始

一、下载安装Anaconda 官网： https://www.continuum.io/downloads 请注意版本 安装过程中，Anaconda会提示是否添加到环境变量，选择“是”；（其实不用太看...

对于条件随机场的学习，我觉得应该结合HMM模型一起进行对比学习。首先浏览HMM模型 一、定义 条件随机场（crf）：是给定一组输入随机变量条件下，另一组输出随机变量的条件概率的分布模型，其特点是假设输出随机变量构成马尔科夫随机场。本文所指线性链条件随机场。 隐马尔科夫模型（HMM）：描述由隐藏的马尔科夫链随机生成观测序列的过程，属于生成模型。 当然，作为初学者...

一、前言 随着深度学习在图像、语言、广告点击率预估等各个领域不断发展，很多团队开始探索深度学习技术在业务层面的实践与应用。而在广告CTR预估方面，新模型也是层出不穷： Wide and Deep[1]、DeepCross Network[2]、DeepFM[3]、xDeepFM[4]，美团很多篇深度学习博客也做了详细的介绍。但是，当离线模型需要上线时...

1.背景 最近在做模型训练，发现在导入大量数据时，由于要进行预处理（concat和reshape操作等），导致内存会占满，使得程序出错。由于输入数据存在大量的稀疏情况，想着能不能输入数据时利用稀疏矩阵进行保存，然后输入到模型中进行训练。 2.稀疏矩阵输入构造 python中scipy.sparse模块，能够有效的对输入数据进行稀疏化存储。但缺点在于稀疏矩阵必定只有两维的操作...

项目简介 1994 年深度学习三巨头之一的 Yan LeCun 提出了 LeNet 神经网络，这是最早的卷积神经网络。1998 年 Yan LeCun 在论文 “Gradient-Based Learning Applied to Document Recognition” 中将这种卷积神经网络命名为 “LeNet-5”。LeNet 已经包含了现在卷积神经网络中的卷积层，池化层，全连接层...

一、前言 随着深度学习在图像、语言、广告点击率预估等各个领域不断发展，很多团队开始探索深度学习技术在业务层面的实践与应用。而在广告CTR预估方面，新模型也是层出不穷： Wide and Deep[^1]、DeepCross Network[^2]、DeepFM[^3]、xDeepFM[^4]，美团很多篇深度学习博客也做了详细的介绍。但是，当离线模型需要上线时...

1.准备与入门 进入自己的虚拟环境，安装MLflow pip install mlflow 注意：window的虚拟环境中可能需要使用 python3 -m pip install 来进行安装，否则会报错—— python3 -m pip install 只在本环境中的python解释器下安装 并能被识别和使用。 pip install 直接把包安装在pip所属的python解释器中...

一、Word2Vec Word2Vec（Word Embeddings)——词向量/词嵌入 是一个可以将语言中字词转化为向量形式表达（Vector Representations）的模型。 主要分为CBOW（Continuous Bag of Words）和Skip-Gram两种模式，其中CBOW是从原始语句（比如：中国的首都是____）推测目标字词（比如：北京）；而Skip-Gram则正好相反，

训练一个机器学习模型用于预测图片里面的数字...

问题描述 如上图所示，有一些点位于单位正方形内，并做好了标记。要求找到一条线，作为分类的标准。这些点的数据在 inearly_separable_data.csv 文件内...

TF2.0默认为动态图，即eager模式。意味着TF能像Pytorch一样不用在session中才能输出中间参数值了，那么动态图和静态图毕竟是有区别的，tf2.0也会有写法上的变化。不过值得吐槽的是，tf2.0启动速度仍然比Pytorch慢的多。 操作被记录在磁带中（tape） 这是一个关键的变化。在TF0.x到TF1.X时代，操作（operation）被加入到Graph中。但现在...

一、前沿 最近搞cvr 转化时延建模的事情，升级了一下模型结构，并写了一个巨复杂的损失函数，但是调试好多时间，总是在训练过程中偶尔报下面的错误： 错误的原因是 计算auc的过程中偶尔出现 InvalidArgumentError (see above for traceback): assertion failed: [predictions must be in [0, 1]]...

反向传播（BPN）算法是神经网络中研究最多、使用最多的算法之一，它用于将输出层中的误差传播到隐藏层的神经元，然后用于更新权重。 学习 BPN 算法可以分成以下两个过程： 正向传播：输入被馈送到网络，信号从输入层通过隐藏层传播到输出层。在输出层，计算误差和损失函数。 反向传播：在反向传播中，首先计算输出层神经元损失函数的梯度，然后计算隐藏层神经元损失函数的梯度。接下来用梯度更新权重...

1、适用顺序模型的情况 顺序模型适用于简单的层堆栈，其中每一层正好具有一个输入张量和一个输出张量...

包括卷积神经网络(CNN)在内的各种前馈神经网络模型, 其一次前馈过程的输出只与当前输入有关与历史输入无关. 递归神经网络(Recurrent Neural Network, RNN)充分挖掘了序列数据中的信息, 在时间序列和自然语言处理方面有着重要的应用. 递归神经网络可以展开为普通的前馈神经网络: 长短期记忆模型(Long-Short Term Memory)是RNN的常用实现. 与一般神经网