最后手写python代码实现卷积过程，让Tensorflow卷积在我们面前不再是黑箱子！

在之前的TensorFlow学习笔记——图像识别与卷积神经网络中了解了一下经典的卷积神经网络模型LeNet模型。那其实之前学习了别人的代码实现了LeNet网络对MNIST数据集的训练。

3 系统架构 系统整体组成：Tensorflow的系统结构以C API为界，将整个系统分为前端和后端两个子系统： 前端构造计算图 后端执行计算图，可再细分为： 运行时：提供本地模式和分布式模式 计算层：

近些年来，各大科技公司都在致力于人工智能与机器学习的研究，其中 Google 是在该领域发展最为迅速的公司，如今 Google 已经将这些技术运用于搜索、邮件、翻译、助手等多个领域。在今年的 Google I/O 2021 上，Google 还对外展示了 LaMDA(Language Model for Dialogue Applications) ，这是一个利用 AI 技术...

今天将分享Unet的改进模型DC-UNet，改进模型来自2020年的论文《DC-UNet Rethinking the U-Net Architecture with Dual Channel Efficient CNN for Medical Images Segmentation》，通过理解该模型思想，在VNet基础上可以做同样的改进。 一、原始Unet网络 1、 原始Unet有一些缺陷...

优化器总结 机器学习中，有很多优化方法来试图寻找模型的最优解。比如神经网络中可以采取最基本的梯度下降法。 梯度下降法(Gradient Descent) 梯度下降法是最基本的一类优化器，目前主要分为三种梯度下降法：标准梯度下降法(GD, Gradient Descent)...

一、全部代码解读如下： 1、model_darknet19.py：yolo2网络模型——darknet19。 YOLOv2采用了一个新的基础模型（特征提取器），称为Darknet-19，包括19个卷积层和5个maxpooling层，如下图。Darknet-19与VGG16模型设计原则是一致的，主要采用3*3卷积，采用2*2的maxpooling层之后，特征图维度降低2倍...

今天将分享Unet的改进模型MA-UNet，改进模型来自2020年的论文《MA-Unet: An improved version of Unet basedon multi-scale and attention mechanism for medical image segmentation》，简单明了给大家分析理解该模型思想...

Tensor是一种特殊的数据结构，非常类似于数组和矩阵。在PyTorch中，我们使用tensor编码模型的输入和输出，以及模型的参数。 Tensor类似于Numpy的数组，除了tensor可以在GPUs或其它特殊的硬件上运行以加速运算。如果熟悉ndarray，那么你也会熟悉Tensor API。如果不是，跟随此快速API上手...

多层感知机（分类） 这篇文章开始就是深度学习了。多层感知机的架构是这样： 输入层除了提供数据之外，不干任何事情。隐层和输出层的每个节点都计算一次线性变换，并应用非线性激活函数。隐层的激活函数是压缩性质的函数。输出层的激活函数取决于标签的取值范围。 其本质上相当于广义线性回归模型的集成。 操作步骤 导入所需的包...

一 get_variable() 函数 get_variable() 函数用于创建或获取变量。 在实现创建变量的功能时,其使用方法和 Variable () 函数基本相同...

一、Anaconda 安装 无论是cpu版本还是gpu版本，都建议先安装Anaconda...

Tensor(张量) “张量”一词最初由威廉·罗恩·哈密顿在1846年引入。对，就是那个发明四元数的哈密顿： Tensor实际上就是一个多维数组（multidimensional array） Tensor的目的是能够创造更高维度的矩阵、向量。 色彩的例子 彩色图像文件（RGB）一般都会处理成3-d tensor，每个2d array中的element表示一个像素，R代表Red，G代表Green，

1，运行准备 按照https://github.com/matthewearl/deep-anpr说明的用法，运行过程分以下4步： 1）准备10万个背景图片 2）合成1000个测试车牌图像 3）训练，以取得权重参数 4）车牌检测 1.1准备背景图片 下载http://vision.princeton.edu/projects/2010/SUN/SUN397.tar.gz，36GB大小...

本文简单介绍梯度裁剪(gradient clipping)的方法及其作用，不管在 RNN 或者在其他网络都是可以使用的，比如博主最最近训练的 DNN 网络中就在用。 梯度裁剪一般用于解决 梯度爆炸(gradient explosion) 问题，而梯度爆炸问题在训练 RNN 过程中出现得尤为频繁，所以训练 RNN 基本都需要带上这个参数...

1、安装Python 官网下载地址： https://www.python.org/downloads/1. 2、安装Anacoda Anacoda的下载地址是： https://www.anaconda.com/distribution/1. 安装注意（第一个一定要选择上，自动配置环境变量的） 完成安装后...

特征提取 机器学习的特征工程步骤是要靠手动完成的 深度学习通常由多个层组成，它们通常将更简单的模型组合在一起，将数据从一层传递到另一层来构建更复杂的模型。通过训练大量数据自动得出模型，不需要人工特征提取环节。 数据量和计算性能要求 机器学习需要的执行时间远少于深度学习，深度学习参数往往很庞大，需要通过大量数据的多次优化来训练参数...

1.Keras简介 Keras是一个用于构建和训练深度学习模型的高级API。 它用于快速原型设计，高级研究和生产，具有三个主要优点： 用户友好 Keras具有针对常见用例优化的简单，一致的界面。 它为用户错误提供清晰且可操作的反馈 模块化和可组合 Keras模型是通过将可配置的构建块连接在一起而制定的，几乎没有限制。 易于扩展 编写自定义构建块以表达研究的新想法。 创建新图层...

项目介绍 通过以往的天气数据和实际天气温度，做一次回归预测，模型的输入是当前的所有特征值，而模型的输出是当天的实际天气温度 字段分析 目前已有的数据有348条svc数据，他们的字段分别代表 year：年 month：月 day：日 week：周几 temp_2：前天天气 temp_1：昨天天气 average：在历史中...

一、梯度下降概念 梯度下降法是一个一阶最优化算法，通常也称为最速下降法。要使用梯度下降法找到一个函数的局部极小值，必须响函数上当前对于梯度（或者近似梯度）的反方向的规定步长居里点进行迭代搜索。所以梯度下降法可以帮助我们求解某个函数的极小值或者最小值。对于n为问题就是最优解，梯度下降法是最常用的方法之一...

编译前先安装依赖: xcode 9.2或者更高 使用 brew包管理工具安装python brew install python 安装依赖: pip install -U --user pip numpy wheel packaging requests opt_einsum1. pip install -U --user keras_preprocessing --no-deps1. brew

1提高图片分辨率——开源例子 2MNIST简单训练 3图像处理的相关应用 提高图片分辨率-开源例子 该项目是使用生成对抗网络的令人印象深刻的工作照片真实单图像超分辨率的张量流实现 。 训练方法大致就是构建好网络后，找一个高清图片数据集，对每个图片做处理得到低分辨率的图片，从而得到低分辨率图片数据集。用这两个数据集来训练网络，实现低分辨率到高分辨率图片的转化...

养了七年的TensorFlow终于还是被Meta的PyTorch干趴下了，在一定程度上。 谷歌眼见不对，赶紧又要了一个——「JAX」，一款全新的机器学习框架。

你有没有关注最近有没有看TensorFlow2020峰会?今年，TensorFlow团队发布了很多非常酷的产品，本文就将介绍如何使用tensorflow.js模型执行计算机视觉应用程序。

SSD网络tensorflow版本源码深入分析 以VGG-16作为特征提取层实现SSD网络的代码，解读SSD网络代码实现的各个细节，从输入参数、默认框的位置匹配、宽高比率、放缩比率、各层默认框的生成、到损失函数计算

本小节直接从 TensorFlow contrib 数据集加载数据。使用随机梯度下降优化器优化单个训练样本的系数。 实现简单线性回归的具体做法 导入需要的所有软件包： 在神经网络中，

TensorFlow 队列 队列（Queue）是一种最为常用的数据输入输出方式，其通过先进先出的线性数据结构，一端只负责增加队列中的数据元素，而数据的输出和删除在队列的另一端实现。

一般用于解决过拟合的方法有增加权重的惩罚机制，比如L2正规化，但在本处我们使用tensorflow提供的dropout方法...

源码下载地址：https://share.weiyun.com/a0c1664d334c4c67ed51fc5e0ac5f2b2 初学机器学习，写篇文章mark一下，希望能为将入坑者解点惑。本文介绍一些机器学习的入门知识，从安装环境到跑通机

一、概念 1. 多层感知机：MLP（Multilayer Perceptron） 人工神经网络领域通常被称为神经网络或多层感知机，可能是最有用的神经网络类型。 感知机是单个神经元模型，用以组成复杂神经网络。它于1958年由Frank Rosenblatt第一次引入。单层感知器可以用来区分线性可分的数据，并且一定可以在有限的迭代次数中收敛。 2. 单层感知器示例 3. 多层感知机除了输入与输出层...

这里将加载iris数据集，创建一个山鸢尾花（I.setosa）的分类器...

一：argmax中axis问题 总之：axis=0/1不是行/列关系 test = np.array([[1, 2, 3], [2, 3, 4], [5, 4, 3], [8, 7, 2]])1. （一）axis=0 : 0表示最大范围，所有的数组都要比较到 np.argmax(test, 0)1. 你就这么想，0是最大的范围，所有的数组都要进行比较...

人工智能是基础科学与工程实践结合的技术领域，近年来已经融合了越来越多的其他方向。在数字化逐渐成型的今天，AI 将为技术进步产生推动作用。 近日，剑桥大学的 2020 版《AI 全景报告》终于出炉，这是该年度报告的第三期。和往年一样，该报告援引的数据来自知名科技公司和研究小组。新版 AI 全景报告以几个方面分别介绍了人工智能领域最近一段时间的发展趋势：研究、人才、业界、政策和未来展望...

1. 优化器（optimizer） 优化器的基类（Optimizer base class）主要实现了两个接口，一是计算损失函数的梯度，二是将梯度作用于变量...

我们将实现一个类似于Kim Yoon的卷积神经网络语句分类的模型。 本文提出的模型在一系列文本分类任务（如情感分析）中实现了良好的分类性能，并已成为新的文本分类架构的标准基准。 本文假设你已经熟悉了应用于NLP的卷积神经网络的基础知识。 如果没有，建议先阅读Understanding Convolutional Neural Networks for NLP 以获得必要的背景...

autoencoder可以用于数据压缩、降维，预训练神经网络，生成数据等等Auto-Encoder架构 需要完成的工作 需要完成Encoder和Decoder的训练 例如，Mnist的一张图片大小为784维，将图片放到Encoder中进行压缩，编码code使得维度小于784维度，之后可以将code放进Decoder中进行重建,可以产生同之前相似的图片...

最近由于研究方向的更换，接触到了目标检测（Object Detection）领域，觉得很有意思，并且阅读了该方向的相关经典文献，包括Fast-RCNN、Faster-RCNN、SSD、YOLO以及RetinaNet等。复现别人代码并且能够得到在公开数据集上和原作者相近甚至相同的实验结果对于我们做研究甚至以后的工作来说是至关重要的...

knn的基本原理： KNN是通过计算不同特征值之间的距离进行分类。 整体的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在分类决策上只依据最邻近的一个或者几个样本的类别来决定待分类样本所属的类别。 KNN算法要解决的核心问题是K值选择...

▲ 机器之心根据真实店铺照片生成的效果图，一度以为，这就是某个日漫番剧的截图 随手拍张照片，顺势转换为宫崎骏、新海诚等日漫大师的手绘风格作品，这个专门生成动漫图像的 GAN，实测很好用。 尽管最近 2019 年的图灵奖颁给了计算机图形学、颁给了皮克斯 3D 动画，但很多人可能认为二维动漫更有意思一些。像宫崎骏、新海诚这些大师手绘下的动漫，才有了灵魂，张张都能成为壁纸，而整个日漫也以二维为核心...

数据集：minist （我走的是本地读取） 数据集链接：https://pan.baidu.com/s/1o2faz60YLaba3q7hn_JWqg 提取码：yv3y 代码和数据集放在一个文件下 目的：测试服务器是否安装成功cuda和cudnn 环境:ubuntu16.04...

1 VGG介绍 VGG全称是指牛津大学的Oxford Visual Geometry Group，该小组在2014年的ImageNet挑战赛中，设计的VGG神经网络模型在定位和分类跟踪比赛中分别取得了第一名和第二名的成绩...

tf.add_n([p1, p2, p3....])函数是实现一个列表的元素的相加。就是输入的对象是一个列表，列表里的元素可以是向量，矩阵...

前言：对于神经网络的理解，基础的是前向传播过程，重难点是反向的传播，无论是卷积神经网络还是循环神经网络，都是需要一定数学功底的，可以经常回顾下一些老师的博客，重点复习下反向传播的过程，这里就只总结下卷积层的操作，并给出一个经典案例来说明卷积神经网络是如何搭建起来的。 一、卷积计算层/ CONV layer 局部关联。每个神经元看做一个filter。 窗口(receptive field)滑动...

一.安装docker 安装教程很多...

1.实现一个简单的神经网络 TensorFlow中的一个称为keras的API，Keras使定义神经网络变得非常容易 dense定义一层相连的神经元，一个dense表示一层 优化器是sgd，代表随机梯度下降

目的 在Tensorflow的教程里面，使用梯度下降算法训练神经网络时，都会提到一个使模型更加健壮的策略，即滑动平均模型。本文基于最近一段时间的学习，记录一下自己的理解。

深度学习工具箱 —— 支持变换器等架构；导入并共同模拟 PyTorch 和 TensorFlow 模型。

由于近年来虚拟个人助理的迅猛发展和深度学习算法的运用所带来的字词识别准确率的飞跃，自动语音识别 (ASR) 已经得到广泛的采用。许多语音识别团队都依靠 Kaldi，这是一款广受欢迎的开放源代码语音识别工具包。我们宣布 Kaldi 现在提供

在从事深度学习过程中, 如果我们想训练一个类别非常多的分类器 (比如一个拥有巨大词汇库的语言模型), 正常的训练过程将非常缓慢。这是由于在训练过程中，所有的类别都需要进行评估。为了解决这个问题，人们发明了候选采样的技巧，每次只评估所有类别的

一、函数式api tf.keras.Sequential 模型只适用于多层简单堆叠网络，不能表示复杂模型。 使用 Keras functional API 可以构建有复杂拓扑结构的模型...