TensorFlow实战技巧：tf.train优化算法

1. 优化器（optimizer）

优化器的基类（Optimizer base class）主要实现了两个接口，一是计算损失函数的梯度，二是将梯度作用于变量。tf.train 主要提供了如下的优化函数：

• tf.train.Optimizer
• tf.train.GradientDescentOptimizer
• tf.train.AdadeltaOpzimizer
  
• tf.train.AdagradDAOptimizer
• tf.train.MomentumOptimizer
• tf.train.AdamOptimizer
• tf.train.FtrlOptimizer
• tf.train.ProximalGradientDescentOptimizer
• tf.train.ProximalAdagradOptimizer
• tf.train.RMSPropOptimizer

2. 梯度计算

TensorFlow 同时也提供了给定 TensorFlow 计算图（computation graph）的导数。上节提到的优化器类（optimizer classes）会自动计算 computation graph 的导数，但用户自定义优化器时，可以使用如下低级别的函数：

• tf.gradients
• tf.AggregationMethod
• tf.stop_gradient
• tf.hessians

2. 学习率衰减（decaying the learning rate）

• tf.train.exponential_decay # 实现的是如下的操作 decayed_lr = lr * decay_rate ^ (global_step/decay_steps)1.2.3.4. 在其 tf 下的使用为： 1. lr = tf.train.exponential_decay(0.1, global_step, 100, .96, staircase=True)1.
• tf.train.inverse_time_decay
• tf.train.natural_exp_decay
• tf.train.piecewise_constant
• tf.train.polynomial_decay

免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权，请联系删

武汉格发信息技术有限公司，格发许可优化管理系统可以帮你评估贵公司软件许可的真实需求，再低成本合规性管理软件许可,帮助贵司提高软件投资回报率，为软件采购、使用提供科学决策依据。支持的软件有: CAD,CAE,PDM,PLM,Catia,Ugnx, AutoCAD, Pro/E, Solidworks ,Hyperworks, Protel,CAXA,OpenWorks LandMark,MATLAB,Enovia,Winchill,TeamCenter,MathCAD,Ansys, Abaqus,ls-dyna, Fluent, MSC,Bentley,License,UG,ug,catia,Dassault Systèmes,AutoDesk,Altair,autocad,PTC,SolidWorks,Ansys,Siemens PLM Software,Paradigm,Mathworks,Borland,AVEVA,ESRI,hP,Solibri,Progman,Leica,Cadence,IBM,SIMULIA,Citrix,Sybase,Schlumberger,MSC Products...