当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一般分为三种，即：训练集上loss不下降，验证集上loss不下降，和测试集上loss不下降。这里，首先默认各位都能理解过拟合和欠拟合的概念，如果有不清楚的可以参考下面的一些文章。
AI柠檬博客走过第二个年头
伴随着新的一年来临，爆竹声中一岁除，我们又长了一岁，AI柠檬博客也伴随着大家和博主我，走过了第二个年头。新年新气象，我也成为即将毕业的学生了。从跟大家一样，刚刚入学，怀着梦想的一个懵懂无知的萌新，变为一个对知识有所涉猎，对技术有所专长，对社会有所见解的人。当回顾过去这一年，看一看自己这一年来的进步情况，所学的知识，所做的事情，我们就会对自己在这段时间内的表现，能否令自己满意，是否达到了目标，有着一个明确的判断。
GitHub宣布无限创建免费私有仓库
GitHub公司当地时间2019年1月7日，在其官方博客上发布文章，宣布私有仓库完全免费，每个仓库最多可以拥有3名协作者，此前只能通过学生认证来免费使用私有仓库。另外，在本次更新中，还有一项内容，对于企业来说，提供更简单、更统一的产品。
ASVRG：一个更好的加速近端SVRG
ASVRG是由西安电子科技大学一科研团队于近期新提出来的一个加速的近端随机变量减小的梯度方法，通过设计一个简单高效的动量加速技巧，只添加一个额外的变量和一个动量参数，使得其拥有了一个更简单且所需的训练迭代数更少的加速效果。并且，ASVRG被证明可以实现强凸和非强凸目标的最著名的oracle复杂性，此外，还可以扩展到小批量和非平滑设置。作者在论文中，还凭经验验证了理论结果，并表明ASVRG的性能与最先进的随机方法相当，有时甚至更好。
分布式机器学习：新书推荐和介绍
博主前一段时间在其他人的推荐下，入手了近期新出的一本名为《分布式机器学习：算法、理论与实践》的书。这是一本全面介绍分布式机器学习的现状，深入分析其中的核心技术问题，并讨论分布式机器学习领域未来的发展，不可多得的好书。这本书是基于微软亚洲研究院机器学习研究团队多年的研究成果和实践经验编写成的，可为研究生从事分布式机器学习方向研究提供参考文献，也可为人工智能从业者提供算法选择和系统设计的指导。
几个最新免费开源的中文语音数据集
工欲善其事必先利其器，做机器学习，我们需要有利器，才能完成工作，数据就是我们最重要的利器之一。做中文语音识别，我们需要有对应的中文语音数据集，以帮助我们完成和不断优化改进项目。我们可能很难拿到成千上万小时的语音数据集，但是这里有一些免费开源的语音数据集，大家一定不要错过。文末附数据集下载地址。
神经网络: 正向传播与反向传播
在进行深层神经网络的计算过程中，现在主流框架（比如TensorFlow、Pytorch、MXNet等）提供了自动求导函数，极大地简化了深度学习模型训练算法的实现。但求导，又称反向传播（back-propagation），是Deep Learning中的一个重要概念，所以在这一篇文章中主要用数学和计算图两个方式来描述正向传播和反向传播。我们将使用一个带有L2范数正则化的单隐藏层感知机为例解释正向传播和反向传播。 继续阅读“神经网络: 正向传播与反向传播”
在人工智能时代，程序设计是重要的基础
写在前面：本文是从作者在某大学提交的一份专业报告中的主要内容修改而来，由于作者觉得具有一定的现实意义，故发布出来。
近年来，越来越多的人们，无处不谈人工智能，不论是在大街上，还是媒体上，或者社交软件上。仿佛，我们突然经过了一个人工智能时代开始的时间节点，任何事情，加入了人工智能，就立即变得高端了起来。中国的多所一流大学，自2017年的中国科学院大学和西安电子科技大学先后成立人工智能学院以来，在2018年，包括清华在内，也纷纷成立人工智能学院，掀起了一股“成立人工智能学院”的浪潮。不过，人工智能是建立在计算机科学、应用数学、统计学等多学科交叉的基础之上的，其中，计算机科学是关键，是人工智能的灵魂，是实现我们未来智能生活的工具。而大学中，计算机软件方面的课程，尤其是程序设计和算法，是未来人工智能时代，AI人才培养的基础。
AI柠檬博客开放访客投稿啦
AI柠檬博客从2017年年初开服，到现在已经一年半多啦，博客经过发展，迈过了必经的几道坎，现在正式决定开放访客投稿。我作为一个个人博客的博主，很欢迎各位想让自己的文章被更多人看到的朋友们，将自己的原创文章投稿在这里。（^_^）
数据结构：树和二叉树
在数据结构中，存在着线性结构和非线性结构两种，而树型结构就是其中的一种非线性结构，最常用的有树和二叉树。树是一种以分支关系定义的层次结构，其实例广泛存在与人类的社会生活中的方方面面，比如社会组织机构中的层次关系等。在计算机领域中，树在编译程序、数据库系统中，也有着很重要的应用。