ASVRG:一个更好的加速近端SVRG

点击量:158

ASVRG是由西安电子科技大学一科研团队于近期新提出来的一个加速的近端随机变量减小的梯度方法,通过设计一个简单高效的动量加速技巧,只添加一个额外的变量和一个动量参数,使得其拥有了一个更简单且所需的训练迭代数更少的加速效果。并且,ASVRG被证明可以实现强凸和非强凸目标的最著名的oracle复杂性,此外,还可以扩展到小批量和非平滑设置。作者在论文中,还凭经验验证了理论结果,并表明ASVRG的性能与最先进的随机方法相当,有时甚至更好。

继续阅读“ASVRG:一个更好的加速近端SVRG”

分布式机器学习:新书推荐和介绍

点击量:99

博主前一段时间在其他人的推荐下,入手了近期新出的一本名为《分布式机器学习:算法、理论与实践》的书。这是一本全面介绍分布式机器学习的现状,深入分析其中的核心技术问题,并讨论分布式机器学习领域未来的发展,不可多得的好书。这本书是基于微软亚洲研究院机器学习研究团队多年的研究成果和实践经验编写成的,可为研究生从事分布式机器学习方向研究提供参考文献,也可为人工智能从业者提供算法选择和系统设计的指导。

继续阅读“分布式机器学习:新书推荐和介绍”

几个最新免费开源的中文语音数据集

点击量:983

工欲善其事必先利其器,做机器学习,我们需要有利器,才能完成工作,数据就是我们最重要的利器之一。做中文语音识别,我们需要有对应的中文语音数据集,以帮助我们完成和不断优化改进项目。我们可能很难拿到成千上万小时的语音数据集,但是这里有一些免费开源的语音数据集,大家一定不要错过。文末附数据集下载地址。

继续阅读“几个最新免费开源的中文语音数据集”

神经网络: 正向传播与反向传播

点击量:211

在进行深层神经网络的计算过程中,现在主流框架(比如TensorFlow、Pytorch、MXNet等)提供了自动求导函数,极大地简化了深度学习模型训练算法的实现。但求导,又称反向传播(back-propagation),是Deep Learning中的一个重要概念,所以在这一篇文章中主要用数学和计算图两个方式来描述正向传播和反向传播。我们将使用一个带有L2范数正则化的单隐藏层感知机为例解释正向传播和反向传播。 继续阅读“神经网络: 正向传播与反向传播”

在人工智能时代,程序设计是重要的基础

点击量:155

写在前面:本文是从作者在某大学提交的一份专业报告中的主要内容修改而来,由于作者觉得具有一定的现实意义,故发布出来。

近年来,越来越多的人们,无处不谈人工智能,不论是在大街上,还是媒体上,或者社交软件上。仿佛,我们突然经过了一个人工智能时代开始的时间节点,任何事情,加入了人工智能,就立即变得高端了起来。中国的多所一流大学,自2017年的中国科学院大学和西安电子科技大学先后成立人工智能学院以来,在2018年,包括清华在内,也纷纷成立人工智能学院,掀起了一股“成立人工智能学院”的浪潮。不过,人工智能是建立在计算机科学、应用数学、统计学等多学科交叉的基础之上的,其中,计算机科学是关键,是人工智能的灵魂,是实现我们未来智能生活的工具。而大学中,计算机软件方面的课程,尤其是程序设计和算法,是未来人工智能时代,AI人才培养的基础。

继续阅读“在人工智能时代,程序设计是重要的基础”

数据结构:树和二叉树

点击量:163

在数据结构中,存在着线性结构和非线性结构两种,而树型结构就是其中的一种非线性结构,最常用的有树和二叉树。树是一种以分支关系定义的层次结构,其实例广泛存在与人类的社会生活中的方方面面,比如社会组织机构中的层次关系等。在计算机领域中,树在编译程序、数据库系统中,也有着很重要的应用。

继续阅读“数据结构:树和二叉树”

数据结构:队列

点击量:118

队列是一种先进先出(FIFO, first in first out)的线性表,这一点跟栈是刚好相反的。这种数据结构只允许在表的其中一端插入元素,在另一端删除元素,就像我们日常生活中的排队一样。在队列中,最早进入队列的元素是最早离开的,进入越晚的元素离开的也越晚,不能从中间插队。

继续阅读“数据结构:队列”