#深度学习
Why Deep Learning Works Even Though It Shouldn’t(moultano.wordpress.com)
2020-10-20 22:43
这是一个很大的问题，我也不是一个特别高大的人。因此，对于深谙文学和理论的人来说，这些都可能是显而易见的观察。然而，我发现，有一种潜移默化的直觉是专家对一个领域的理解的基础，这些直觉从来没有在文献中直接陈述过，因为它们不容易用文献要求的严谨性来证明。因此，洞察力只存在于对话和潜台词中，这使得普通读者无法接触到它们。
因......
Deep Learning in Production Resource List(github.com)
2020-10-19 0:33
在这个存储库中，我将分享一些关于在生产中部署基于深度学习的模型的有用注释和参考。
将完整的ImageNet预训练模型从MXNet转换为PyTorch[非常棒，&；完整的ImageNet模型是指在约14M个图像上训练的模型]
New deep learning models: Fewer neurons, more intelligence(www.sciencedaily.com)
2020-10-14 6:46
一个国际研究团队开发了一种新的人工智能系统，该系统基于线虫等微小动物的大脑。这个新颖的人工智能系统只需几个人工神经元就可以控制一辆车。它能更好地处理有噪声的输入，并且由于其简单性，其操作模式可以被详细地解释。
人工智能已经进入我们的日常生活--从搜索引擎到自动驾驶汽车。这与近年来出现的巨大计算能力有关。但人工智能研究......
2020-10-13 19:59
下载PDF摘要：视频游戏中的过程性内容生成由来已久。现有的过程性内容生成方法，如基于搜索、基于解算器、基于规则和基于语法的方法，已被应用于各种内容类型，如级别、映射、角色模型和纹理。以游戏内容生成为中心的研究领域已经存在了十多年。最近，深度学习推动了内容制作中一系列值得注意的发明，这些发明适用于游戏。虽然一些前沿的深......
Deep Learning for NLP: Stanford Course (My Notes on the Free Lectures)(strikingloo.github.io)
2020-10-11 15:59但是您也可以为每个单词设置Sigmoid(WiUj)，为每个在窗口中嵌入Uj的上下文设置+Sigmoid(-WiUk)，然后为随机选择的k设置+Sigmoid(-WiUk)。在某种程度上，类似于波尔兹曼机器的遗忘。
超参数魔术：在d=300时表现平台期(但不会崩溃，即使在10k！！-nips，2018-)。似乎和PC......
2020-10-7 17:36
(特伦斯在旧金山大学的数据科学硕士项目任教。您可能知道Terence是ANTLR解析器生成器的创建者。)。
大多数人使用Kera或Fastai等高级库来解决深度学习问题，这是有意义的。这些库隐藏了许多我们不关心或可以稍后了解的实现细节。然而，要真正理解深度学习，我认为在某种程度上实现您自己的网络层和培训循环是很重要的......
Deep Learning for Compilers(era.ed.ac.uk)
2020-9-1 22:59构建编译器很困难。优化编译器是耗资数百万美元的项目
多年来的发展，但仍然无法充分利用可用的性能，
并且很容易被窃听。快速过渡到异构并行和
多样化的体系结构提高了对积极优化编译器的需求
一直居高不下，使得编译器开发人员难以跟上。我们需要的是
简化编译器构造的更好工具。
本文提出了显著降低编译器成本的新技术
构造，同时提......
Deep Learning for Knowledge Graph Embeddings(cxlabs.sap.com)
2020-8-31 23:47
是什么让行李箱里一双时髦的鞋子和一件泳衣不容错过，为周末去海滩做准备？为什么不在刚买的徒步旅行靴中一键预订在白云山露营，因为你喜欢冒险呢？发明这些建议的系统可能利用了网络的力量，我们集体生活的隐喻，以及它的所有复杂性和纠结的依赖关系。
特别是，两种类型的网络，数据网络和人工神经元网络结合在一起，为各种有趣的应用开辟了......
Fast.ai releases new deep learning course(www.fast.ai)
2020-8-22 2:44Ai是一个自筹资金的研究、软件开发和教学实验室，专注于让深度学习更容易获得。我们所有的软件、研究论文和课程都是免费提供的，没有广告。我们自掏腰包支付所有费用，不接受赠款或捐款，所以你可以确信我们是真正独立的。
今天是我们四年历史上最重要的一天。我们将发布：
Fastai v2：对Fastai的完全重写，它更快、更容易......
The Computational Limits of Deep Learning(arxiv.org)
2020-8-18 5:42下载PDF摘要：深度学习的近代史取得了成就：从在围棋中战胜人类，到在图像识别、语音识别、翻译和其他任务中取得世界领先的表现。但这一进步伴随着对计算能力的贪婪胃口。本文报告了深度学习应用程序在五个重要应用领域的计算需求，并表明所有这五个领域的进步都强烈依赖于计算能力的提高。向前推算这种依赖表明，沿着当前路线取得的进步在......
The Matrix Calculus You Need for Deep Learning(explained.ai)
2020-8-17 3:57
(我们在旧金山大学的数据科学硕士项目任教，还有其他邪恶的项目正在进行。您可能知道Terence是ANTLR解析器生成器的创建者。有关更多材料，请参阅Jeremy的Fast.ai课程和旧金山大学数据学院的深度学习课程的面对面版本。)。
这篇文章试图解释所有你需要的矩阵演算，以便理解深度神经网络的训练。除了您在微积分1中......
2020-8-10 2:26
下载PDF摘要：最近的研究表明，深度学习神经网络(DNNs)容易受到人类视觉系统无法感知的微小扰动的影响，但会欺骗DNN模型，导致错误的输出。提出了一类在不同环境下产生鲁棒物理扰动的对抗性攻击网络算法。这些算法是通过提供一条训练未来防御网络的途径来推进安全深度学习的第一次努力，然而，它们固有的复杂性阻碍了它们的广泛应......
2020-8-2 20:28
这是与杰里米·霍华德在人工智能播客上的对话片段。你可以在这里观看完整的对话：http://bit.ly/2NG4qwr...
Floating-Point Formats and Deep Learning(eigenfoo.xyz)
2020-7-28 17:54
在使用深度学习模型时，浮点格式并不是最有魅力的，或者(坦率地说)不是最重要的考虑因素：如果您的模型不能很好地工作，那么您的浮点格式肯定不会拯救您！但是，过去一定的模型复杂性/模型大小/培训时间，您选择的离散点格式可能会对您的模型培训时间甚至性能产生重大影响。
众所周知，深度神经网络可以容忍较低的数值精度。事实证明，高......
I built a deep learning-powered emoji Slackbot(towardsdatascience.com)
2020-7-24 4:10
当我在加州大学伯克利分校(UC Berkeley)完成计算机系统博士论文时，我经常想知道人工智能世界的生活是什么样子。我的人工智能朋友们不断吹嘘深度学习将如何彻底改变从医学到网购的一切-他们的论文一发布就获得了100个引文(见鬼！)。但我一直在想，他们实际上是如何使用人工智能来解决真正的问题的。
与此同时，我最近注意......
Deep learning to translate between programming languages(ai.facebook.com)
2020-7-23 0:10處理這個邀請時發生問題，我們正盡快修復.
2020-7-19 12:1
我们正在接近深度学习的计算极限。这是根据麻省理工学院、麻省理工学院-IBM沃森人工智能实验室、安德伍德国际学院和巴西利亚大学的研究人员得出的结论，他们在最近的一项研究中发现，深度学习的进展一直“强烈依赖”计算机的增加。他们断言，持续的进步将需要“戏剧性地”提高计算效率的深度学习方法，要么是通过改变现有的技术，要么是通......
The Computational Limits of Deep Learning(arxiv.org)
2020-7-18 7:35下载PDF摘要：深度学习的近代史取得了成就：从在围棋中战胜人类，到在图像识别、语音识别、翻译和其他任务中取得世界领先的表现。但这一进步伴随着对计算能力的贪婪胃口。本文报告了深度学习应用程序在五个重要应用领域的计算需求，并表明所有这五个领域的进步都强烈依赖于计算能力的提高。向前推算这种依赖表明，沿着当前路线取得的进步在......
TensorFlow, Keras and deep learning, without a PhD(codelabs.developers.google.com)
2020-7-17 15:44在本代码实验室中，您将学习如何构建和训练识别手写数字的神经网络。在此过程中，当您增强您的神经网络以达到99%的准确率时，您还将发现深度学习专业人员用来高效训练其模型的行业工具。
这个代码室使用的是MNIST数据集，这是一个由6万个标记数字组成的集合，已经让几代博士忙碌了近20年。只需不到100行Python/Tens......
2020-7-16 18:31
下载PDF摘要：针对不同应用程序的基于深度学习的方法已显示出易受敌意示例攻击。这些例子使得在安全关键任务中部署此类模型成为问题。深度神经网络作为反问题解算器的使用引起了包括CT和MRI在内的医学成像的极大兴奋，但最近也有类似的漏洞被证明适用于这些任务。指出对于这类逆问题的求解，不能像以往的工作那样在信号空间进行分析和......
Synthetic Data for Deep Learning (2019)(arxiv.org)
2020-7-4 7:32下载PDF摘要：合成数据是一种越来越受欢迎的工具，用于训练深度学习模型，特别是在计算机视觉方面，但也在其他领域。在这项工作中，我们试图对合成数据的发展和应用的各个方向进行全面的综述。首先，我们讨论了基本计算机视觉问题的合成数据集，包括低级(例如光流估计)和高层(例如语义分割)，室外和城市场景的合成环境和数据集(自动驾......
Synthetic Data for Deep Learning(arxiv.org)
2020-7-2 23:8下载PDF摘要：合成数据是一种越来越受欢迎的工具，用于训练深度学习模型，特别是在计算机视觉方面，但也在其他领域。在这项工作中，我们试图对合成数据的发展和应用的各个方向进行全面的综述。首先，我们讨论了基本计算机视觉问题的合成数据集，包括低级(例如光流估计)和高层(例如语义分割)，室外和城市场景的合成环境和数据集(自动驾......
Deep Learning – The “Why” Question(blog.piekniewski.info)
2020-6-28 8:50
有很多很多深度学习模型在做各种各样的事情。根据它们要解决的确切任务，它们的结构可能会有所不同。有些将使用卷积，然后使用池化。有些会在有任何汇聚层之前使用几个卷积层。有些将使用最大池。一些人将使用平均数合并。有些学校还会增加辍学的部分。有些会在这里和那里有一个批处理规范层。一些人将使用乙状窦神经元，一些人将使用半朗诵。......
Deep Learning from Scratch Part 3: Generalizing Gradient Descent(jdridgeway.com)
2020-6-23 1:53
注：作为亚马逊会员，我从合格购买中赚取收入。我通过这个帖子中的链接获得购买佣金。请单击此处查看更完整的免责声明。
另一个注意事项：本系列假设您了解一些初中/高中数学(实际上仅仅是代数)，以便最大限度地利用这些部分。
虽然下面的注释是我对渐变下降的普遍看法，但我正在关注一本更详细的书，因为我试图展示我所学到的更高水平的......
2020-6-22 2:49
一款将您的日常工作应用程序融合为一体的新工具。它是您和您的团队的一体化工作区
2020-6-21 3:55
今天，正如“自然·机器智能”(Nature Machine Intelligence)所报道的那样，我和我的同事们展示了一种深度学习的新方法，这种方法结合了生物启发的神经动力学，并实现了记忆中的加速，使其更接近人脑的工作方式。研究结果表明，人工智能(AI)中的应用程序将广泛采用更具生物真实性的深度学习。
放电神经网络......
Neural Magic: startup making deep learning possible without specialized hardware(www.technologyreview.com)
2020-6-19 2:39
让尼尔·沙维特(Nir Shavit)创办公司的发现与大多数发现的方式一样：偶然。这位麻省理工学院教授正在进行一个重建老鼠大脑地图的项目，他需要一些深度学习的帮助。由于不知道如何对图形卡(GPU)进行编程，这是深度学习模型最常见的硬件选择，他转而选择了中央处理器(CPU)，这是任何普通笔记本电脑中最通用的计算机芯片。......
Matrix Calculus for Deeplearning Part2(kirankamath.netlify.app)
2020-5-30 14:41我们不能仅使用我们在博客第1部分中看到的基本矩阵演算规则来计算非常复杂函数的偏导数。例如，我们不能直接求出像sum(w+x)这样的嵌套表达式的导数，而不将其简化为它的标量等价物。我们需要能够使用向量链规则组合我们的基本向量规则。
当我们需要由嵌套子表达式组成的表达式的派生时，链规则就开始发挥作用。链式规则通过将复杂的......