“飞浆”就是提供了一个深入学习的平台。深度学习框架承上启下,下接芯片、大型计算机系统,上承各种业务模型、行业应用,是智能时代的操作系统。并且,深度学习技术已经具备了很强的通用性,正在推动人工智能进入工业大生产阶段,呈现出标准化、自动化和模块化的特点。
百度深度学习技术平台部总监马艳军也在会上首次对外公布了PaddlePaddle全景图,而PaddlePaddle的中文名被百度敲定为“飞浆”。集核心框架、工具组件和服务平台为一体的端到端开源深度学习平台,囊括支持面向真实场景应用、达到工业级应用效果的模型,针对大规模数据场景的分布式训练能力、支持多种异构硬件的高速推理引擎等。
“飞浆”对NLP还是比较重视的,现代 NLP 领域的一个核心便是语言模型 ,可以说它无处不在,一方面它给 NLP 发展带来巨大推动,是多个领域的关键部分,但另一方面,成也萧何败也萧何,语言模型其实也限制了 NLP 发展,比如说在创新性生成式任务上,还有如何用语言模型获得双向信息。
神经网络的灵感来自于人体大脑结构,人在思考问题的时候,神经冲动就会在神经突触所连接的无数神经元中传递.据说成人大脑中有1000亿个神经元,比宇宙中星球的数量还多.我们的神经网络就是模拟用很多的节点来处理信息,不过神经网络和大脑还是有区别的,因为大脑的神经冲动传导的过程中不仅仅只有”是”和”非”,还有强弱,缓急之分.
第一,语言模型任务在 NLP 领域很重要,想首先介绍一下;
第二,Bengio 这篇神经网络语言模型的论文非常经典,比如说提出了用神经网络实现语言模型,同时还最早提出词表示来解决“维数灾难”问题,通过复现,也好引出之后词向量,还有seq2seq 等话题;
第三,通过用 飞桨来实现这样一个简单例子,可以抛开各种模型与数据复杂度,更直观了解一个飞桨程序是如何构建的,也为之后讲解飞桨更复杂程序打下基础。
可能人们的生活会更加方便
这样的项目基本上就是在烧钱,小家小户玩不起,于是就傻傻地等着大佬们发出论文,放出代码,刷新榜单。不过这也意味着一个总结的好机会,加上额外的推动,便重新起了念头。
NLP 领域因为超大预训练模型,很多研究需要耗费大量计算资源(比如百度新发布持续学习语义理解框架 ERNIE 2.0,该模型在共计 16 个中英文任务上超越了 BERT 和 XLNet,取得了 SOTA 效果