全国新增新冠肺炎1459例累计确诊5974例死亡132例

1月28日0-24时,31个省(区、市)报告新增确诊病例1459例,新增重症病例263例,新增死亡病例26例(湖北省25例、河南省1例),新增治愈出院病例43例,新增疑似病例3248例(包括西藏1例)。

截至1月28日24时,国家卫生健康委收到31个省(区、市)累计报告确诊病例5974例,现有重症病例1239例,累计死亡病例132例,累计治愈出院103例。现有疑似病例9239例。

具有Transformer架构的语言生成模型可以预测下一个单词。它们可用于编写故事,以完整的句子生成答案以及总结文本。

来自AI领域的专家告诉VentureBeat,2019年是NLP模型开创性的一年——使用Transformer架构无疑是2019年最大的机器学习趋势之一,这导致了语言生成领域和GLUE基准测试领导者的进步,Facebook的RoBERTa、谷歌的XLNet和微软的MT-DNN都纷纷加入到各类基准测试榜首的争夺当中。

而此次微软所分享的模型,T-NLG的参数为170亿个,是英伟达的Megatron(现在是第二大Transformer模型)的两倍,其参数是OpenAI的GPT-2的十倍。微软表示,T-NLG在各种语言建模基准上均优于最新技术,并在应用于许多实际任务(包括总结和问题解答)时表现出色。

微软AI研究应用科学家Corby Rosset在博客文章中写道:“除了通过汇总文档和电子邮件来节省用户时间之外,T-NLG还可以通过为作者提供写作帮助,并回答读者可能对文档提出的问题,由此来增强Microsoft Office套件的使用体验。” 

微软表示,DeepSpeed和ZeRO使得他们能够降低模型并行度(从16降低到4),将每个节点的批处理大小增加四倍,并将训练时间减少了三分之二;DeepSpeed使用更少的GPU可以使大型模型的训练效率更高。

累计收到港澳台地区通报确诊病例:香港特别行政区8例,澳门特别行政区7例,台湾地区8例。

DeepSpeed包含零冗余优化器(ZeRO),用于大规模训练具有1亿个或更多参数的模型,微软过去曾用它训练T-NLG。

同样是在今天,微软还开源了一个名为DeepSpeed的深度学习库。该学习库已针对开发人员进行了优化,以提供低延迟、高吞吐量的推理。

目前累计追踪到密切接触者65537人,当日解除医学观察1604人,现有59990人正在接受医学观察。

微软表示,他们的目标是在任何情况下都能够像人类一样直接,准确,流畅地做出响应:以前,问题解答和摘要系统依赖于从文档中提取现有内容,这些内容可以作为备用答案或摘要,但它们通常看起来不自然或不连贯。使用T-NLG这样的自然语言生成模型,可以自然地总结或回答有关个人文档或电子邮件主题的问题。

不过,像Google的Meena一样,最初使用GPT-2,T-NLG最初只能在私人演示中共享。

开发人员和机器学习从业人员都可以使用DeepSpeed和ZeRO,因为培训大型网络(例如利用Transformer架构的网络)可能会很昂贵,并且可能会遇到大规模问题。

去年8月,英伟达曾宣布已训练世界上最大的基于Transformer的语言模型,当时该模型使用了83亿个参数,比BERT大24倍,比OpenAI的GPT-2大5倍。

雷锋网原创文章,。详情见转载须知。

基于Transformer的架构,意味着该模型可以生成单词来完成开放式文本任务。除了完成未完成的句子外,它还可以生成对输入文档的问题和摘要的直接答案。

RELATED POST

谁偷了自行车班克西作品“摇轮胎的女孩”遭破坏(图)

中新网11月23日电 据英国广播公司(B…

调研称超九成培训机构面临经营困难在线教育也不轻松

(原标题:调研称超九成培训机构面临经营困…

广西银保监局赵汝林涉受贿被公诉被批搞权色交易

2月21日消息,广西百色市人民检察院今日…

当心!澳大利亚又一款牛奶被紧急召回恐染大肠杆菌

中新网2月14日电 据澳洲新快网报道,由…