#自然语言处理#Unilm是一个跨任务、语言和模式的大规模自监督预训练模型
Unilm for Chinese Chitchat Robot.基于Unilm模型的夸夸式闲聊机器人项目。
中文版unilm预训练模型
使用UniLM实现中文文本摘要
Tensorflow 1.14 for Bert, Bert UniLM, ALBert
本仓库是基于bert4keras实现的古文-现代文翻译模型。具体使用了基于掩码自注意力机制的UNILM(Li al., 2019)预训练模型作为翻译系统的backbone。我们首先使用了普通的中文(现代文)BERT、Roberta权重作为UNILM的初始权重以训练UNILM模型(具体在文中分别为B-UNILM以及R-UNILM)。为了更好的使UNILM模型适应古文的特性,我们尝试使用了在古文预训练...
NLP project, based on Bert/UNILM
pytorch实现 Bert 做seq2seq任务,使用unilm方案,现在也可以做自动摘要,文本分类,情感分析,NER,词性标注等任务,支持t5模型,支持GPT2进行文章续写。
问答摘要/seq2seq/PGN/Bert_sum/UniLM
分别使用TextRank、BiLSTM和UniLM实现中文文章标题自动生成
使用BERT和UNILM的Mask方式搭建Seq2Seq模型,用来做新闻的标题自动生成任务。
本项目使用云问科技训练的中文版UniLM模型对微博数据集进行自动标题生成。