Repository files navigation

NLP 领域常见任务的实现，包括新词发现、以及基于pytorch的词向量、中文文本分类、实体识别、文本生成、句子相似度判断、三元组抽取、预训练模型等。

python 3.7pytorch 1.8.0torchtext 0.9.1optuna 2.6.0transformers 3.0.2

• 0-1.New Words Discovery

• 1-1.Word2Vec(Skip-gram)
• 1-2.Glove

• 2-1.TextCNN
• 2-2.FastText
• 2-3.TextRCNN
• 2-4.TextRNN_Att
• 2-5.DPCNN
• 2-6.XGBoost
• 2-7.Distill_& fine tune Bert
• 2-8.Pattern-Exploiting-Training 利用MLM做文本分类
• 2-9.R-Drop

数据集(data文件夹)： 二分类舆情数据集，划分如下：

• 3-1.Bert-MRC
• 3-2.Bert-CRF
• 3-3.Bert-Label-Semantics
• 3-4.Bert-MLM

• 4-1.Seq2seq 模型
• 4-2.Seq2seq 模型+注意力机制
• 4-3.Transformer 模型
• 4-4.GPT 摘要生成
• 4-5.Bert-seq2seq

• 4-6.Bert-extractive-summarizer

• 5-1.Sentence-Similarity

• 6-1.MultiLabel-Classification

• 7-1.Relation-Extraction

• 8-1.Pretrained-Language-Model

• 9-1.P-tuning V1

该文件夹记录一些paper及其所对应的模型代码:

• 10.1.Co-Interactive-Transformer
• 10.2.Lattice_LSTM

该文件夹内记录机器学习/深度学习一些知识点的简单总结。