文章浏览阅读5.2k次，点赞5次，收藏70次。一、文本处理流程 文本清洗：html标签与转义字符、多余空格、根据需要清除邮箱、账号、网址、手机号、作者信息等信息 预处理：去除停用词、加载自定义词库（实体词库、垂直领域词库）、分词 特征提取：关键词、实体词 建模：文本分类、文本聚类、情感分析、标签提取 优化：停用词库与自定义词库清洗与丰富、文本标签清洗、模型调整 效果评估：满足线上使用要求，准确率、速度，上线部署 二、NLP算法1、TF-IDF1）原理：词频-逆文档频率；一种用于信息检索_nlp原理