面试
微信小程序
devops
网络技术
深度信息
端口号概念
静态
SpringMVC的常见注解
LED
网站安全防护
YOLOX
sass
次世代建模
光纤传感器
翻译
ai
开发者搜索
homeassistant
志愿服务
子序列
lda
2024/4/12 9:44:13
pandas教程：Data Aggregation 数据聚合
文章目录 10.2 Data Aggregation（数据聚合）1 Column-Wise and Multiple Function Application（列对列和多函数应用）2 Returning Aggregated Data Without Row Indexes（不使用行索引返回聚合数据） 10.2 Data…
基于TF-IDF+TensorFlow+词云+LDA 新闻自动文摘推荐系统—深度学习算法应用（含ipynb源码）+训练数据集
目录 前言总体设计系统整体结构图系统流程图 运行环境Python 环境TensorFlow环境方法一方法二 模块实现1. 数据预处理1）导入数据2）数据清洗3）统计词频 2. 词云构建3. 关键词提取4. 语音播报5. LDA主题模型6. 模型构建 系统测试工程源代码下载…
LDA主题模型Python实现
如果你有一个文本文件，那么以下这段代码可以帮助你实现LDA主题模型。
import jieba# from nltk.corpus import stopwords
import pyLDAvis.gensim_models
import wordcloud
from gensim.models.coherencemodel import CoherenceModel
from gensim.models.ldamodel …
主题模型LDA教程：一致性得分coherence score方法对比（umass、c_v、uci）
文章目录 主题建模潜在迪利克雷分配（LDA）一致性得分 coherence score1. CV 一致性得分2. UMass 一致性得分3. UCI 一致性得分4. Word2vec 一致性得分5. 选择最佳一致性得分 主题建模
主题建模是一种机器学习和自然语言处理技术，用于确定文档…
pandas教程：GroupBy Mechanics 分组机制
文章目录 Chapter 10 Data Aggregation and Group Operations（数据汇总和组操作）10.1 GroupBy Mechanics（分组机制）1 Iterating Over Groups（对组进行迭代）2 Selecting a Column or Subset of Columns (选中…
【人工智能Ⅰ】8-回归 降维
【人工智能Ⅰ】8-回归 & 降维
8-1 模型评价指标
分类任务
准确率、精确率与召回率、F值、ROC-AUC、混淆矩阵、TPR与FPR
回归任务
MSE、MAE、RMSE
无监督任务（聚类）
兰德指数、互信息、轮廓系数
回归任务的评价指标
1：MSE均方误差…
关于gensim库中lda主题模型困惑度和一致性python图像绘制
关于gensim库中lda主题模型困惑度和一致性python图像绘制 第三方库使用: matplotlib 前期准备 函数参数解释 num_topics： 主题数量 corpus： 处理过的文档语料 texts：二维列表(源代码存储的是中文分词) dictionary：对应词典 import…
LDA——从概率的角度去看文学
是自生自灭，还是概率使然。 如果说上帝有数不尽的骰子，而人类现有的语言文字只是部分骰子的骰面(毕竟可能有其他外星文明，对应地球的语言只是部分骰子)，当上帝添加新的骰子或者骰面的时候，新的语言文字就诞生了。
那…
pandas教程：Date and Time Data Types and Tools 日期和时间数据类型及其工具
文章目录 Chapter 11 Time Series（时间序列）11.1 Date and Time Data Types and Tools（日期和时间数据类型及其工具）1 Converting Between String and Datetime（字符串与时间的转换） Chapter 11 Time Serie…
gensim 基本使用
gensim构建LDA模型
见文章： 【基础】文本处理总结 pythonNLP-文本相似度计算实验汇总
gensim使用细节
加载保存的lda模型
def load_lda(model_path):lda_model models.LdaModel.load(model_path)dictionary corpora.Dictionary.load(model_path ".dic…
葫芦书笔记----降维
降维
降维可以提升特征表达能力，降低训练复杂度。
PCA最大方差理论
如何定义主成分？从这种定义出发，如何设计目标函数使得降维达到提取主成分的目的？针对这个目标函数，如何对PCA问题进行求解？
速记&…
9.2 Plotting with pandas and seaborn（用pandas和seaborn绘图）
9.2 Plotting with pandas and seaborn（用pandas和seaborn绘图）
matplotlib是一个相对底层的工具。pandas自身有内建的可视化工具。另一个库seaborn则是用来做一些统计图形。 导入seaborn会改变matplotlib默认的颜色和绘图样式，提高可读性和美感。即使不适用seaborn的API，…
pandas教程：Resampling and Frequency Conversion 重采样和频度转换
文章目录 11.6 Resampling and Frequency Conversion（重采样和频度转换）1 Downsampling（降采样）Open-High-Low-Close (OHLC) resampling（股价图重取样） 2 Upsampling and Interpolation（增采样和…
pandas教程：Introduction to statsmodels statsmodels简介
文章目录 13.3 Introduction to statsmodels（statsmodels简介）1 Estimating Linear Models（估计线性模型）2 Estimating Time Series Processes（预测时序过程） 13.3 Introduction to statsmodels（…
主题模型LDA教程：LDA主题数选取：困惑度preplexing
文章目录 LDA主题数困惑度 LDA主题数
LDA作为一种无监督学习方法，类似于k-means聚类算法，需要给定超参数主题数K，但如何评价主题数的优劣并无定论，一般采取人为干预、主题困惑度preplexing和主题一致性得分coherence score&#…
线性判别分析LDA原理(待补充)
1.线性判别分析概述
线性判别分析(LDA)是一种经典的线性学习方法，在二分类问题上最早由Fisher提出，亦称“Fisher判别分析”。LDA在模式识别领域中由非常广泛的应用。
LDA的思想非常朴素：给定训练样例集，设法将样例投影到一条直线…
pandas教程：Date Ranges, Frequencies, and Shifting 日期范围，频度，和位移
文章目录 11.3 Date Ranges, Frequencies, and Shifting（日期范围，频度，和位移）1 Generating Date Ranges（生成日期范围）2 Frequencies and Date Offsets（频度和日期偏移）Week of mo…
主题模型（4）——LDA模型及其Gibbs Sample求解
之前关于主题模型整理了《文本建模之Unigram Model，PLSA与LDA》与《再看LDA主题模型》两篇博客，以及针对PLSA的求解整理了博客《主题模型（3）——PLSA模型及其EM算法求解》，这一篇博客将继续整理LDA（Latent …
线性判别分析（Linear Discriminant Analysis，LDA）
Linear Discriminant Analysis（LDA）
输入： 原始数据$D((x_1,y_1),(x_2,y_2),...,(x_m,y_m)$ 、 类别标签$Y[y_1,y_2,...,y_n]$、 降维到的维度d输出：
投影矩阵W、投影后的样本$Z$、算法步骤：
1.计算类内散度…
主题模型LDA教程：n-gram N元模型和nltk应用
文章目录 N-Gram 模型原理概率估计 nltk使用n-gram N-Gram 模型
N-Gram（N元模型）是自然语言处理中一个非常重要的概念。N-gram模型也是一种语言模型，是一种生成式模型。
假定文本中的每个词 w i w_{i} wi和前面 N − 1 N-1 N−1 个词有…
概率语言模型及其变形系列(5)-LDA Gibbs Sampling 的JAVA实现
本系列博文介绍常见概率语言模型及其变形模型，主要总结PLSA、LDA及LDA的变形模型及参数Inference方法。初步计划内容如下第一篇：PLSA及EM算法
第二篇：LDA及Gibbs Samping
第三篇：LDA变形模型-Twitter LDA，TimeUserLDA&…
《学术小白学习之路15》英文文本的LDA主题建模与预测
《学术小白学习之路15》英文文本的LDA主题建模与预测 一、数据二、英文分词三、向量化四、一致性和困惑度得分五、LDA建模分析六、模型预测七、完整代码一、数据
gensim版本是gensim-3.8.3，根据自己系统要求以及pyhton版本选择合适的版本，强调一下最好使用3.8.3版本，不然会…
python爬虫教程：selenium常用API用法和浏览器控制
文章目录 selenium apiwebdriver常用APIwebelement常用API 控制浏览器 selenium api
selenium新版本(4.8.2)很多函数，包括元素定位、很多API方法均发生变化，本文记录以selenium4.8.2为准。
webdriver常用API
方法描述get(String url)访问目标url地址&…
自然语言处理从小白到大白系列（1）Word Embedding之主题模型
一直想开启一个专题来整理一下NLP的相关内容，总算克服懒癌着手开始干了。如果同学有缘看到这篇，恭喜你，这是本系列（自然语言处理从小白到大白系列）的第一篇，后续会不断更新，欢迎关注！…