首页 → 计算机应用
   首页 → 数学
0


稀疏自适应狄利希多项式过程

Sparse Adaptive Dirichlet-Multinomial-like Processes
课程网址: http://videolectures.net/colt2013_lattimore_sparse/  
主讲教师: Tor Lattimore
开课单位: 深心科技有限公司
开课时间: 2013-08-09
课程语种: 英语
中文简介:
在机器学习、信息论、数据压缩、统计语言处理和文档分析中，对于大的或复杂的“字母”短序列的i.i.d.数据的在线估计和建模是一个普遍存在的(子)问题。摘要dirichlet -多项分布(又称Polya urn模式)及其扩展被广泛应用于在线身份识别估计。然而，在这种情况下很难对参数做出好的先验选择。通过一个相关模型的紧密的、依赖于数据的冗余边界，推导出主参数的最优自适应选择。1行建议将“总质量”=“精度”=“浓度”参数设为m/[2lnn+1m]，其中n为(过去)样本量，m为(到目前为止)观测到的不同符号个数。结果估计器简单、在线、快速，并且实验性能极佳。
课程简介: Online estimation and modelling of i.i.d. data for shortsequences over large or complex “alphabets” is a ubiquitous (sub)problem in machine learning, information theory, data compression, statistical language processing, and document analysis. The Dirichlet-Multinomial distribution (also called Polya urn scheme) and extensions thereof are widely applied for online i.i.d. estimation. Good a-priori choices for the parameters in this regime are difficult to obtain though. I derive an optimal adaptive choice for the main parameter via tight, data-dependent redundancy bounds for a related model. The 1-line recommendation is to set the ’total mass’ = ’precision’ = ’concentration’ parameter to m/[2lnn+1m], where n is the (past) sample size and m the number of different symbols observed (so far). The resulting estimator is simple, online, fast,and experimental performance is superb.
关 键 词: 机器学习; 信息论; 数据压缩; 统计语言处理; 文档分析; 在线估计数据; 数据建模; 识别估计; 冗余边界问题; 最优自适应选择
课程来源: 视频讲座网
最后编审: 2019-10-17：cwx
阅读次数: 49

纠错/补充/评论/留言
评论/留言 纠错/补充
验证算术题： 1 + 6 =