• Home
  • About
    • Notzuonotdied photo

      Notzuonotdied

      总有一天,走过的路上定是百花齐放,因为汗水是不会骗人的!

    • Learn More
  • Posts
    • All Posts
    • All Tags
  • Blogroll
    • Notzuonotdied photo

      Blogroll

      海内存知己,天涯若比邻。

      DingBlog EdmondFrank's 时光足迹 wen-tao.com 实验室算法博客
  • Projects
  • Tips

数学之美(吴军)

17 Aug 2017

Reading time ~1 minute

Hits:

几年前,“数学之美”系列文章原刊载于谷歌黑板报,获得上百万次点击,得到读者高度评价。 正式出版前,吴军博士几乎把所有文章都重写了一遍,为的是把高深的数学原理讲得更加通俗易懂,让非专业读者也能领略数学的魅力。

《数学之美(吴军)》

书籍中推荐的内容

  • 梁南元——书面汉语自动分词系统
  • 郭 进——统计语言模型和汉语音字转换的一些新结果
  • 郭 进——Critical Tokenization and its Properties
  • 孙茂松——Chinese word segmentation without using lexicon and hand-crafted training data

书摘

  • 那么怎么根据接收到的信息来推测说话者想表达的意思呢?我们可以利用叫做”隐含马尔可夫模型“(Hidden Markov Model)来解决这些问题。
  • 《语信息熵和语言模型的复杂度》
  • 对信息论有兴趣又有一定数学基础的读者,可以阅读斯坦福大学托马斯.科弗 (Thomas Cover) 教授的专著 “信息论基础”(Elements of Information Theory)
  • 信息指纹
  • 在网络搜索的研发中,我们在前面提到的单文本词频/逆文本频率指数(TF/IDF) 和网页排名(page rank)都相当于是网络搜索中的”椭圆模型”,它们都很简单易懂。
  • 信息处理的很多数学手段,包括隐含马尔可夫模型、子波变换、贝叶斯网络等等,在华尔街多有直接的应用。由此可见,数学模型的作用。 自从有了搜索引擎,就有了针对搜索引擎网页排名的作弊(SPAM)。
  • 维特比算法
  • LDC 语料库

最大熵模型

  • 最大熵模型的计算量仍然是个拦路虎。我在学校时花了很长时间考虑如何简化最大熵模型的计算量。终于有一天,我对我的导师说,我发现一种数学变换,可以将大部分最大熵模型的训练时间在 IIS 的基础上减少两个数量级。我在黑板上推导了一个多小时,他没有找出我的推导中的任何破绽,接着他又回去想了两天,然后告诉我我的算法是对的。从此,我们就建造了一些很大的最大熵模型。这些模型比修修补补的凑合的方法好不少。即使在我找到了快速训练算法以后,为了训练一个包含上下文信息,主题信息和语法信息的文法模型(language model),我并行使用了 20 台当时最快的 SUN 工作站,仍然计算了三个月。由此可见最大熵模型的复杂的一面。最大熵模型快速算法的实现很复杂,到今天为止,世界上能有效实现这些算法的人也不到一百人。有兴趣实现一个最大熵模型的读者可以阅读我的论文。

布隆过滤器

  • 布隆过滤器是由巴顿.布隆于一九七零年提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。我们通过上面的例子来说明起工作原理。


数学人工智能机器学习 Share Tweet +1