几年前,“数学之美”系列文章原刊载于谷歌黑板报,获得上百万次点击,得到读者高度评价。 正式出版前,吴军博士几乎把所有文章都重写了一遍,为的是把高深的数学原理讲得更加通俗易懂,让非专业读者也能领略数学的魅力。
《数学之美(吴军)》
书籍中推荐的内容
- 梁南元——书面汉语自动分词系统
- 郭 进——统计语言模型和汉语音字转换的一些新结果
- 郭 进——Critical Tokenization and its Properties
- 孙茂松——Chinese word segmentation without using lexicon and hand-crafted training data
书摘
- 那么怎么根据接收到的信息来推测说话者想表达的意思呢?我们可以利用叫做”隐含马尔可夫模型“(Hidden Markov Model)来解决这些问题。
- 《语信息熵和语言模型的复杂度》
- 对信息论有兴趣又有一定数学基础的读者,可以阅读斯坦福大学托马斯.科弗 (Thomas Cover) 教授的专著 “信息论基础”(Elements of Information Theory)
- 信息指纹
- 在网络搜索的研发中,我们在前面提到的单文本词频/逆文本频率指数(TF/IDF) 和网页排名(page rank)都相当于是网络搜索中的”椭圆模型”,它们都很简单易懂。
- 信息处理的很多数学手段,包括隐含马尔可夫模型、子波变换、贝叶斯网络等等,在华尔街多有直接的应用。由此可见,数学模型的作用。 自从有了搜索引擎,就有了针对搜索引擎网页排名的作弊(SPAM)。
- 维特比算法
- LDC 语料库
最大熵模型
- 最大熵模型的计算量仍然是个拦路虎。我在学校时花了很长时间考虑如何简化最大熵模型的计算量。终于有一天,我对我的导师说,我发现一种数学变换,可以将大部分最大熵模型的训练时间在 IIS 的基础上减少两个数量级。我在黑板上推导了一个多小时,他没有找出我的推导中的任何破绽,接着他又回去想了两天,然后告诉我我的算法是对的。从此,我们就建造了一些很大的最大熵模型。这些模型比修修补补的凑合的方法好不少。即使在我找到了快速训练算法以后,为了训练一个包含上下文信息,主题信息和语法信息的文法模型(language model),我并行使用了 20 台当时最快的 SUN 工作站,仍然计算了三个月。由此可见最大熵模型的复杂的一面。最大熵模型快速算法的实现很复杂,到今天为止,世界上能有效实现这些算法的人也不到一百人。有兴趣实现一个最大熵模型的读者可以阅读我的论文。
布隆过滤器
- 布隆过滤器是由巴顿.布隆于一九七零年提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。我们通过上面的例子来说明起工作原理。