• Home
  • About
    • Notzuonotdied photo

      Notzuonotdied

      总有一天，走过的路上定是百花齐放，因为汗水是不会骗人的！

    • Learn More
  • Posts
    • All Posts
    • All Tags
  • Blogroll
    • Notzuonotdied photo

      Blogroll

      海内存知己，天涯若比邻。

      DingBlog EdmondFrank's 时光足迹 wen-tao.com 实验室算法博客
  • Projects
  • Tips

终极算法：机器学习和人工智能如何重塑世界附录

10 Dec 2017

Reading time ~12 minutes

Hits:

主要是《终极算法：机器学习和人工智能如何重塑世界》的附录的内容。仅仅作为备份用。

第一章

  • John MacCormick写的Nine Algorithms That Changed the Future（Princeton University Press, 2012）一书介绍了在计算机科学中一些最重要的算法，其中有一章是关于机器学习的。
  • Sanjoy Dasgupta、Christos Papadimitriou和Umesh Vazirani写的Algotithms（McGraw–Hill, 2008）一书是介绍该主题的简明教材。 Danny Hillis写的The Pattern on the Stone（Basic Books, 1998）解释了计算机如何运转。
  • Walter Isaacson在The Innovators（Simon & Schuster, 2014）一书中生动描述了计算机科学的历史。
  • SumitGulwani、William Harris和Rishabh Singh写的“Spreadsheet data manipulation using examples”（Communications of the ACM , 2012）一文就是一个例子，体现了计算机如何通过观察用户来进行自我编程。
  • Tom Davenport和Jeanne Harris的Competing on Analytics （HBS Press, 2007）一书介绍了在商务领域如何使用预测分析。
  • Steven Levy在In the Plex（Simon & Schuster, 2011）一书中高水平地介绍了谷歌技术如何起作用。Carl Shapiro和Hal Varian在Information Rules （HBS Press, 1999）一书中解释了网络的影响。
  • Chris Anderso在The Long Tail（Hyperion, 2016）一书中介绍了长尾现象。
  • 由Tony Hey、Stewart Tansley、Kristin Tolle主编的The Fourth Paradigm（Microsoft Research, 2009）一书探索了通过数据密集型运算来实现科学转型。
  • James Evans和Andrey Rzhetsky在“*Machine Science *”（Science , 2010）一文中讨论了一些计算机做出科学发现的不同方法。
  • Pat Langley等人写的Scientific Discovery: Computational Explorations of the Creative Processes（MIT Press, 1987）一书介绍了自动发现科学规律的一系列方法。
  • Usama Fayyad、George Djorgovski和Nicholas Weir在“From Digitized Images to Online Catalogs”（AI Magazine ，1996）一文中介绍了SKICAT项目。
  • Niki Wale的Machine Learning in Drug Discovery and Development（Drug Development Research , 2001）一文正好对这个问题进行了概述。
  • Ross King等人写的The Automation of Science（Science , 2009）一文介绍了机器人科学家Adam。
  • SashaIssenberg的The Victory Lab （Broadway Books, 2012）一书仔细分析了在政治领域中数据分析的用途，他的How President Obama’s Campaign Used Big Data to Rally Individual Votes（MIT Technology Review ，2013）一文告诉读者迄今为止数据分析的最大功绩。
  • Nate Silver的The Signal and the Noise （Penguin Press, 2012）一书中的一章介绍了他集中民意的方法。
  • P. W. Singer的Wired for War （Penguin, 2009）一书主要介绍了机器人战争。
  • Richard Clarke和Robert Knake的Cyber War（Ecco, 2012）一书敲响了互联网战争的警钟。我将机器学习与博弈论结合打败对手，这个观点开始是以课题的形式呈现，后来在Nilesh Dalvi等人的Adversarial Classification（Proceedings of the Tenth International Conference on Knowledge Discovery and Data Mining , 2004）上进行了介绍。
  • Walter Perry等人的Predictive Policing （Rand, 2013）引导人们如何在警察工作中使用解析学。

第二章

  • Laurie von Melchner、Sarah Pallas和Mriganka Sur的Visual Behaviour Mediated by Retinal Projections Directed to the Auditory Pathway（Nature , 2000）一文介绍了雪貂大脑重新布线的实验。
  • Joanna Moorhead的Seeing with Sound （Guardian , 2007）和www.benunderwood.com这个网站介绍了Ben Underwood的故事。
  • Otto Creutzfeldt在Generality of the Functional Structure of the Neocortex（Naturwissenschaften , 1977）一文中表明皮质是一种算法。
  • Vernon Mountcastle在“An Organizing Principle for Cerebral Function: The Unit Model and the Distributed System”一文中也做了同样的阐述，这篇文章收录在Gerald Edelman和Vernon Mountcastle编辑的The Mindful Brain（MIT Press, 1978）一书中。
  • Gary Marcus、Adam Marblestone和Tom Dean在The Atoms of Neural Computation（Science , 2014）中提出反对意见。
  • Alon Halevy、Peter Norvig和Fernando Pereira在The Unreasonable Effectiveness of Data（IEEE Intelligent Systems , 2009）中赞成机器学习是新的发现范式。
  • Benoit Mandelbrot在同名书（Freeman, 1982）中探索大自然中的分形几何。
  • James Gleick的Chaos （Viking, 1987）一书讨论并描述了曼德布洛特集合。
  • Edward Frenkel的Love and Math （Basic Books, 2014）一书介绍了朗兰兹纲领，这是一个尝试将数学的不同子域联合起来的研究。
  • Lance Fortnow的The Golden Ticket （Princeton University Press,2013）一书介绍的是NP完全问题和P=NP问题。
  • Charles Petzold的*The Annotated Turing *（Wiley，2008）通过重新研究图灵最初关于图灵机器的论文来对图灵机器进行解释。
  • Douglas Lenat等人著的“Cyc: Toward programs with common sense”（Communication of the ACM , 1990）一文就介绍了Cyc项目。
  • Peter Norvi在“On Chomsky and the Two Cultures of Statistical Learning”一文中讨论Noam Chomsky对于数字学习的批评。
  • Jerry Fodor的The Modularity of Mind （MIT Press, 1983）一书总结了他关于大脑如何运转的观点。
  • Leon Wieseltier的“What Big Data will Never Explain”（New Republic , 2013）和Andrew McAfee的“Pundits, Stop Sounding Ignorant about Data”（Harvard Business Review, 2013）中揭示了围绕大数据能做和不能做之间的矛盾。
  • Daniel Kahneman在Thinking, Fast and Slow（Farrar, Straus and Giroux, 2011）一书的第21章解释了算法为什么可以打败感官直觉。
  • David Patterson在“Computer Scientists May Have What it Takes to Help Cure Cancer”（New York Times , 2011）一文中证明了计算与数据在与癌症的斗争中所起的作用。
  • 更多学派关于如何获得主算法的观点在以下相应部分中会提到。

第三章

  • 休谟的归纳法经典公式出现在A Treatise of Human Nature（1739）的I卷中。因为“The Lack of a Priori distinctions between Learning Algorithms”（Neural Computation , 1996）一文中的归纳推理，David Wolpert得出了“天下没有免费的午餐”定理。
  • 我（作者）在“Toward Knowledge–Rich Data MJining”（Data Mining and Knowledge Discovery , 2007）一文中讨论先验知识在机器学习中的重要性，并在“The role of Occam’s razor in knowledge discovery”（Data Mining and Knowledge Discovery , 1999）一文中讨论了对奥卡姆剃刀理论的误读。
  • 在Nate Silver的The Signal and the Noise（Penguin Press, 2012）一书中，过拟合是其重要主题之一，他称之为“你绝对没有听过的最重要的科学问题”。
  • John Ioannidis的“Why most published research findings are false”（PLoS Medicine , 2005）一书讨论了在科学领域中，将巧合发现误以为是真发现的问题。
  • 在“Controlling the false rate: A practical and powerful approach to multiple testing”（Journal of the Royal Statistical Society , Series B, 1995）一文中，Yoav Benjamini和Yosef Hochberg提出了反对该观点的方法。
  • 在Stuart Geman、Elie Bienenstock和René Doursat的“Neural networks and the bias/variance dilemma”（Neural Computation , 1992）一文中展示了方差分解的过程。
  • Pat Langley的“Machine learning as an experimental science”（Machine Learning , 1998）一文讨论了机器学习中实验法的作用。
  • William Stanley Jevons在The Principles of Science （1874）一书中首次提出了将归纳法视作演绎法的反向。
  • Steve Muggleton和Wray Buntine的“Machine learning of first–order predicates by inverting resolution”（Proceedings of the Fifth International Conference on Machine Learning , 1988）一文首先提出在机器学习中使用逆演绎。
  • Saso Dzeroski和Nana Lavrac主编的书Relational Data Mining（Springer, 2001）介绍了归纳逻辑编程这个领域，这个领域研究的是逆演绎。
  • Peter Clark和Tim Niblett在“The CN2 Induction Algorithm”*（Machine Learning , 1989）一文中总结了主要的米夏莱克样式规则归纳算法。
  • Rakesh Agrawal和Ramakrishnan Srikant的“Fast algorithms for mining association rules”（Proceedings of the Twentieth International Conference on Very Large Databases , 1994）一文介绍了零售商使用的挖掘规则的方法。
  • Ashwin Srinivasan、Ross King、Stephen Muggleton和Michael Sternberg的“Carcinogenesis predictions using inductive logic programming”（Intelligent Data Analysis in Medicine and Pharmacology , 1997）一文介绍了规则归纳法用于预测癌症的例子。
  • J. Ross Quinlan的C4.5: Programs for Machine Learning （Morgan Kaufmann, 1992），以及Leo Breiman、Jerome Friedman、Richard Olshen和Charles Stone的Classification and Regression Trees（Chapman and Hall, 1984）两本书提出了两大主要的决策树学习算法。
  • Jamie Shotton等人的“Real–time human pose recognition in parts from single depth images”（Communications of the ACM , 2013）一文解释了微软的Kinect如何利用决策树来追踪玩家的动作。
  • Andrew Martin等人写的“Competing approaches to predicting Supreme Court decision making”（Perspective on Politics , 2004）一文介绍了决策树在预测最高法院投票中如何打败法律专家，并展示了大法官桑德拉·戴·奥康纳的决策树。
  • Allen Newell和Herbert Simon在“Computer science as empirical enquiry: Symbols and search”（Communications of the ACM , 1976）一文中提出假设，认为所有智能都是符号操纵。
  • David Marr在Vision（Freeman, 1982）一书中提出信息处理的三个层面。
  • Ryszard Michalski、Jaime Carbonell和Tom Mitchell主编的Machine Learning: An Artificial Intelligence Approach（Tioga, 1983）一书简单介绍了机器学习中象征主义研究的早期成果。
  • Paul Smolensky的“Connectionist AI, symbolic AI, and the brain”（Artificial Intelligence Revie , 1987）一文对符号论模型提出了联结主义的观点。

第四章

  • Sebastian Seung的Connectome（Houghton Mifflin Harcourt, 2012）一书对神经科学、神经联结组学、对大脑进行逆向工程的严峻挑战做了浅显易懂的介绍。
  • David Rumelhart、James McClelland主编的Parallel Distributed Processing（MIT Press, 1986）一书是20世纪80年代处于繁盛时期的联结主义的“圣经”。
  • James Anderson和Edward Rosenfeld编辑的Neurocomputing（MIT Press, 1988）一书整理了许多篇经典的联结主义论文。
    • McCulloch和Pitts的第一批神经模型；
    • Hebb的Hebb规则；
    • Rosenblatt的感知机；
    • Hopfield的Hopfield网络；
    • Ackley、Hinton和Sejnowski的玻尔兹曼机；
    • Sejnowski和Rosenberg的NETtalk；
    • Rumelhart、Hintonation和Williams的反向传播。
  • Yann LeCun、Léon Bottou、Genevieve Orr和Klaus–Robert Müller的“Efficient backdrop”一文由Genevieve Orr和Klaus–Robert Müller收录到Neural Networks: Tricks of the Trade （Springer, 1998）一书中，提出了一些使反向传播起作用的重要技巧。
  • Robert Trippi和Efraim Turban编辑的Neural Networks in Finance and Investing（McGraw–Hill, 1992）收录了关于神经网络在金融领域应用的文章。
  • Todd Jochem和Dean Pomerleau的“Life in the fast lane: The evolution of an adaptive vehicle control system”（AI Magazine , 1996）一文介绍了ALVINN无人驾驶汽车工程。
  • Paul Werbos的博士论文是Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Science（Harvard University, 1974）。Arthur Bryson和Yu–Chi Ho在Applied Optimal Control *（Blaisdell, 1969）一书中介绍了他们反向传播的早期版本。
  • Yoshua Bengio的Learning Deep Architectures for AI（Now, 2009）一书简要介绍了深度学习。
  • Yoshua Bengio、Patrice Simard和Paolo Frasconi的“Learning long–term dependencies with gradient descent is difficult”（IEEE Transactions on Neural Networks, 1994）一文介绍了反向传播中的信号误差扩散问题。
  • John Markoff的“How many computers to identify a cat?16,000”（New York Times, 2012）一书对谷歌的脑计划及其结果进行汇报。
  • Yann LeCun、Léon Bottou、Yoshua Bengio和Patrick Haffner的“Gradient–based learning applied to document recognition”（Proceedings of the IEEE, 1998 ）一书介绍了卷积神经网络、当前深度学习冠军。
  • Jonathon Keats的“The $1.3B quest to build a supercomputer replica of a human brain”（Wired, 2013）介绍了欧盟的大脑模仿项目。
  • Thomas Insel、Story Landis和Francis Collins的“The NIH BRAIN Initiative”（Science , 2013）一文介绍了BRAIN计划。Steven Pinker在How the Mind Works （Norton, 1997）一书的第二章中总结了符号学者对联结主义模型的批判。
  • Seymour Paper在“*One AI or Many? *”（Daedalus , 1988）一文中争论性地发表了自己的看法。Gary Marcus的The Birth of the Mind （Basic Books, 2004）一书中解释了进化如何促成人类大脑复杂的功能。

第五章

  • Josh Bongard的“Evolutionary robotics”（Communication of the ACM , 2013）一文讨论了Hod Lipson以及其他人关于进化机器人的作品。
  • Steven Levy的Artificial Lif （Vintage，1993）一书也游览了一遍数字化这个“动物园”，从虚拟世界中计算机创造的动物到遗传算法。
  • Mitch Waldrop的Complexity （Touchstone, 1992）一书第五章讲述了John Holland的故事，以及遗传算法研究前几十年的情况。
  • David Goldberg的Genetic Algorithms in Search, Optimization, and Machine Learning（Addison–Wesley, 1989）一书对遗传算法进行了标准介绍。
  • 在T. J. M.Schopf主编的Models in Paleobiology（Freeman, 1972）一书中，Niles Eldredge和Stephen Jay Gould发表了“Puntuatedequilibria: An alternative to phyletic gradualism”一文，这篇文章中提出了他们的间断平衡理论。
  • Richard Dawkins在*The Blind Watchmaker *（Norton, 1986）一书的第九章批评了该观点。
  • 在Richard Sutton和Andrew Barto的Reinforcement Learning（MIT Press, 1998）一书中，第二章讨论了探索—利用困境。
  • 在Adaptation in Natural and Artificial System（University of Michigan Press, 1975）中，John Holland提出了自己的解决方法及其他观点。
  • John Koza的Genetic Programming（MIT Press, 1992）一书是对该范式的重要参考。
  • 在Minoru Asada和Hiroaki Kitano编写的RoboCup–98: Robot Soccer World Cup II （Springer, 1999）一书中，David Andre和Astro Teller发表了“Evolving team Darwin United”一文，这篇文章中介绍了进化的机器人足球队。
  • John Koza、Forrest Bennett III、David Andre和Martin Keane著的Genetic Programming III （Morgan Kaufmann, 1999）一书包含许多经过改进的电子线路。
  • Danny Hillis在“Co–evolving parasites improve simulated evolution as an optimization procedure”（Physica D , 1990）一文中提出寄生虫有助于进化。AD iLivnat、Christos Papadimitriou、Jonathan Dushoff和Marcus Feldman在“A mixability theory of the role of sex in evolution”（Proceedings of the National Academy of Sciences , 2008）一文中提出，性别可优化可混性。
  • Kevin Lang的文章“Hill climbing beats genetic search on a Boolean circuit synthesis problem of Koza’s”（Proceedings of the Twelfth International Conference on Machine Learning , 1995）对遗传编程和爬山法进行了比较。Koza对此的回应见“A response to the ML–95 paper entitled…”（未发布）一文。
  • 在“A new factor in evolution”（American Naturalist , 1896）一文中，James Baldwin提出了同名反应。
  • Geoff Hinton和Steven Nowlan在“How learning can guide evolution”（Complex Systems , 1987）一文中介绍了它的运用。
  • 鲍德温效应是Peter Tusrney、Darrell Whitley和Russell Anderson主编的期刊Evolutionary Computation 1996年的一个特殊问题的主题。
  • John Neville Keynes的The Scope and Method of Political Economy（Macmillan, 1891）一书区分了描述性和规范性理论之间的区别。

第六章

  • Sharon Bertsch McGrayne在The Theory That Would Not Die （Yale University Press, 2011）一书中对贝叶斯主义进行了介绍，从Bayes到Laplace再到现在。
  • Peter Hoff的A First Course in Bayesian Statistical Methods（Springer, 2009）一书则对贝叶斯统计进行了介绍。
  • 在Richard Duda和Peter Hart（Wiley, 1973）的*Pettern Classification and Scene Analysi *一书中，朴素贝叶斯算法被首次提到。
  • 在Essays in Positive Economics （University of Chicago Press, 1966）一书中，Milton Friedman发表了自己对过简理论的支持。
  • 朴素贝叶斯在过滤垃圾邮件中的应用则出现在Joshua Goodman、David Heckerman和Robert Rounthwaite的“Stopping spam”（Scientific America , 2005）一文中。
  • Stephen Robertson和Karena Sparck Jones的“Relevance weighting of search terms”（Journal of the American Society for Information Science , 1976）一文介绍了与朴素贝叶斯相似方法在信息检索中的应用。
  • Brian Hayes的“First links in the Markov chain”（American Scientist , 2013）一文叙述了马尔可夫对同名链的创造。
  • Thorsten Brants等人的“Large Language models in machine translation”（Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning , 2007）一文解释了谷歌翻译如何运行。
  • Larry Page、Sergey Brin、Rajeev Motwani和Terry Winograd的“The PageRank citation ranking: Bringing order to the Web”（Standford University technical report, 1998）一文介绍了网页排序算法及其在网页上游动的说明。
  • Eugene Charniak的Statistical Language Learning（MIT Press, 1996）一书揭示了隐马尔可夫模型的工作原理。
  • *Fred Jelinek的Statistical Methods for Speech recognition *（MIT Press, 1997）一书描述了这些方法在语音识别领域的应用。
  • 在David Forney的“The Viterbi algorithm: A personal history(未发行)”一文中，介绍了隐马尔可夫模型式的推理在传播中的情况。
  • Pierre Baldi和Søren Brunak的Bioinformatics: The Machine Learning Approach（2nd ed., MIT Press, 2001）一书介绍了机器学习在生物学以及隐马尔可夫模型中的应用。
  • Barry Cipra的“Engineers look to Kalman filtering for guidance”（SIAM News , 1993）对卡尔曼滤波法及其历史、应用进行了简要介绍。
  • Judea Pearl关于贝叶斯网络的先锋之作出现在他的Probabilistic Reasoing in Intelligent Systems（Morgan Kaufmann, 1988）一书中。
  • Eugene Charniak的“Bayesian networks without tears”（AI Magazine , 1991）一文很大程度上用非数学的方法对贝叶斯网络进行了介绍。
  • David Heckerman的“Probabilistic interpretation for MYCIN’s certainty factors”（Proceedings of the Second Conference on Uncertainty in Artificial Intelligence , 1986）一文解释在何种情况下，包含置信度估计的规则集是贝叶斯网络的合理假设，在什么情况下不是。
  • Eran Segal等人的“Module networks: Identifying regulatory modules and their condition–specific regulators from gene expression data”（Nature Genetics , 2003）一文就是贝叶斯网络在基因调控领域的一个应用。
  • Ben Paynter的“Microsoft virus fighter: Spam may be more difficult to sthp than HIV”（Fast Company , 2012）一文讲述David Heckerman如何从垃圾邮件过滤器中获取灵感，并利用贝叶斯网络设计了一种艾滋病疫苗。概率性的或者“喧哗”OR在Pearl的书籍中得到了解释。
  • M.A.Shwe等人的“Probabilistic diagnosis using a reformulation of the INTERNIST–1/QMR knowledge base”一文为医学诊断介绍了一种“喧哗”OR贝叶斯网络。
  • Kevin Murphy的Machine Learning（MIT Press，2012）的26.5.4部分描述了谷歌的贝叶斯网络在广告配置方面的运用。
  • Ralf Herbrich、Tom Minka和Thore Graepel的“TrueSkillTM: A Bayesian skill rating system”（Advances in Neural Information Processing Systems 19 , 2007）一文介绍了微软的游戏评分系统。
  • Adnan Darwiche的Modeling and Reasoning with Bayesian Networks（Cambridge University Press, 2009）一书解释了贝叶斯网络中用于推理的主要算法。
  • Jack Dongarra和Francis Sullivan主编的Computing in Science and Engineering 期刊的2000年的1~2月刊包含了和21世纪前十位算法有关的文章，包括马尔可夫链蒙特卡洛。
  • Sebastian Thrun等人的“Stanley: The robot that won the DARPA Grand Challenge”（Journal of Field of Robotics , 2006）解释了同名无人驾驶汽车如何运行。
  • David Heckerman的“Bayesian networks for data mining”（Data Mining and Knowledge Discovery , 1997）一文总结了用于学习的贝叶斯方法，并解释如何从数据中掌握贝叶斯网络。
  • David MacKay的“Gaussian processes: A replacement for supervised neural networks?”（NIPS tutorial notes, 1997）一文大致描述了贝叶斯学派如何安排网络入侵防火墙系统。
  • Dan Jurafsky和James Martin的*Speech and Language Processing *（2nd ed., Prentice Hall, 2009）一书的9.6部分讨论了在语音识别中对词汇概率进行加权的必要性。
  • 我和Mike Pazzani关于朴素贝叶斯的论文是“On the optimality of the simple Bayesian classifier under zero–one loss”（Machine Learning , 1997; expanded journal version of the 1996 conference paper）。上面提到的Judea Pearl的书讨论了马尔可夫网络和贝叶斯网络。
  • 计算机视觉中的马尔可夫网络就是Adrew Blake、Pushmeet Kohli和Carsten Rother主编的Markov Random Fields for Vision and Image Processing（MIT Press, 2011）这本书的主题。
  • John Lafferty、Andrew McCallum和Fernando Pereira的“Conditional random fields: Probabilistic models for segmenting and labeling sequence data”（International Conference on Machine Learning , 2001）一文介绍了可将条件释然性最大化的马尔可夫网络。
  • Jon Williamson和Dov Gabbay主编的Journal of Applied Logic 2003年的一期特刊探索了试图将概率与逻辑结合起来的历史。
  • Michael Wellman、John Breese和Robert Goldman的“From Knowledge bases to decision models”（Knowledge Engineering Review , 1992）一文讨论了早期一些解决该问题的智能方法。

第七章

  • Frank Abagnale在和Stan Redding一起创作的自传Catch Me If You Can （Grosset& Dunlap, 1980）中详细描述了他的英勇事迹。
  • Evelyn Fix和Joe Hodges最初关于最近邻算法的技术报告是“Discriminatory analysis: Nonparametric discrimination: Consistency properties”（USAF School of Aviation Medicine, 1951）。
  • Belur Dasarathy主编的Nearest Neighbor (NN) Norms收录了许多该领域中的重要论文。
  • Chris Atkeson、Andrew Moore和Stefan Schaal的“Locally weighted learning”（Artificial Intelligence Review , 1997）一文探索了局部线性回归。
  • Paul Resnick等人的“GroupLens: An open architecture for collaborative filtering of netnews”（Proceedings of the 1994 ACM Conference on Computer-Supported Cooperative Work , 1994）一文介绍了基于最近邻的首个协同过滤系统。
  • Greg Linden、Brent Smith和Jeremy York的“Amazon.com recommendations: Item–to–item collaborative filtering”（IEEE Internet Computing , 2003）一文介绍了亚马逊的协同过滤系统（参见第八章网飞的延伸阅读部分）。
  • Mayer–Schonberger和Cukier的Big Data 以及Siegel的Predictive Analysis （之前引用过）引用了推荐系统对于亚马逊和网飞销售业绩的贡献。
  • 1967年，Tom Cover和Peter Hart写了一篇关于最近邻的误差率的文章——“Nearest neighbor pattern classification”（IEEE Transactions on Information Theory ）。
  • Trevor Hastie、Rob Tibshirani和Jerry Friedman的The Elements of Statistical Learning（2nd ed., Springer, 2009）的2.5部分讨论了维数灾难。
  • Ron Kohavi和George John的“Wrappers for feature subset selection”（Artificial Intelligence , 1997）一文对比了属性选择方法。
  • David Lowe的“Similarity metric learning for a variable–kernel classifier”（Neural Computation , 1995）就是一个特征赋权算法的例子。
  • Nello Cristianini和Bernhard Schokopf的“Support vector machines and kernel methods: The new generation of learning machines”（AI Magazine , 2002）一文在很大程度上运用了非数学的方法来介绍支持向量机。
  • Bernhard Boser、Isabel Guyon和Vladimir Vapnik的“A training algorithm for optimal margin classifiers”（Proceedings of the Fifth Annual Workshop on Computational Learning Theory , 1992）。
  • Thorsten Joachims的“Text categorization with support vector machines”（Proceedings of the Tenth European Conference on Machine Learning , 1998）是第一篇将支持向量机运用到文本分类中的论文。
  • Nello Cristianini和John Shawe–Taylor的*An Introduction to Support Vector Machine *（Cambridge University Press, 2000）一书中的第五章在支持向量机的背景下简要介绍了约束优化。
  • Janet Kolodner的Case–Based Reasoning（Morgan Kaufmann, 1993）是该主题的教材。
  • Evangelos Simoudis的“Using case–based retrieval for customer technical support”（IEEE Export , 1992）一文揭示了它在求助台中的运用。
  • “Rise of the software machines”（Economist , 2013）及其公司的主页上介绍了正畸诊疗软件的Eliza。
  • Kevin Ashley在Modeling Legal Argument（MIT Press, 1991）中探索了基于案例的法律推理。
  • David Cope在“Recombinant music: Using the computer to explore musical style”（IEEE Computer , 1991）一文中总结了他用于进行自行音乐创作的方法。
  • Dedre Gentner在“Structure mapping: A theoretical framework for analogy”（Cognitive Science , 1983）一文中提出了构造图。
  • James Somers的“The man who would teach machines to think”（Atlantic, 2013）讨论了道格拉斯·霍夫斯泰特对于人工智能的看法。
  • 我(作者)的文章“Unifying instance–based and rule–based inducton”（Machine Learning , 1996）介绍了RISE算法。

第八章

  • Alison Gopnik、Andy Meltzoff和Pat Kuhl的The Scientist in the Crib （Harper, 1999）一书总结了心理学家关于儿童如何进行学习的发现。
  • 1957年，Stuart Lloyd在贝尔实验室的一篇技术报告“Least squares quantizataion in PCM”（最后以一篇论文的形式出现在1992年的IEEE Transactions on Information Theory ）中，k均值聚类算法首次被提出。
  • 关于最大期望算法的原文是Arthur Dempster、Nan Laird和Donald Rubin的“Maximum likelihood from incomplete data via the EM algorithm”（Journal of the Royal Statistical Society B , 1977）。
  • Leonard Kaufman和Peter Rousseeuw的 Finding Groups in Data: An Introduction to Cluster Analysis（Wiley，1990）介绍了分级聚类及其他方法。
  • Kar Pearson在1901年的一篇名为“On lines and planes of closets fit to systems of points in space”（Philosophical Magazine ）的文章中提出，pricipal–component analysis是机器学习及统计中最古老的技术。
  • Scott Deerwester等人的文章“Indexing by latent semantic analysis”（Journal of the American Society for Information Science , 1990）介绍了用于给SAT作文打分的一种降维方法。
  • Yehuda Koren、Robert Bell和Chris Volinsky在“Matrix factorization techniques for recommender systems”（IEEE Computer , 2009）中解释网飞式协同过滤系统如何运行。
  • Tenenbaum、Vin de Silva和John Langford的“A global geometric framework for nonlinear dimensionality reduction”（Science, 2000）介绍了Isomap算法。
  • Rich Sutton和Andy Barto的Reinforcement Learning: An Introduction（MIT Press, 1998）一书是该主题的标准教材。
  • Marcus Hutter的Universal Artificial Intelligence（Springer, 2005）尝试对加强学习进行理论上的总结。
  • “Some studies in machine learning using the game of checkers”（IBM Journall of Research and Development , 1959）一文介绍了Arthur Samuel关于学习如何下国际象棋的开创性研究，这篇文章也是“机器学习”这个术语最早出现的印刷品之一。
  • Chris Watkins对于强化学习问题的构想也出现在他的博士论文Learning from Delayed Rewards（Cambridge University, 1989）中。
  • Voloydymyr Mnih等人的“Human–level control through deep reinforcement learning”（Nature , 2015）一文介绍了DeepMind用于视频游戏的强化学习算法。
  • 在“A cognitive odyssey: From the power law of practice to a general learning mechanism and beyond”（Tutorials in Quantitative Methods for Psychology , 2006）一文中重述了组块的发展。
  • A/B测试和其他在线实验技术在Ron Kohavi、Randal Henne和Dan Sommerfield的“Practical guide to controlled experiments on the Web: Listen to your customers not to the HiPPO”（Proceedings of the Thirteenth International Conference on Knowledge Discovery and Data Mining , 2007）一文得到了解释。
  • Eric Siegel的Predictive Analytics（Wiley, 2013）一书第七章的主题就是隆起建模，即对A/B测试的多维度概括。
  • Lise Getoor和Ben Tasker编辑的Introduction to Statistical Relational Learning（MIT Press, 2007）一书探索了这个领域的主要方法。
  • “Mining social networks for viral marketing”（IEEE Intelligent Systems , 2005）是我和Matt Richardson关于模拟口头语的文章。

第九章

  • Zhi–Hua Zhou的Model Ensembles: Foundations and Algorithms（Chapman and Hall, 2012）对元学习进行了介绍。
  • 关于堆叠的最早文章是David Wolpert的“**Stacked generalization”（Neural Networks , 1992）。
  • Leo Breiman在“Bagging predicts”（Machine Learning , 1996）中介绍了装袋预测法，在“Random forests*”（MchineLearing , 2001）介绍了随机森林法。
  • Yoav Freund和Rob Schapire的“Experiment with a new boosting algorithm”（Proceedings of the Thirteenth International Conference on Machine Learning , 1996）一文介绍了助推法。
  • Anil Ananthaswamy的“I, Algorithm”（New Scientist, 2011）记录了在人工智能中将逻辑与概率结合起来的方法。
  • 我和Daniel Lowd一起合写的Markov Logic: An Interface Layer for Artificial Intelligence（Morgan & Claypool, 2009）一书是对马尔可夫逻辑网络的介绍。Alchemy网站也包含教程、录像、MLN、数据集、刊物和其他系统的指示器等。
  • Jue Wang和Pedro Domingos的“Hybrid Markov logic works”（Proceedings of the Twenty-Third AAAI Conference on Artificial Intelligence , 2008）一文介绍了MLN在DARPA的PAL项目中的用途。
  • Stanley Kok和Pedro Domingos的“Extracting semantic networks from text via relational clustering”（Procedings of the Nineteenth European Conference on Machine Learning , 2008）一文介绍了我们如何运用MLN从网站上获取语义网络。
  • 在Mathias Niepert和Pedro Domingos的“Learning and inference in tractable probabilistic knowledge bases”（Proceedings of the Thirty-first Conference on Uncertainty in Artificial Intelligence , 2015）一文介绍了带有类层次和部件结构的有效MLN。
  • Jeff Dean等人的“Large–scale distributed deep networks”（Advances in Neural Information Processing Systems 25 , 2012）一文介绍了谷歌的并行梯度下降算法。
  • Pedro Domingos和Geoff Hulten的“A general framework for mining massive data streams”（Journal of Computional and Graphical Statistics , 2003）一文总结了我们用于掌握开放式数据流的取样方法。
  • David Weinberger所写“The machine that would predict the future”（Scientific American , 2011）的主题是The FuturICT项目。
  • “Cancer: The march on malignancy”（Nature supplement, 2014）一文介绍了目前对抗癌症的情况。
  • Chris Edwards的“Using patient data for personalized cancer treatments”（Communications of the ACM , 2014）一文介绍了有可能会发展为CaneRx的早期情况。
  • Markus Covert的“Simulating a living cell”（Scientific American , 2014）解释了他的团队如何构建整个感染细菌的计算机模型。
  • Antonio Regalado的“Breakthrough Technologies 2015: Internet of DNA”（MIT Technology Review , 2015）总结了全球基因组学与健康联盟的工作。
  • Jay Tenenbaum和Jeff Shrager的“Cancer: A Computational Disease that AI Can Cure”（AI Magazine , 2011）一文介绍了常见的癌症。

第十章

  • Kevin Poulsen的“Love, acturaially”（Wired ，2014）介绍了一个人怎样通过机器学习来在OkOcupid约会网站上寻找爱情。
  • Christian Rudder的Dataclysm（Crown, 2014）挖掘了OkCupid的数据，用于各式各样的想法。
  • Gordon Moore和Jim Gemmell的Total Recall （Dutton, 2009）一书探索了对我们所做的一切进行数字化记录的启示。
  • Patrick Tucker的The Naked Future（Current，2014）探索了在我们的世界中，进行预测时对数据的使用及滥用。
  • 在“Privacy pragmatism”（Foreign Affairs , 2014）一文中，Craig Mundie支持在收集和利用数据时使用均衡法。
  • Erik Brynjolfsson和Andrew McAfee的The Second Machine Age（Norton，2014）讨论了人工智能的进步会对未来的工作及经济造成的影响。
  • Chris Baraniuk的“World War R”（New Scientist , 2014）总结了围绕能否在战争中使用机器人的辩论。
  • Stephen Hawking等人的“Transcending complacency on superintelligent machines”（Huffington Post , 2014）一文提出当下正是担心人工智能危机的时候。
  • Nick Bostrom的Superintelligence （Oxford University Press, 2014）一书提到了一些危险，并说明应该怎样应对这些危险。
  • Richard Hawking的A Brief History of Life（Random Penguin, 1982）一书总结了计算机出现之前的量子跳跃。
  • Ray Kurzweil的*The Singularity Is Near *（Penguin, 2005）可带领我们进入“超人类”未来。
  • 在Radical Evolution （Broadway Books , 2005）中，Joel Garreau就人类指向的进化在Radical Evolution （Broadway Books, 2005）中如何展现设想了三个不同的情景。
  • 在What Technology Wants（Penguin, 2010）中，Kevin Kelly提出技术就是以其他方式来对进化进行延续。
  • George Dyson的Darwin Among the Machine （Basic Books, 1997）一书回顾了技术的发展史，并设想技术将会把我们带往何处。
  • 在*Life at the Speed of Light *（Viking，2013）一书中，Craig Venter解释了他的团队如何合成活细胞。

人工智能文献 Share Tweet +1