集智俱乐部

    时间: 2009.11.22
    地点：三号会所小厅
    内容；讨论《计算心理学》模型的第三章：认知模型的贝叶斯建模方法。 讲稿PPT下载 

     1、贝叶斯概率的理解
    （1）、贝叶斯概率是主观的信任程度，而不是传统意义上的事件的频率。所以贝叶斯概率是会随着数据的累积而发生变化，这解释为主观的信任程度变化，而不是事件发生频率的变化。
    （2）、著名的Monty Hall模型，参看WIKI上的解释：
    http://en.wikipedia.org/wiki/Monty_Hall_problem， 这个问题巧妙的反应出来贝叶斯概率中最反直觉的部分：即概率分布可以发生变化！这个例子也从另一个侧面说明了测量过程（第一次的选择）会改变系统的概率分布（即主持人会根据你的选择而动态选择打开哪一扇门）。因此有人讨论这个Monty hall问题的量子版本：
    http://en.wikipedia.org/wiki/Monty_Hall_problem#Quantum_version 

    2、贝叶斯概率模型的基本应用：
    （1）、假设比较（最后直接计算后验概率之比）。
    （2）、参数估计按照Miner的说法，Bayes的方法的优势就在于直接给出了参数的概率分布，而不用费尽解释什么叫做置信区间，这便体现出来了贝叶斯主观概率的优势。
    （3）、模型选择贝叶斯原理的模型选择可以直接解释结构风险和预测风险之间的那种Trade off，即贝叶斯奥柯姆剃刀原理。 

    3、贝叶斯图模型
    （1）、贝叶斯网计算若干随机变量的联合是一个重要、本质的问题，按照因果网络的方法可以简化这个计算。
    （2）、图模型按照模型选择的框架，可以对不同的图结构进行比较、选择。
    （3）、层次贝叶斯模型对先验概率的估计和贝叶斯推理。

    4、蒙特卡洛模拟
    概率论给我们提供了一套描述不确定世界的数学方案，其中建立在测度论上的概率是一套理论模型，统计是从数据中推测背后的概率模型，蒙特卡洛模拟是从概率模型生成随机数据。
    此处，我们讨论了概率在数学上说并不天然具有频率的解释，它不过是一套抽象的数学运算，而大数定理使得概率和频率发生了联系，也就有了教科书上对于概率的经典解释。然而，当我们弄清楚概率论的鬼把戏之后，就有可能把它的物理解释换掉，例如用Quantum Probability替换经典概率论，从而创建的Quantum Decision Theory。
    我们看到人们对概率的解释其实是大有可为的。
    最后大家还讨论了很多有趣的东西，诸如：贝叶斯模型的通用性，卡尔曼滤波，相变与组合优化问题、不确定性原理、傅利叶变换、信息论、统计物理与贝叶斯等等。最后的结论是：我们这帮人的知识还很淡薄，有必要把所有这些有趣的知识整合起来。

    Miner补充：
    今天说到贝叶斯网看哪本书比较好，我推荐两本自己很想看但还没看的，都是今年刚出的新书：
    一本是贝叶斯网创始人Judea Pearl的 “Causality: Models, Reasoning and Inference”
    （http://www.amazon.com/Causality-Reasoning-Inference-Judea-Pearl/dp/052189560X/）,今年刚出的新版（上一版是2000年出的）；
    一本是 Daphne Koller 的 “Probabilistic Graphical Models”
    （http://www.amazon.com/Probabilistic-Graphical-Models-Principles-Computation/dp/0262013193）,大家期待了好几年了，今年终于出来了。谁有其他的推荐请补充。
    另外找到这么一段比较传统统计推断和贝叶斯网的：“传统统计理论中，推断主要是通过对联合概率的边缘化 (Marginalization)实现，运算量对变量个数呈现指数增长，即使用蒙特卡罗(Monte Carlo)采样，运算量也非常大，并且这种计算过程并不符合人脑的推理方式。Judea Pearl提出的贝叶斯网，基于变量之间Casuality关系的置信传递(belief propagation)进行推断，使得运算量变成了对变量个数成准线性增长的方式，使得一些有数以万计变量的模型能够被有效处理。而且基于因果关系的推导也符合人脑的思维方式。” 

    果蝇小姐补充：
    @主观概率与客观概率
    贝叶斯概率是主观上感觉事件会发生的概率，反映了人对事物的理解，随着数据的积累会发生变化。客观概率表现为事件发生的频率，但不知道它的本质是什么。大家之所以觉得贝叶斯概率别扭，是因为我们以前学的都是客观概率，一个思维习惯就是：其他条件再怎么变，某件事发生的概率该是多少还是多少。想当年本人刚接触概率的时候学得那叫一个烂，总是觉得概率不变很不可思议，想来也许是受了主观概率的影响。假如换个没学过概率的人，说不定就会觉得贝叶斯概率理所当然，没什么别扭了。
    @主观与客观
    我们对世界所有的认识都来自于观察和思考，而我们只能以人的视角去观察，用人的思维去思考，怎么也无法跳出“人”的范围。这样，又怎么区分主观和客观呢？能够被大多数人接受的就是客观？客观=主观*N？
    @贝叶斯模型的普适性
    贝叶斯模型的应用并不限于学习推理建模。或许这是事物的某种本质属性，大脑只是一个特例；或许只是人类大脑本身倾向于从各种杂乱无章的事物中抽象出这种性质。
    @我们真的能了解人类认知的本质吗？
    我们所认知的事物都无法超出我们的认知能力范围。那么认知本身在我们的认知能力范围内吗？我们能够认知我们认知的本质吗（怎么这么绕）？

This entry was posted on 星期天, 十一月 22nd, 2009 at 5:31 下午 and is filed under AI小组, 小组活动. You can follow any responses to this entry through the RSS 2.0 feed. You can leave a response, or trackback from your own site.