集智AI小组第十四次活动纪要

十二月 29th, 2009 by 集智俱乐部

    时间126(周日)下午2

    地点:三号会所小厅(地址路线见 http://swarmagents.scinese.com/三号会所介绍/    http://www.douban.com/photos/album/13343561/)。

    费用:参加活动每人15(含一份饮料) [注:这是三号会所收取的场地费,我们的活动是免费的]

    主题:认知建模的动态系统方法
   
Pem 主持讨论《The Cambridge Handbook of Computational Psychology》的第四章,即Ch.4 Dynamical Systems Approaches to Cognition  (Gregor Schoner)
   
为了使讨论更有成效,请诸位参加者事先阅读这一章,至少要浏览一遍,电子版可从Google group的页面(http://groups.google.com/group/swarmagents_ai/files)下载。

    读书讨论情况待更新。

研讨:虚拟世界中的科学研究

十一月 22nd, 2009 by 集智俱乐部

时间:1129 周日 14:30

地点:三号会所

主讲:Jake

介绍:Second Life,魔兽世界等大型虚拟世界不仅仅为人们提供了娱乐的空间、崭新的生活方式,更成为了科学家们研究的焦点。本讲座将引领你进入一个科学研究的全新领域。

主要内容提要:

一、来自大规模虚拟世界的第一手资料

我们将以2007年分别发表在顶级科学杂志NatureScience上的两篇探索网络游戏中的大规模社会行为的研究文章为起点,开展我们的探索之旅。

二、游戏简史

游戏的历史恐怕比人类的历史还要长,因为小猫小狗都知道玩弄线团而游戏。我们将回顾游戏发展的历史,从简单的球类运动,到七巧板、九连环,再到计算机游戏和虚拟世界。我们看到,随着技术的进步,游戏已经演化成为一种人与机器共生的有机体。

三、玩家的反思

面对庞大的虚拟世界和互联网络,究竟人扮演了一种怎样的角色?我们将从回顾Castronova的开创性研究:计算游戏王国的GDP开始,引发我们进一步探索更深入的问题:人与机器的共生进化。

讲稿下载  录音下载

集智AI小组第十三次活动纪要

十一月 22nd, 2009 by 集智俱乐部

    时间: 2009.11.22
   
地点:三号会所小厅
   
内容;讨论《计算心理学》模型的第三章:认知模型的贝叶斯建模方法。 讲稿PPT下载 

     1、贝叶斯概率的理解
   
1)、贝叶斯概率是主观的信任程度,而不是传统意义上的事件的频率。所以贝叶斯概率是会随着数据的累积而发生变化,这解释为主观的信任程度变化,而不是事件发生频率的变化。
   
2)、著名的Monty Hall模型,参看WIKI上的解释:
    http://en.wikipedia.org/wiki/Monty_Hall_problem, 这个问题巧妙的反应出来贝叶斯概率中最反直觉的部分:即概率分布可以发生变化!这个例子也从另一个侧面说明了测量过程(第一次的选择)会改变系统的概率分布(即主持人会根据你的选择而动态选择打开哪一扇门)。因此有人讨论这个Monty hall问题的量子版本:
    http://en.wikipedia.org/wiki/Monty_Hall_problem#Quantum_version
 

    2、贝叶斯概率模型的基本应用:
   
1)、假设比较(最后直接计算后验概率之比)。
   
2)、参数估计按照Miner的说法,Bayes的方法的优势就在于直接给出了参数的概率分布,而不用费尽解释什么叫做置信区间,这便体现出来了贝叶斯主观概率的优势。
   
3)、模型选择贝叶斯原理的模型选择可以直接解释结构风险和预测风险之间的那种Trade off,即贝叶斯奥柯姆剃刀原理。 

    3、贝叶斯图模型
   
1)、贝叶斯网计算若干随机变量的联合是一个重要、本质的问题,按照因果网络的方法可以简化这个计算。
   
2)、图模型按照模型选择的框架,可以对不同的图结构进行比较、选择。
   
3)、层次贝叶斯模型对先验概率的估计和贝叶斯推理。

    4、蒙特卡洛模拟
   
概率论给我们提供了一套描述不确定世界的数学方案,其中建立在测度论上的概率是一套理论模型,统计是从数据中推测背后的概率模型,蒙特卡洛模拟是从概率模型生成随机数据。
   
此处,我们讨论了概率在数学上说并不天然具有频率的解释,它不过是一套抽象的数学运算,而大数定理使得概率和频率发生了联系,也就有了教科书上对于概率的经典解释。然而,当我们弄清楚概率论的鬼把戏之后,就有可能把它的物理解释换掉,例如用Quantum Probability替换经典概率论,从而创建的Quantum Decision Theory
   
我们看到人们对概率的解释其实是大有可为的。
   
最后大家还讨论了很多有趣的东西,诸如:贝叶斯模型的通用性,卡尔曼滤波,相变与组合优化问题、不确定性原理、傅利叶变换、信息论、统计物理与贝叶斯等等。最后的结论是:我们这帮人的知识还很淡薄,有必要把所有这些有趣的知识整合起来。

    Miner补充:
   
今天说到贝叶斯网看哪本书比较好,我推荐两本自己很想看但还没看的,都是今年刚出的新书:
   
一本是贝叶斯网创始人Judea Pearl “Causality: Models, Reasoning and Inference”
   
http://www.amazon.com/Causality-Reasoning-Inference-Judea-Pearl/dp/052189560X/,今年刚出的新版(上一版是2000年出的);
   
一本是 Daphne Koller “Probabilistic Graphical Models”
   
http://www.amazon.com/Probabilistic-Graphical-Models-Principles-Computation/dp/0262013193,大家期待了好几年了,今年终于出来了。
谁有其他的推荐请补充。
   
另外找到这么一段比较传统统计推断和贝叶斯网的:传统统计理论中,推断主要是通过对联合概率的边缘化 (Marginalization)实现,运算量对变量个数呈现指数增长,即使用蒙特卡罗(Monte Carlo)采样,运算量也非常大,并且这种计算过程并不符合人脑的推理方式。Judea Pearl提出的贝叶斯网,基于变量之间Casuality关系的置信传递(belief propagation)进行推断,使得运算量变成了对变量个数成准线性增长的方式,使得一些有数以万计变量的模型能够被有效处理。而且基于因果关系的推导也符合人脑的思维方式。 

    果蝇小姐补充:
   
@主观概率与客观概率
   
贝叶斯概率是主观上感觉事件会发生的概率,反映了人对事物的理解,随着数据的积累会发生变化。客观概率表现为事件发生的频率,但不知道它的本质是什么。大家之所以觉得贝叶斯概率别扭,是因为我们以前学的都是客观概率,一个思维习惯就是:其他条件再怎么变,某件事发生的概率该是多少还是多少。想当年本人刚接触概率的时候学得那叫一个烂,总是觉得概率不变很不可思议,想来也许是受了主观概率的影响。假如换个没学过概率的人,说不定就会觉得贝叶斯概率理所当然,没什么别扭了。
    @
主观与客观
   
我们对世界所有的认识都来自于观察和思考,而我们只能以人的视角去观察,用人的思维去思考,怎么也无法跳出的范围。这样,又怎么区分主观和客观呢?能够被大多数人接受的就是客观?客观=主观*N
   
@贝叶斯模型的普适性
   
贝叶斯模型的应用并不限于学习推理建模。或许这是事物的某种本质属性,大脑只是一个特例;或许只是人类大脑本身倾向于从各种杂乱无章的事物中抽象出这种性质。
   
@我们真的能了解人类认知的本质吗?
   
我们所认知的事物都无法超出我们的认知能力范围。那么认知本身在我们的认知能力范围内吗?我们能够认知我们认知的本质吗(怎么这么绕)?

集智AI小组第十二次活动纪要

十一月 3rd, 2009 by 集智俱乐部

时间1025(周日)上午9点半

地点:三号会所

费用:参加活动每人15(含一份饮料) [注:这是三号会所收取的场地费,我们的活动是免费的]

主题

101-_-19主持讨论《The Cambridge Handbook of Computational Psychology》的第二章,即Ch.2 Connectionist models of cognition (Michael Thomas and James McClelland) ;

为了使讨论更有成效,请诸位参加者事先阅读这一章,至少要浏览一遍吧。电子版可从Google group的页面(http://groups.google.com/group/swarmagents_ai/files)下载;

2)关于project proposal的想法,可继续讨论~~

 后面几次的安排:

读书会2-311.8?) 何永振主持讨论

Ch.5 Declarative/ logic-based computational cognitive modeling (Selmer Bringsjord);

读书会2-411.22?) jake主持讨论

Ch.3 Bayesian models of cognition (Thomas Griffiths, Charles Kemp, and Joshua Tenenbaum);

读书会2-512.6?) ??主持讨论

Ch.4 Dynamical systems approaches to cognition (Gregor Schoener);

读书会2-612.22?) ??主持讨论

Ch.6 Constraints in cognitive architectures (Niels Taatgen and John Anderson);

==========================

2-52-6还没人认领,pem 你能主持2-5吗?我觉得这章由学物理的主持比较好~~

另外,作为背景材料,大家有空的话可以读本认知心理学,毕竟,认知心理学是AI的理论基础之一,虽然很多计算机系的AI不开这门课~~国内用的最普遍的教材应该是王甦先生的《认知心理学》(http://www.douban.com/subject/1122236/),但这本书是1992年出的,无法反映近十多年的研究进展,所以建议找本新的来读,比如这本 http://www.douban.com/subject/3854718/

 活动总结 

Liu Qingqing总结

      PPT

第一部分:关于Blue Brain

观看了miner带来的视频,是Henry Markram在今年TED会议上的演讲,题目叫Builds a Brain in a Supercomputer. 研究者们用电生理等技术探索生物神经网络的结构,用一个CPU来模拟一个神经元。预计在10年之内就可实现人脑模拟。演讲梗概 http://www.douban.com/group/topic/7445437/ 视频

http://www.ted.com/talks/henry_markram_supercomputing_the_brain_s_secrets.html

第二部分:介绍/讨论Computational Psychology的第二章Connectionist Models of Cognitionppt见上次的附件,增加了一些讨论到的内容。

第三部分:郑法伟向大家介绍他对连接主义模型的一些思考,详见他的ppt和程序。

其他:一些讨论(欢迎补充)

1 Miner:贝叶斯模型很强大。贝叶斯模型很适合解释归纳学习:当我们面对一个新事物的时候,会根据已有的经验来猜测它可能具有什么样的性质,这就是我们认为它具有某种性质的先验概率,然后在和它打交道的过程中不断修正这个先验概率,最终能够比较准确地了解这个事物。但目前不是所有的学习都可用贝叶斯模型解释。

2 世界是概率的还是规律的?世界之所以是这样,是因为它以这种面目出现的概率最大。所谓规律并不意味着绝对会这样,而只能说这样的概率太大了,以至于出现其他情况的概率通常被人们忽略。如果世界是概率的,那么概率是什么?Zheng Fawei:如果人脑的运算能力足够强,那么应该能够发现概率背后的规律,也就能够预测一切、解释一切。(大刘写过一篇科幻讲的就是这个,叫《镜子》可以到这里看全文:http://club.book.sohu.com/read_art_sub.new.php?b=science&a=22209&sr=2&allchildnum=50 pem:我是反對存在終極理論的。我只是覺得在各個層次上,都能找得到好用的規律,都用概率包打是不好的~

3 老何提出的一些关于认知心理学、发展心理学以及大脑结构功能的问题(太多,所以我记不清具体是那些问题了,下面根据印象总结一下,欢迎补充)。可以分层次来研究认知科学。底层:包括神经网络的拓扑结构、神经元的激活模式、信息在突触间的传递模式等(当然还可以进一步向下深入,研究神经元内的生化分子过程,不过这就是生物学的任务了)。高层:观察现象,总结规律。不需要知道背后的神经机制。即使知道了最底层的神经机制,也不一定能与高层的认知现象对应起来。(miner举的例子:你面前这台电脑,你可以拆开机箱来研究它的每一条电路,但知道了这些你就能知道屏幕上显示的是什么吗?)这需要把中间的层次也搞清楚才行。认知心理学与神经科学相结合,探索认知现象的神经机制,并进一步建立各种模型,这就可以看作是对中间层次的探索。要根据研究目的来决定研究到什么层面,如果只是功能模拟就没必要研究最底层的神经机制,建立的模型也不一定符合生物的神经网络。

另外:在讨论完毕以后,我们对两个问题做了小小的投票调查:

(问题1)如果最终证明大脑(或人的思维)等同于图灵机,你愿意接受吗?大家基本都表示愿意接受,多数人甚至表示这样的结果是非常令人振奋的(原因:这样很优美/这样就可以实现强AI/等等),有人表示理智上可以接受但情感上很难接受

(问题2)你认为所谓的灵感/直觉/顿悟是可计算的吗?大概一半认为可计算,另一半表示现在还不清楚需要更多的研究证据,没有人完全认为不可计算。

结论是:本次读书会的参加者们表现出了强烈的计算主义倾向 :D

 Zheng Fawei总结 

ppt和程序中(均作了稍许修改)

NeuralNetworks.pdf 是活动用的ppt,原先的.pptx文件用office2003打不开,所以转换成了pdf格式;

SingleNerveCell文件夹里有训练单个神经元的程序;

SingleNerveCell.f90nervecell.f90 是源代码;

SingleNerveCell.exe 是编译好的可执行文件(机器配置不同的话可能运行不了,须重新编译);

train.dat是训练样本,共200组:每组三个数,第一个数比第二个数大的时候 第三个数为1,反之第三个数为零。训练过的神经元能判断两个数的大小;

SingleNerveCell.slnSingleNerveCell.vfprojivf编译器+MS VisualStudioproject文件,用其他编译器时不需要这两个文件。

程序运行时:

首先选择神经元的种类 delta函数 / sigmoid函数 型神经元;

    然后选择学习速率;

    接着选择学习样本数(1-200)

    回车后会输出训练过的神经元参数;

    之后是测试阶段,输入两个数, 程序会给出计算结果;

    最后选择是否接着测试;

    运行时程序同时给出文件 b.dat, 文件包含依次训练每个样本后的神经元参数。

NeuralNetworks 文件夹里有神经网络的程序,这个程序可以搭建,训练和测试 任意结构的 分层、前馈并且层间全互连的神经网络;

Main.f90 ElementaryNeuralCell.f90 TrainAndTest.f90 TypeNeural.f90 random.f90是源代码。Main.f90是主程序,其他是主程序用到的模块。模块random.f90是从Netlib.org下载的随机数生成器。

NeuralNetWorks.exe 是编译好的可执行文件(机器配置不同的话可能运行不了,须重新编译);

net.dat 是定义网络结构的文件, 文件中的第一个数字是神经网络的层数n,文件接下来有n+1个数。第一个数是神经网络输入数据个数,之后依次是从输入端到输出端的各层神经元的个数。

作为例子,net.dat定义的网络有九个输入数据,一个输出数据,三层神经元,各含有9个、3个和1个神经元。

training.dat 是训练样本,第一个数是样本总数目,之后是每个样本的输入数据和理想的输出结果;

net.dat中神经网络输入数据个数和输出数据个数需要与training.dat 中每个样本中的数据个数相匹配。

作为例子,training.dat中的数据是 9个数排成三行三列。

    如果同一行里的数都是相同的, 就输出1

        1 1 1

          0 0 0

          1 1 1   对应的输出是1

    如果同一列里的数都是相同的, 也输出1

         0 1 0

           0 1 0

           0 1 0   对应的输出是1

九个数全是0 或全是1 的这种特殊情况 输出也是0

其他情况的输出都是0

SingleNerveCell.sln SingleNerveCell.vfproj ivf编译器 + MS VisualStudio project文件;

程序运行时:

提示输入训练循环数, 对于附件中的training.datnet.dat 建议选取 1000 左右;

training.dat中共有512个样本,1000个循环 共训练了 512000次;

接着提示学习速率,建议选取 0.2 左右;

学习完成后进入测试阶段;

程序给出神经网络的计算结果;

最后提示是否接着进行测试。

研讨:“羊交换斧头”与市场经济起源

十月 23rd, 2009 by 集智俱乐部

    回溯到一把斧子换一头羊的交易,我们能否只追随它的脚步就能到达大兴于世的市场经济呢?
    在搜寻的路上,会有一些分叉和迂回,也许偶然或必然间,我们就会发现另外一串脚印:国家在推动商业发展、市场经济形成过程中的挣扎。
    “城邦”、“航海”、“贸易(抢劫)”、“货币”、“君主”……这一系列的珍珠,将串起我们搜寻市场经济起源的发现。
    在自由经济的呼声仍然不减的今日,在市场经济起源的讨论中,你会发现真实的情况远远要复杂的多、迷人的多。

    时间:2009年10月25日,14:30
    地点:三号会所
    主讲人:王敬敬(Cassie)(中国社会科学研究院)

    参考书目:希克斯《经济史理论》(以这本书为主),张夏准《富国陷阱》;兰德斯《国富国穷》

    豆瓣活动主页:http://www.douban.com/event/11166506/

    欢迎大家来参加!

集智AI小组第十一次活动纪要

十月 23rd, 2009 by 集智俱乐部

    时间:10月11日(周日)下午2点开始
    地点:三号会所(地址路线见 http://swarmagents.scinese.com/三号会所介绍/  或
http://www.douban.com/photos/album/13343561/
    费用:参加活动每人15元(含一份饮料) [注:这是三号会所收取的场地费,我们的活动是免费的]

    主题:
    1)自我介绍;
   
    2)讨论《The Cambridge Handbook of Computational Psychology》的第一部分和第四部分,即:
    Ch.1 Introduction to computational cognitive modeling
    Ch.25 An evaluation of computational modeling in cognitive science
    Ch.26 Putting the pieces together again
    请诸位事先阅读这三章,电子版可从Google group的页面
    (http://groups.google.com/group/swarmagents_ai/files)下载;

    3)后面几次的主持分工
    请先浏览一下《The Cambridge Handbook of Computational Psychology》的第二部分,选择自己想主持的章节,否则由我分配;

    4)哪位有项目的想法,可以讲出来大家讨论~

    活动总结文件下载

研讨:科幻与科学——关于时间的思考

九月 30th, 2009 by 集智俱乐部

Poster of the activity

    时间:2009.9.26  14:00~18:00
    地点:三号会所

    活动介绍

    《湍流》是张凡夕第四部公开上映的短片作品。 改编自日本科幻作家小林泰三短篇小说《醉步男》。
    http://www.douban.com/subject/3091791/

  
  人们都说时间像河流一样不可逆转。
  但河流中 偶尔也会有湍流漩涡。
  最爱的人的死让杜宇无法接受。
  一场意外 让他具备了跨越时间的能力。
  救她的机会只有一次。
  他开始和时间战斗。

    那么物理学家门究竟给我们描绘了一种怎样的时间图景呢?片中介绍的这种通过改变自由意志而改变时间究竟是不是违背无力法则的呢?从经典物理到热力学与统计物理再­到相对论和量子力学,集智俱乐部将带领你倾听牛顿、哈密顿、爱因斯坦,以及玻尔兹曼、普里高津以及薛定鄂、冯诺依曼等科学大师们对时间的看法。

    活动具体安排:
    14:00~14:40
    观影《湍流》
    14:40~15:00
    特邀嘉宾,北师大科幻文学硕士郭凯从科幻电影的角度讨论这部片子

    15:10~16:00
    Jake给大家带来一个科普报告《时间的进化——从牛顿到冯诺依曼》
    16:00~18:00
    自由讨论

    讲稿下载

集智俱乐部八月活动之郊游

八月 31st, 2009 by 集智俱乐部

sitting around  

  集智假期出游,闲聊畅谈。
    追古先划未来,无有前后;由琐末至天地,不论细巨。
 
    出游地:奥林匹克森林公园
    集合时间:2009.08.02 星期日上午十点;
    地点:奥林匹克森林公园南门(地铁八号线森林公园南门站)

View

集智俱乐部八月活动之“半年收割”——小组与大众的对话

八月 31st, 2009 by 集智俱乐部

    时间:2009.8.29 (周六)下午2:30——6:00
    地点:三号会所(集智俱乐部活动免费,会所收取每人15元饮料费)
    三号会所地址详见http://www.douban.com/photos/album/13343561/

    集智俱乐部的小组活动已经开展半年多了,迄今为止,我们已经陆续组建了四个小组(详见http://www.swarmagents.cn/return/groups.html)。半年多的实践证明,通过小组活动,确实可以使参与者获得更大的收获,并使俱乐部在科学探讨的深度上有所突破。为了使由于各种原因而没有参加小组活动的朋友们对每个小组的情况都有一个大概的了解,我们从每个小组选择了一位代表(热力学与进化论小组因故暂缺),为大家介绍半年来各小组的进展,也为小组的活动做一个总结和“收割”。
    此次报告与小组活动的专业性有所区别,力求面向大众,通俗易懂,并欢迎大家讨论。

    活动流程:
    2:30——3:30 人工智能(AI)小组 报告人:Miner(人工智能学博士) 报告下载
    以人物为索引,我们阅读和讨论了AI方面的经典文献,包括维纳、冯·诺依曼、图灵、哥德尔、符号主义、逻辑主义、进化计算、遗传算法、贝叶斯网、连接主义。

    3:30——4:30 自由意志小组 报告人:廖松强
    半年来我们以意志为中心主题,进行了小组讨论、拜访参观、邀请报告等活动,涉及身心医学、生命科学、东方传统学问等方面。

    4:30——5:30 复杂经济学小组 报告人:王敬敬 报告下载
    到底经济学关心什么问题?哪些问题值得我们花更时间、甚至一生去研究?复杂科学的一些术语在经济学领域有哪些限制?有哪些新的含义?复杂科学的研究方法用在经济学中有哪些局限性?我们思考着这些问题,还将继续思考下去。

    5:30——6:00
    自由交流

集智AI小组第九、十次活动纪要

七月 6th, 2009 by 集智俱乐部

    时间:6月28日(周日)下午2点开始
    地点:三号会所

    活动内容:讨论AI的连接主义
    1)连接主义概述
    2)01-_-19介绍MP模型和Hebb学习律  文件下载
    3)pem介绍反向传播算法和Boltzmann机  文件下载
    4)miner简介感知机(perceptron)与支持向量机(SVM)  文件下载