学习观笔记

第一章 学习与记忆

记忆

• 用来解决情况有限的情景

• 缺点

  • 容量有限

  • 难以集齐

    学习

• 从有限例子中找出规律的过程

• 找出的规律叫知识

• 知识用于压缩信息

  第二章 怎样学习

  学习要明确什么

  什么是问题 什么是答案

  区分

  学习不等于记忆 知识不等于信息

  学习步骤

  先尽可能地搜集更多例子帮助体会问题和答案之间地关系，当真正学会地时候，这些例子就被压缩成知识。同时用新例子验证知识的有效性。

第三章 学习误区

错误的输入输出

例如学习英语的输入输出应该是 英语声音-》意思 而不是 英语声音 -》 中文 -》 意思

错误的学习方式

要区分思考类和运动类两种学习，思考类学习擅长推理，运动类学习擅长运动语言等。不能通过看书来学习游泳。

不用例子学习

仅仅学习总结性语句，就会把总结当成信息来记忆，而不是知识进行学习。

第四章 应用误区

应用局限

我们可以同时应用多个运动类知识，但思考类知识仅仅能同时运用一个

分而治之

• 我们经常直接从一个输入尝试一次解决整个问题
• 我们的知识是有限的
• 将问题拆分成一个个能一次性解决的小问题
  • 可以将原本需要掌握的指数级知识量才能解决的问题变成用线性知识量就可以解决的问题

第五章 思维导图

常见学习

• 阅读知识描述

• 理解文字信息

• 不断重复描述

  思维导图

• 列关键词 - 明确任务输入输出

• 它是什么 - 将信息压缩成知识

• 它的目的 - 用例子重塑大脑连接

• 拆分知识 - 二阶知识拆分知识

  二阶知识

  描述知识与知识之间的关系

  画思维导图

• 搜集例子

  • 头脑风暴
  • 上网信息

• 自我提问

  • 一阶知识 - 变量与变量之间的关系
    • 分类
      • 它是什么
      • 为什么是
    • 回归
      • 他的目的
      • 如何达成
  • 二阶知识 - 知识与知识之间的关系
    • 组合关系 - 它有什么
    • 执行步骤 - 先后顺序

第六章 费曼技巧

学习

• 将信息压缩成知识

• 明确输入输出任务

• 例子重塑大脑链接

• 拆分知识理清关系

  解释

• 提取压缩

• 转为语言

  • 明确任务
  • 拆分知识
  • 理清关系

• 列举例子

  • 新例子
  • 新视角

第七章 运动类学习

隐式知识

学习原则

• 明确任务的输入输出
• 用例子重塑大脑连接

学习步骤

• 看单词的英语解释
• 多看例句体会意思
• 选择常用的简单句
• 看句子 -- 像场景
• 表达欲 -- 打出字
• 听句子 -- 像场景
• 表达欲 -- 说句子
• 该单词 -- 再重复

第八章 感知与真实

不完全信息

任何生物都无法得到所有信息，我们得到的信息都是有限的。

模型与真实

大脑追求的不是真理而是可以让我依赖和坚信的模型。 模型感知的不是真实，缺失我们唯一的生存依赖。

第九章 建模欲望

好奇心的作用

• 搜集例子

• 建立模型

  好奇的对象

• 例子

  • 输入
  • 输出

• 知识

  • 分类

  • 回归

    好奇心的应用

• 演讲

  • 寓言故事
  • 故事引入

• 标题

  • 例子残缺 - 仅提供输入或输出而不提供完整的两者，引诱人们的好奇心
  • 知识白送
    • 分类知识 - 判断依据
    • 回归知识 - 如何做到

• 学习

  • 自我相关
  • 自我提问

• 广告

  • 知识包装

  • 特例说服

    固执心

• 拒绝新知识

• 将新知识转换为旧的已知

第十章 什么是信息

熵

宏观态对观察者而言具体是那种微观态的不确定性叫做熵。

信息

能消除宏观态不确定性的事物叫做信息。

信息量

• 调整概率

• 排出干扰

• 确定情况

  噪音

  不能消除宏观态不确定性的事物成为噪音

  数据

  数据是信息和噪音的混合，需要用信息分开

  传递

  同一个观察者，对同一件事情接收到的信息与用于传递信息的信号形式无关。

  概率、熵与信息

  概率是宏观态的微观态的确定性 熵是宏观态的微观态的不确定性 信息描述的是一个观察者确定一个宏观态是哪个微观态的物理量。接收到的信息是相对于观察者已经对该件事情的实际了解程度而言的。

第十一章 如何测量信息

均值分布

\(\log_2 m\)

一般分布

\(\sum p_i\log_2 {p_i^{-1}}\)

第十二章 时间之矢

热力学第二定律

孤立系统的熵只增不减。

生命

生命以负熵为食。生命使用信息来减熵，从而维持自身状态。

第十三章 信息与智能

智能

• 学习 - 构建模型的能力
• 存储 - 存储模型的能力
• 应用 - 应用模型的能力
• 或能 - 获得能量的能量
• 熵差 - 自身减熵大于自然熵增

第十四章 生命涌现

涌现

只有稳定的智能体之间有规律的相互作用才能形成更高层次的智能体。

第十五章 记忆

生命稳态

应激反应即可完成维持生命稳态的作用。

移动演化危机

• 自然演化 ： 大量生成个体 -》 环境筛选 -》 保留合适个体

• 多细胞生物： 如果每个细胞都可以随时变异，那就无法形成一个稳定的整体。过低的变异绿使多细胞生物无法获得足够的差异性。

• 有性生殖 ： 有性生殖在保证个体稳定性的基础上增加差异性，但条件是需要充分移动来洗牌。

• 移动 ： 大范围的移动使演化速度跟不上移动造成的环境变化速度。

• 多细胞生物需要让个体在生命周期内拥有学习能力。

  高等生命危机

  个体想要存活就不得不从有限的例子中构建一个也能识别从未见过的情况的模型，这就是学习。

  模型泛化能力

  模型可识别从未见过的情况的能力叫做泛化能力。

  避免过拟合

  通过遗忘部分来避免过拟合。

  记忆

  记忆是让生物可以从历史的现象中学习。

第十六章

重复与遗忘

在神经网路中不断尝试表现的现象就是重复，不断筛选所表现的现象就是遗忘

大脑特性

一个例子虽然容易遗忘，但在不同的场景就可以使同一个例子就会被大脑认为是不同的例子。

表征

找出特征并进行判断就是表征。

第十七章

感知

感知是神经细胞群基于感受细胞电脉冲对环境做出的猜测。

模态

承载信息的信号形式叫做模态。

模态融合

不同模态对同一事件的预测可能不同。 任何一个模态获得的信息可能不足以做出可靠的猜测。 模态信息同步，当多个信息同步时，大脑会更加相信这种猜测。并更加相信这种猜测。