Chapter 1 · Introduction to LLMs

Author: Yann · latest: March 2025

Preface

开篇寄语

回顾人类历史，大语言模型就像是技术宇宙大爆炸的起点。在2022年之后人类已经点燃了火线，人类的进行将会被这次大爆炸推着向前走。

何为智能

为什么我要做这个系列，我的观点是知识和技术将逐渐成为免费商品，但思想不是。现在比以往任何的时候都能够获取到成吨的知识和信息。

尽管即使知识触手可及，但是学习范式和过去是不一样的。过去是因为知识数量少所以找不到，现在是知识数量多所以找不到。

在这个时代下，创造和提出有价值的问题比答案本身更加重要。提出的问题，Prompt就像是火炬，越精细提示题越是能给出正确的方向，从而找到你想要的东西。

系统一与系统二

OpenAI O1和DeepSeek刚出来的时候，我翻开原来一本很喜欢的书叫做《思考快与慢》重新进行阅读。里面提到了两个概念，系统一与系统二。

这两个系统对应了人类的两种思考模式，第一种是直觉型的快速思考，第二种是反思型的深度思考。为什么我说2025年是AI元年，原因是AI已经从直觉型进化到能够推理的深度思考了。

对于人来说，深度思考并不是一件容易的事情，这个需要进行长时间的注意力，数学推理，代码编程等刻意训练。就像我在准备课程讲义的时候，有一个思考，那么我要进行search。

一个思考引发了下一个思考，看到了一个新的观点，或许和过去的观点冲突，那么我要进行research。这种不断评估与重新审视的过程就是系统二在发挥作用。

AI不是你的电子大脑

任何美好的东西都会让人产生依赖，包括AI。大语言模型有问必答，问什么问题就会得到什么样子的答案。一切唾手可得的知识会让人产生不愿深度思考的惰性，并没有把外部知识体系融入自己的知识建构中。

我并不排斥使用AI搜索知识，但是对外部知识工具的过度依赖容易让人产生浅薄的思维惯性，减少对系统二的使用甚至退化，从而人不再是知识的生产者而是知识的消费者。

这样的焦虑早在互联网时代就存在，有一本书叫做《浅薄》，尼古拉斯·卡尔关于互联网对人类大脑影响的，提出了互联网在让我们变得更加浅薄的观点？类似的，AI在短期记忆上有着超越人类的绝对优势，但人类是能够拥有几十年长期记忆的生物，如果把记忆与知识外包给AI，那么将会对具有可塑性的大脑造成严重的损害。

Router与Creator，Producer与Consumer

人的价值不应该是一个Router，遇到一个问题，加入一些自己的理解，找一个对应的AI来去回答，作为中间人进行消息的传递。

大模型有点像一个大的宝藏库，里面有大大小小的各类箱子，每个箱子里面都是人类总体知识提炼总结过后的。但问题是，这么多经过处理过的知识，哪一把钥匙是属于你的？尽管你能够这些获取无穷无尽的宝藏，这些宝藏又是否真正的属于你？

我不愿意让AI成为我的电子大脑，也不希望任何事情都对AI形成系统性的依赖。我之所以是我是因为我有过去20年的经验和长期记忆，如果没有内化外部的知识，仅是作为一个router而不是creator。这些知识是从我的头顶绕过还是真正属于我的一部分？

在知识体系的构建上，我对AI在任何所有的知识服务上进行了判决，AI能够给出差不多的答案，但是我不希望人类成为会被AI代替的差不多的人。

开篇结语

学会问问题，那就有了学问。知道的时间长了那就有了智慧。AI将人类从繁杂的工作流中抽离出来初衷是让人类Think smart而不是think hard。是被工具同化，还是使用工具，这将会是未来十年人类将进行反思的问题。

AI Development Timeline

Symbolic AI 1950s - 1980s

Dartmouth Conference

1950年代至1980年代，人工智能经历了从理论构想到早期实践的关键发展阶段，奠定了今天AI技术的基础。1956年，达特茅斯会议的召开标志着AI作为一门独立学科的正式诞生。在这次会议上，麦卡锡、明斯基、香农等学者提出了“人工智能”这一术语，并设想机器能够像人类一样进行推理、学习和自我改进。这一时期的AI研究主要围绕符号主义（Symbolic AI）展开，研究者试图通过规则、逻辑推理等方式模拟人类智能。然而，这种方法虽然在理论上看似合理，但在实际应用中受限于知识获取和计算能力，难以处理复杂、非结构化的数据。

Perceptron

与此同时，1959年弗兰克·罗森布拉特提出了感知机（Perceptron）模型，这是第一个可以学习数据的人工神经网络。感知机的出现使AI研究进入了机器学习（Machine Learning）的探索阶段，机器开始具备了根据数据调整自身参数的能力。然而，由于感知机只能解决线性可分的问题，无法学习如异或（XOR）等非线性函数，因此在1970年代被马文·明斯基和西摩·帕珀特的研究所批判。随着感知机的局限性暴露，神经网络研究进入了低潮期，这也导致了第一次AI寒冬（AI Winter）的到来，许多研究经费被削减，AI的发展陷入瓶颈。

Expert Systems

尽管神经网络的发展受挫，AI在1970年代至1980年代找到了新的方向——专家系统（Expert Systems）。专家系统基于符号主义AI的理念，构建了一个庞大的知识库，并通过推理引擎模拟人类专家的决策过程。MYCIN、DENDRAL、XCON等早期专家系统在医学、化学、制造业等领域展现了强大的应用潜力，使AI第一次在工业界产生了真正的商业价值。IBM等公司在这一阶段大力投资AI，推动专家系统的广泛应用，并为后来IBM Watson的开发奠定了基础。然而，专家系统的局限性也逐渐显现，知识库的构建需要大量人工维护，规则系统难以扩展，面对不确定性和动态环境时表现不佳，最终导致专家系统的热潮在1980年代末逐渐衰退。

Limitation

从1950年代到1980年代，AI经历了从符号主义到神经网络的早期尝试，又从神经网络的失败回归到基于知识的专家系统，这种发展路径反映了AI在不同技术范式之间的摇摆和探索。尽管这一时期的AI技术仍然存在诸多局限，但它们奠定了许多关键概念，并为后来的深度学习、强化学习等新技术的崛起提供了重要的理论基础。

Statistical AI 1980s-2010s

Backpropagation

从1980年代到2010年代，人工智能经历了从专家系统的繁荣到神经网络的复兴，再到深度学习引领的新革命。这一时期，AI 逐步从基于规则的符号主义（Symbolic AI）过渡到数据驱动的统计学习（Statistical Learning），并最终迎来了深度学习（Deep Learning）的突破。

1980年代，人工智能的研究重点集中在专家系统上，这些系统依赖手工编写的规则库，通过逻辑推理来进行决策。像 DENDRAL 这样的化学分析专家系统，MYCIN 这样的医学诊断系统，以及 XCON 这样的计算机配置系统，展示了人工智能在特定任务上的潜力。然而，专家系统的局限性逐渐显现，它们严重依赖人工构建的知识库，难以处理非结构化数据，也无法自我学习，随着任务复杂性的增加，系统的维护成本急剧上升。到1990年代，专家系统的应用逐渐衰落，而数据驱动的机器学习方法开始崭露头角。

IBM Deep Blue

在1997年，IBM 的 Deep Blue 在国际象棋比赛中击败了世界冠军卡斯帕罗夫，这一事件标志着 AI 在特定领域超越人类的里程碑。Deep Blue 并不具备真正的学习能力，它依靠的是强大的计算力和搜索算法，通过极其高效的 Minimax 递归搜索、Alpha-Beta 剪枝等方法，在短时间内评估庞大的棋步组合，从而做出最优决策。尽管 Deep Blue 的成功令人震撼，但它的能力是高度局限的，无法泛化到其他任务。它的胜利更多地依赖于计算能力的提升，而非对人工智能本质的突破。

与此同时，人工神经网络的研究在1980年代一度陷入低谷，但1986年 David Rumelhart、Geoffrey Hinton 和 Ronald Williams 提出了反向传播算法（Backpropagation），使得多层神经网络能够被有效训练。这一算法利用链式法则计算误差的梯度，并通过梯度下降调整权重，使得神经网络能够在复杂的非线性问题上进行优化。然而，由于计算资源和数据规模的限制，神经网络在当时并未取得重大进展，研究重点仍然围绕支持向量机（SVM）、决策树（Decision Trees）等更易训练的机器学习方法展开。

IBM Watson

进入21世纪，随着互联网的普及，大规模数据的积累为 AI 的发展提供了新的动力。2011年，IBM Watson 在《Jeopardy!》电视知识竞赛中击败了最强的人类选手，展示了 AI 在自然语言处理和知识推理上的突破。Watson 的核心技术结合了自然语言理解、信息检索和统计推理，它能够解析复杂的问题，并在庞大的知识库中找到可能的答案，并结合概率评估系统，给出最优解。然而，尽管 Watson 在 Jeopardy! 竞赛中表现优异，它在医疗诊断等现实应用中遇到了巨大挑战，难以适应高度动态的临床环境，也暴露了统计学习方法在可解释性上的局限。

AI 在这一时期的挑战之一是统计学习的可解释性问题。与符号主义 AI 依赖明确规则不同，基于深度神经网络的机器学习模型往往是“黑箱”，即模型的决策过程难以被直观理解或解释。在高风险领域，例如医疗、金融和法律，AI 的不透明性可能会导致难以信任或应用的情况。统计学习虽然在模式识别上取得了巨大成功，但它缺乏逻辑推理能力，无法进行因果推断（Causal Reasoning），也难以像符号主义 AI 那样进行结构化的知识推理。这引发了学术界对 AI “统计学习 vs 逻辑推理” 的讨论，即 AI 应该更多地依赖数据驱动的统计方法，还是应该结合符号逻辑以提高泛化能力和可解释性。

Limitation

从1980年代到2010年代，AI 的发展经历了从专家系统到机器学习的转变，再到深度学习的兴起。AI 逐渐从基于规则的逻辑推理范式转向基于数据驱动的模式识别方法，并在计算能力、算法优化和大数据的推动下取得了突破。然而，在这一过程中，AI 仍然面临诸多核心问题，比如可解释性、因果推理、以及如何结合统计学习和符号逻辑的方法，以实现更通用、更强大的人工智能。这些问题仍然未被完全解决，并且成为了 2010 年代后期 AI 研究的关键方向。

Deep Learning 2010s-2020s

Computer Vision

从2010年到2020年，人工智能进入了深度学习主导的黄金时代。得益于计算能力的提升、海量数据的积累以及神经网络架构的优化，AI 在多个领域实现了突破，彻底改变了人类与机器交互的方式。

2012年，AlexNet 的出现标志着深度学习在计算机视觉领域的革命。通过使用深层卷积神经网络（CNN），AlexNet 在 ImageNet 图像分类比赛中远超传统方法，证明了深度学习在模式识别任务上的巨大潜力。这个突破引发了整个 AI 研究社区的关注，促使计算机视觉进入了一个高速发展的阶段。随后，VGG、ResNet 等更深层的神经网络架构相继问世，推动了自动驾驶、医疗影像分析和人脸识别等应用的成熟。

2014年，生成对抗网络（GAN）被提出，使 AI 具备了前所未有的创造能力。GAN 通过生成器与判别器的对抗训练，能够生成高度逼真的图像、音频和文本，从而开启了 AI 在内容创作领域的新纪元。随着 StyleGAN、BigGAN 等模型的出现，AI 生成的图像在真实度上已难以与人类作品区分，DeepFake 技术的兴起更是引发了伦理和安全方面的广泛讨论。

Reinforcement Learning

与此同时，强化学习也迎来了历史性突破。2016年，DeepMind 研发的 AlphaGo 在围棋比赛中击败世界冠军李世石，展现了 AI 在复杂决策任务中的超凡能力。不同于传统的基于搜索的博弈 AI，AlphaGo 结合了深度神经网络和强化学习，使得机器能够通过自我博弈不断优化策略，并最终在复杂的博弈环境中超过人类棋手。这一成就不仅推动了 AI 在游戏智能方面的研究，也在机器人控制、自动驾驶和金融交易等领域带来了深远影响。

Nature Language Processing

如果说 CNN 让 AI 具备了视觉理解能力，GAN 让 AI 进入内容生成时代，AlphaGo 展示了 AI 在决策推理上的优势，那么 2017 年 Google 提出的 Transformer 架构则彻底改变了自然语言处理的格局。传统的循环神经网络（RNN）和长短时记忆网络（LSTM）由于计算上的局限，难以高效地处理长文本，而 Transformer 通过自注意力机制（Self-Attention）大幅提升了训练效率，并推动了大规模语言模型（LLM）的发展。基于 Transformer 的 BERT 使 AI 具备了更强的上下文理解能力，而 GPT-3 则进一步提升了文本生成质量，使得 AI 在对话、代码生成、自动写作等任务上表现得越来越接近人类。

Imagination of Future AI

在这一时期，人工智能不再局限于学术实验室，而是全面进入工业应用。深度学习驱动的 AI 被广泛用于智能推荐、医疗诊断、语音识别、金融分析和自动驾驶等领域。AI 的商业化浪潮使科技公司纷纷加大投入，推动了 AI 计算基础设施的建设，大规模 GPU 计算集群和云端 AI 服务逐步普及。然而，深度学习的成功也带来了新的问题，比如 AI 是否真正理解世界，还是仅仅在进行模式匹配？Transformer 架构能否通向通用人工智能（AGI），还是仅仅是一个参数规模不断扩张的系统？神经网络是否是 AI 发展的最终范式，还是未来会出现更具推理能力和可解释性的架构？

这些问题仍然没有明确答案，但可以确定的是，2010年至2020年这十年间，深度学习彻底改变了人工智能的面貌，使 AI 从实验室走向了现实世界，并重新定义了人机交互的未来。

Neuro-Symbolic AI 2020s-2030s

从2020年代到2030年代，人工智能的发展逐渐摆脱了以往深度学习时代对数据和算力规模的单纯依赖，开始向更智能、自主的AI 代理（AI Agent）方向进化。在这一过程中，大语言模型（LLMs）作为智能体（Agent）、AI 作为产品（Model as Product）以及强化学习（RL）在智能体中的深度应用（RL in the House）成为三大核心趋势。这些变化不仅重新定义了人工智能的架构，也让AI从工具变成了可以主动感知、规划、执行任务的自主智能体。

LLMs as Agent

在2020年代初期，LLMs 主要被用作被动的交互系统，如 ChatGPT 之类的聊天助手，但很快人们发现，这种模式受限于单轮对话、缺乏长期规划能力，以及无法自主操作工具的局限。因此，AI 社区逐渐探索如何让 LLM 具备更强的自主性，使其能够不再仅仅是文本预测器，而是可以像人类一样与环境交互，完成多步任务。这种转变推动了 LLM 作为智能体（LLMs as Agent）的兴起，其核心在于让模型能够结合工具调用、环境探索和长期规划，从而具备解决复杂任务的能力。

管道式 AI 代理架构流程图：User 提交 Task 后依次经过 Step generation、Tool selection、Progress evaluation 三个环节，每个环节各自调用一次 LLM；Tool selection 向五个并列的 Tool 下发 Instructions 并收回 Result，Progress evaluation 判断 Goal accomplished，未完成则把 Goal progress 回送给 Step generation 开始下一轮，完成则向 User 返回 Final result。

最初的 AI 代理系统仍然依赖复杂的工具调用管道，即通过预设的代码流程 orchestrate（编排）各种工具，LLM 只负责提供部分决策逻辑。这种方式虽然在结构化任务上较为可靠，但当面对开放性问题或多变环境时，其适应性和灵活性不足。因此，新一代 AI 代理系统开始采用循环交互架构（Iterative Loop），让 LLM 在环境中不断感知、行动、调整策略，并自主决定如何使用工具。这一架构的演变，使得 AI 能够在信息检索、代码编写、数据分析等任务中展现更高的任务完成率，并显著提升了适应性。例如，OpenAI 开发的 Deep Research 代理不再是简单地在 GPT-4 之后外挂搜索功能，而是通过专门训练，使模型内部掌握了自主搜索、阅读、筛选和整合信息的能力，实现了端到端的任务完成。这种转变的本质，在于让 LLM 由单纯的响应式系统，进化为可以自主推理和决策的 AI 代理，使其在面对复杂任务时具备更高的效率和可扩展性。

Model as Product

随着 AI 代理的能力提升，模型的商业化模式也发生了根本性的变化。过去，大型 AI 公司主要通过提供 API 供开发者调用，使 AI 成为 SaaS 产品的底层技术支持。然而，这种模式导致 AI 公司难以直接控制用户体验和价值捕获，因此，越来越多的企业开始将 模型本身打造为产品（Model as Product），使 AI 不再只是幕后技术，而是直接面向终端用户提供服务。

循环交互式 agent 架构图：中心是 LLM Call，与 Environment 之间由 Action 与 Feedback 构成闭环；Human 与 LLM Call 之间是双向虚线交互；LLM Call 另有一条向下的虚线通往 Stop 终止节点。

这种趋势在 OpenAI、Anthropic 和 Replit 等公司的产品战略中表现得尤为明显。OpenAI 过去曾主要依赖 API 生态，但从 ChatGPT 推出的那一刻起，OpenAI 就不再仅仅是模型提供商，而是一个拥有完整 AI 体验的产品公司。Anthropic 也采取了类似的路径，Claude 作为 AI 助手，不仅仅是一个可以被其他软件调用的 AI 模型，而是一个独立的产品，拥有专属的用户界面和深度集成能力。而在编程领域，Replit 直接推出了 AI 编程代理（Coding Agent），让模型能够作为开发者的实时助手，不再只是提供代码补全，而是直接参与到整个软件开发流程中。

AI 作为产品的本质变化在于，AI 公司不再局限于售卖 API，而是通过完整的 UI 和体验，直接面向用户提供交互式 AI 代理。例如，在 AI 搜索、数据分析、编程自动化等领域，AI 代理正在逐步替代传统搜索引擎、BI 工具和 IDE 插件，成为用户的主要交互界面。这一趋势使得 AI 公司能够掌控更大的价值链，而不仅仅作为上游算力和模型的供应商，同时也推动了 AI 技术的更深度优化，使其更贴近用户需求。

RL in the House

在 AI 代理的演进过程中，强化学习（Reinforcement Learning, RL） 开始发挥越来越核心的作用。传统的 LLM 主要依赖有监督学习进行训练，但在 AI 代理架构下，单纯的监督学习无法满足 AI 在开放环境中进行自主决策的需求，因此 RL 成为了让 AI 学会复杂任务执行的关键技术。

强化学习的引入，使得 AI 代理可以通过试错（trial and error）优化自己的行为，并在长期规划中做出最优决策。例如，在 WebGPT 项目中，研究者让 GPT-3 在浏览器环境中进行搜索，并通过人类反馈强化学习（RLHF）让 AI 逐步学会如何更高效地找到正确答案。这种训练方式，使得 AI 不再只是静态地生成答案，而是可以自主评估信息、搜索和校正错误，从而提高答案的可靠性。

除了搜索任务，RL 在多步决策、代码自动化、对话管理等任务中也展现了巨大潜力。例如，苹果的 AI 研究团队发现，经过 RL 训练的 AI 代理能够自主地查询 API 文档、修正错误、优化代码，而不像传统 LLM 那样容易犯低级错误。更进一步，强化学习与 AI 代理的结合，也使得 AI 能够在复杂任务上展现更高的智能，例如 OpenAI 发现，即便是较小的模型，通过 RL 训练后，也可以在数学推理和代码生成等任务上达到接近 GPT-4 的水平。

强化学习的引入，不仅提升了 AI 代理的智能水平，也解决了许多传统 LLM 面临的局限性，例如短视（myopic decision-making）问题、连贯性问题以及安全对齐问题。通过 RL 训练，AI 代理可以更好地适应环境，在面对复杂任务时具备更强的规划能力，并在长期优化中不断提升自身能力。

Critical Moment

2020-2030 年代，人工智能正在经历一场从被动工具向自主智能体的转变。LLMs 正在摆脱单纯的文本生成任务，向具备主动感知、规划和行动能力的 AI 代理进化，这一趋势使得 AI 可以独立完成越来越多的复杂任务。与此同时，AI 的商业模式也发生了变化，AI 代理不再只是后台的 API，而是成为独立的产品，直接服务用户，提供完整的智能体验。而强化学习的深入应用，则让 AI 代理具备了更强的自学习和适应能力，使其能够在开放环境中不断进化，最终朝着更通用的智能方向迈进。

这三大趋势共同推动了 AI 进入真正的智能化阶段，使其从简单的任务执行工具，成长为具备自主决策能力的智能体。在未来的 AI 生态中，我们将见证 AI 代理在搜索、编程、决策、科学研究等领域取代传统工具，成为真正的数字化合作伙伴。而在更长远的未来，这种能力的进一步增强，可能将使 AI 迈向真正的通用智能（AGI），彻底改变人类与智能系统的交互方式。

Can AI Predict Future?

人工智能是否能够预测未来，这个问题的本质实际上与计算理论中的「可计算性」问题息息相关。AI 作为一种计算系统，本质上依赖于数据驱动的模式识别，它能够发现历史中的模式，并根据这些模式进行预测。然而，未来并不是一个简单的数学问题，它涉及混沌系统、随机过程、反身性、博弈论等多个层面，而这些因素决定了未来在根本上是不可计算的。

从混沌理论的角度来看，市场和现实世界中的许多系统都是高度敏感的非线性系统，也就是说，初始条件的微小变化可能会导致巨大的最终结果。这种现象被称为蝴蝶效应，它意味着短期的变化或许可以被一定程度地预测，但长期趋势由于对初始条件的极端敏感性，最终会变得不可预测。这就像天气预报一样，我们可以预测接下来几天的天气，但要预测半年后的具体天气状况，就几乎是不可能的。同样，AI 可能可以预测市场的短期波动，但长期趋势受到太多复杂因素的影响，以至于无法通过计算来得出确定的结果。

即使我们假设市场是一个可以用数学模型描述的系统，Gödel 的不完备定理仍然告诉我们，任何足够复杂的数学系统都存在无法证明的命题。在市场的语境下，即便我们构建了一个完整的经济学理论框架，市场的未来走势仍然可能存在某些无法推导出的模式，这意味着 AI 无法给出市场走势的 100% 确定性预测。市场的本质并不只是一个数学计算的问题，而是一个涉及无穷变量的动态系统，因此 AI 的预测能力必然会受到数学理论的限制。

随机过程进一步揭示了市场价格的变化往往是随机游走（Random Walk）的。经济学中的布朗运动模型指出，市场价格的变动是无记忆的，换句话说，未来的价格变化不依赖于过去的价格历史，而是受到各种不可预测因素的驱动。如果市场的运动本质上是随机的，那么即便是最强大的 AI 也只能在统计意义上找到一些短期相关性，而无法真正预测未来的市场方向。

更进一步来看，市场并不是一个静态的环境，而是一个反身性系统（Reflexive System），即市场的走势会受到市场参与者行为的影响，而市场参与者的行为又受到市场走势的影响。AI 预测市场的结果本身会影响市场，如果一个 AI 能够 100% 预测市场，那么市场就会因为这个预测而发生变化，最终导致预测本身失效。这种自我修正的动态特性，使得市场不同于固定规则的棋类游戏，例如 AlphaGo 这样的 AI 之所以能够击败人类，是因为围棋的规则是固定的，而市场的规则却在不断演变。市场中的博弈对手不仅包括人类投资者，还包括其他 AI，它们会根据市场变化不断调整自己的策略。这种对抗性使得市场预测不仅是一个计算问题，更是一个博弈论问题，而博弈论告诉我们，在一个充满对抗和不确定性的环境中，往往不存在一个唯一的最优解。

在华尔街，量化交易已经将 AI 预测市场短期价格变动的能力发挥到了极致，但即便是最先进的高频交易系统，它们的预测仍然是基于概率的，而不是确定性的。这些 AI 可以在毫秒级别捕捉市场信号，并利用统计方法获取短期优势，但它们无法预测长期市场走势。2008 年金融危机之前，华尔街的 AI 预测模型未能发现次贷危机的风险，原因就在于这些模型依赖历史数据，而市场规则本身在变化。基于历史数据的统计模型无法预测市场何时会发生结构性变革，而这正是 AI 预测未来的最大难题。

如果市场本质上是一个「停机问题」的变体，那么 AI 在市场预测的终极能力是什么？停机问题告诉我们，某些计算问题是不可判定的，即不存在一个通用的算法可以在有限时间内得出一个确定答案。同样，AI 在市场预测上也只能进行「近似预测」，但永远无法进行「决定性预测」。如果 AI 真的可以 100% 预测市场，那市场就不再是一个自由交易的环境，而会变成一个确定性的系统，而这显然不符合市场的现实运作模式。

AI 预测市场的极限，并不是去寻找一个绝对的未来，而是优化决策，使其能够在不确定性中找到最优策略。这与物理学中的测不准原理类似，我们无法确切知道一个粒子的位置和动量，但我们可以用概率分布来描述它。同理，AI 无法给出市场未来的确定性结果，但可以基于概率模型找到最优的交易策略。换句话说，AI 的能力不是去「预测未来」，而是去「适应未来」，即不断学习市场变化，并在不同市场环境下调整最优决策，而这与确定性预测是完全不同的概念。

AI 可以发现市场的模式，但市场的本质仍然是混沌和随机的。市场的反身性确保了任何成功的预测都会改变市场自身，从而最终导致预测失效。量化 AI 交易可以在短期找到模式，但长期市场趋势仍然是不确定的，无法 100% 预测。AI 在市场预测的极限，不是构建一个能够完全掌控市场的超级智能，而是优化交易策略，使其能够在不确定性中获得最佳收益。

AI 能否预测未来？答案是，它可以在短期内发现模式，并通过概率建模进行优化决策，但它无法确定地预测未来，因为未来的本质是混沌、随机和反身性的。市场走势就像计算中的停机问题——我们可以观察它、猜测它，但我们永远无法 100% 确定它的最终状态。

Embedding & LLM Model

Anything as Embedding

要让机器具备跨模态理解能力，首先需要分析人类如何理解不同模态信息，以及机器在这方面遇到的困难。然后需要理解 Embedding 的核心概念，即如何将文本、图像、音频、表格数据和游戏环境等信息转换为高维向量表示。最后，跨模态理解的关键在于将所有这些不同类型的数据映射到一个共享的高维空间，从而让 AI 能够在这个空间中找到不同模态之间的对应关系，并进行融合推理。

Human VS Machine

人类对世界的认知是多模态的，我们能够无缝整合视觉、听觉、语言和触觉信息，并且具备上下文理解能力。当我们看到一张图片时，不只是看到像素点，而是能够立刻识别物体、理解它们之间的关系，并结合背景知识推测可能发生的事情。例如，看见一张有人在沙滩上奔跑的图片，我们可以推测天气可能很好，或者他们正在度假。语言也是如此，我们不只是处理单词，而是结合经验、语境和语法理解文本的深层含义。

相比之下，机器处理不同模态时面临巨大的挑战。首先，机器的感知方式是数据驱动的，它们只能处理离散的数据点（如像素值、音频波形、离散的文本 token），而没有人类的直觉和语境理解能力。其次，不同模态的数据格式和统计特性相差极大，例如：

这些不同的数据模态无法直接进行数学计算，因此需要一个统一的转换机制，使其可以被模型处理和学习，这正是 Embedding 所要解决的问题。

What is Embedding？

Embedding 是将离散或连续的数据转换为 高维向量表示，使其能够在一个统一的数值空间中进行计算。不同模态的数据在被输入到神经网络之前，都会被转化为 Embedding，使其在模型的高维语义空间中有可计算的意义。

对于文本，Transformer 模型首先会将单词或字符转化为 Token ID，每个 Token 会映射到一个固定维度的 Embedding 向量（如 768 维或 1024 维）。这个向量本质上是对单词的语义表示，通过训练后的神经网络，它能够捕捉单词的上下文信息。例如，在 "Apple" 这个词的向量表示中，它可能会与 "Fruit" 相关的向量靠近，但如果是在 "Apple releases new iPhone" 的语境下，它的向量表示会更接近 "Technology" 相关的概念。

对于图像，ResNet、Vision Transformer 等模型会将图像的像素数据经过卷积神经网络或自注意力机制处理，提取出关键特征，并映射到一个固定维度的 Embedding 空间。比如 CLIP（Contrastive Language-Image Pretraining）模型就会将一张猫的图片转换成一个向量，而这张图片的文本描述 "a cute cat sitting on a chair" 也会被转换成一个向量。通过训练，模型可以让这两个向量在高维空间中尽可能接近，从而学会对图像和文本进行匹配。

对于音频数据，模型通常会先转换成 频谱图（Spectrogram），然后通过卷积网络或 Transformer 进行处理，最终提取出音频的 Embedding。与文本和图像不同，音频是时间序列数据，因此模型需要额外处理时间信息，例如使用 Self-Attention 机制学习长时间依赖关系。

对于表格数据，模型会对不同列的信息进行 Embedding，并通过结构化的 Transformer（如 TabNet）来学习列与列之间的关系。表格数据的挑战在于它的结构化特性，使得不同的列可能具有不同的关系，而 Transformer 模型可以通过自注意力机制来捕捉这些关系，并生成语义上合理的 Embedding。

对于游戏环境，强化学习中的 AI 代理（Agent）会将游戏状态（State）转化为高维向量，并使用策略网络（Policy Network）进行学习。游戏环境的 Embedding 往往涉及多个模态的融合，例如视觉（游戏画面）、动作（Agent 采取的行动）和奖励信号（Reward）。DeepMind 的 AlphaZero 和 OpenAI Five 便是典型的例子，它们通过神经网络学习如何在高维策略空间中优化行动。

总的来说，Embedding 的核心作用就是将所有这些不同类型的数据映射到一个高维数值空间，使得模型可以基于数学运算进行相似性计算、推理和生成。然而，不同模态的数据各自具有独特的特性，因此跨模态理解的关键在于如何将这些不同的 Embedding 进行融合。

Cross-modality Embedding

跨模态理解的本质，是将不同模态的数据转换成相同的 Embedding 空间，并让模型在这个空间中学会不同模态之间的映射关系。这种映射关系，使得模型可以将一个模态的信息投影到另一个模态，从而实现语义一致的跨模态推理。

在现代 AI 领域，CLIP 是一个典型的跨模态模型，它通过对比学习（Contrastive Learning） 训练，使文本和图像的 Embedding 对齐。例如，CLIP 在训练过程中，会输入一张图片（如一只狗的照片）和多个文本描述（如 "a dog", "a cat", "a horse"），并让模型学习将正确的文本-图像配对的 Embedding 靠近，而让错误的配对分离。这种方式让 CLIP 具备了强大的零样本（Zero-Shot）能力，使得它可以直接理解并匹配从未见过的文本-图像组合。

对于更复杂的跨模态任务，如文本、图像和音频的结合，模型通常会采用 Transformer 架构，并在不同模态的 Embedding 之间引入自注意力机制。例如 BLIP-2、Flamingo、Gato 这类多模态 AI，能够同时处理文本、图像、音频，甚至是视频输入，并进行合理的生成或推理。它们的训练方式是将不同模态的数据都映射到统一的 Token 表示，并在共享的高维空间中进行计算。

此外，跨模态融合还可以通过 Latent Space Alignment（隐空间对齐） 的方式进行，即使用神经网络将不同模态的 Embedding 调整到具有语义一致性的空间。例如，文本和图像 Embedding 可以被投影到同一个潜在空间，使得表示同一概念的不同模态向量能够靠近。这样，AI 便能够基于 Embedding 进行推理，比如：

这种方法不仅提升了 AI 的泛化能力，还使得 AI 能够在跨模态任务中进行更自然的推理。例如，在自动驾驶领域，AI 需要整合视觉、激光雷达（LiDAR）、GPS 和地图信息，而将所有这些数据转换为 Embedding 并在统一空间中处理，可以极大提升自动驾驶系统的智能性和安全性。

最终，跨模态 AI 让机器具备了接近人类的多模态感知能力，使其能够理解文本、图像、音频、表格和游戏环境等信息，并进行跨模态推理和交互。通过统一的 Embedding 空间，AI 可以像人类一样，将不同感官信息融合在一起，从而更精准地理解世界。这种技术的发展，使得 AI 代理具备了真正的多模态智能，使其能够在更广泛的任务中进行推理和决策，推动 AI 进入下一个智能时代。

Summary

开篇核心观点

系统一与系统二思维

AI依赖的警示

Router vs Creator的思考

符号主义AI时代(1950s-1980s)

统计学习AI时代(1980s-2010s)

深度学习时代(2010s-2020s)

神经符号AI时代(2020s-2030s)

LLMs作为智能体(Agent)

模型即产品(Model as Product)

强化学习深度应用(RL in the House)

AI能否预测未来?

Embedding与跨模态理解

人类vs机器的感知差异

Embedding的本质

跨模态融合