欢迎来到本期AI Update。 大家好。 今天我们来深入聊一聊一个在人工智能领域, 可以说至关重要的概念, 向量嵌入。Vector Embedding。 对,你可能在很多地方都听到过这个词了, 特别是聊大模型、 推荐系统、搜索这些的时候。 没错,现在非常火。 所以我们今天的目标就是不光让你知道 它叫什么, 更想让你彻底明白它为什么这么厉害, 它到底是怎么工作的。好, 那我们先从最根本的问题开始吧。 你想想,计算机它本质上其实只认识数字, 是吧？对,0和1。那问题就来了, 像我们平时接触的文本、 图片、声音这些, 它不是数字啊。这些非结构化的数据, 机器要怎么处理, 怎么去理解它们的意思呢？ 这确实是个核心问题。 过去也有些方法, 比如很早的时候可能就简单给每个词编个号。 比如苹果是1, 香蕉是2。对,差不多。 或者后来有了独热编码, one hotting coding,就是搞一个特别特别长的列表, 里面大部分都是0, 只有一个位置是1。 用这个来代表一个词。 听起来好像有点笨了。是有点, 这些方法都有挺大的局限性, 它们很难抓住词和词之间的那种意思上的相似性。 意思相似性。 比如"好"和"很棒",这两个词意思很接近, 对吧？嗯。但在独热编码里, 它们的那个长长的01列表可能看起来差十万八千里。 完全不像。对, 这样机器就没法知道它们意思相近了, 甚至可能被误导。 而且你想想,那么多词,每个词都搞一个那么长的列表, 太占地方了。确实又笨重又抓不住重点。 所以就需要新的方法了。 这就引出了我们今天的主角, 向量嵌入。我们需要一种方式把数据, 嗯,转化成数字。 不光是数字。对, 关键是这些数字还得能真正反映数据之间的内在联系, 它们的意思。比如,"好"和"很棒"的数字表示, 就应该很接近才对。 明白了。那具体来说, 向量嵌入到底是个啥？ 简单来说嘛,它就是用一个包含了很多数字的列表。 这个列表呢,我们就叫它向量, 来代表一个东西。 什么东西都行？对,可以是一段文字, 一个词,一张图片,甚至一段音频, 视频。 听起来像给每个东西都发了一个数字身份证。 嗯,你可以这么类比。 不过,更准确的想象是, 我们有一个维度非常非常高的地图, 或者说空间。多少维度？ 可能几百维,甚至上千维, 比我们熟悉的三维空间,复杂得多。 然后呢,每一个数据点, 比如一个词,猫,或者一张猫的图片, 都被映射到这个高维地图上的一个, 嗯,具体的坐标位置。 坐标位置？对,这个坐标就是由一串数字组成的, 这就是它的向量嵌入。 哦, 所以这个向量就是它在那个高维意义地图里的地址。 没错,这个比喻很好,而且这里最关键最核心的 思想来了。 在这个高维地图里, 意思相近或者内容相似的东西, 它们的坐标,也就是向量,在空间中的距离就更近。 距离近代表意思近？正是, 比如"狗"和"小狗",这两个词的向量, 在这个空间里就会挨得非常近。 嗯哼。但它们俩呢, 就会离房子这个词的向量很远。 这个很直观。对吧,记住,距离近通常就意味着 寓意相似。 有意思。而且,还不只是距离啊, 向量之间的方向, 也可能藏着非常有意思的寓意关系。 方向怎么说？最经典,最常被引用的 例子就是那个国王和女王的类比。 哦,我知道这个。你看啊,人们发现,国王这个词的 向量, 减去男人这个词的向量, 再加上女人这个词的向量。 结果呢？结果得到的那个新向量, 会惊人的接近女王这个词的向量。 哇,这太神奇了。 等于说向量运算捕捉到了这种类比关系。完全正确。 这个概念真的非常巧妙。 它说明模型通过学习这些向量, 自动捕捉到了词语之间的复杂关系, 比如性别和皇室地位这种抽象概念的关联。 向量里的每一个数字, 它具体代表什么意思呢？ 是颜色深浅？大小？ 还是像刚才例子里说的皇室程度？诶, 这绝对是个好问题。 也是接下来稍微有点绕, 需要我们集中注意力的地方。 嗯,我听着。通常情况下, 我们是没法给每一个维度都赋予一个清晰的 我们人类能直接理解的标签的。 比如,不能说第五维代表是不是红色, 第二十维代表有没有轮子。 不能这么简单对应。对, 不能。所以我们才把这个高微空间叫做潜在空间, Latent Space。潜在,就是说它的具体含义是隐藏的, 不直接显露。那不知道每个维度啥意思, 这还有用吗？有用,非常有用。 因为重要的是向量和向量之间的 相对位置, 它们之间的距离, 它们的方向,这些相对关系。整体上, 共同编码了数据里面非常复杂, 非常丰富的意义信息。 哦,所以不用纠结单个维度是啥, 关键是整体看它们的关系。 正是这个意思。而且,这些向量表示, 它不是人拍脑袋设计出来的。 那是怎么来的？它是机器学习模型, 像早期的Word2Vec, GloVe, 或者现在更强的基于Transformer的模型, 比如BERT。通过分析海量的真实数据, 比如整个互联网的文本, 或者大量的图片。 自己学出来的？对,模型在处理这些数据的时候, 会观察哪些词经常一起出现, 哪些词总是在相似的上下文化里出现。 然后它就自己悟出来了, 怎么用向量来表示它们, 才能最好的反映这些关系。 哇,机器自己构建了一个意义地图。明白了, 那我们有了这些信息量巨大的向量, 假设我们有很多很多, 比如给一个大公司的所有文档都生成了向量, 我们怎么有效地存下来, 怎么用呢？问到点子上了, 当向量数量非常多的时候, 就需要专门的工具了。 这个工具就叫做向量数据库, Vector Database。向量数据库？对, 市面上有一些,比如Pinecone, Weaviate, Milvus, SingleStore等等, 它们就是专门为存储, 管理和搜索这些高维向量设计的。 它们有什么特别的？ 它们最大的特点就是能非常非常快地做相似性搜索。 就是说,你给它一个向量, 它能迅速在海量的向量里, 找到和它最近的那些邻居。 哦,就是找意思最像的。 没错,在高维空间里高效地找最近邻, 这对传统的关系型数据库来说, 是很困难的,但向量数据库就特别擅长这个。好的, 那我们现在大致了解了向量嵌入是什么？ 为什么需要它？它是怎么产生和存储的？ 那它对我们普通用户或者开发者来说, 到底意味着什么？它在现实世界里有哪些应用场景呢？ 这个应用可就太广泛了。 首先一个就是语义搜索。 语义搜索, 跟我们平时用的百度、谷歌搜索有啥不一样？区别大了。 传宠的关键词搜索, 主要还是匹配字面上的词儿。 但语义搜索呢, 它更能理解你搜索的意图。 怎么说？打个比方, 你搜有哪些能把人看哭的狗狗电影？ 语义搜索,可能会给你推荐 忠犬八公的故事。 即使这个电影的标题或者简介里, 压根就没有“看哭”这两个字。 因为它理解看哭和忠犬八公这类电影的 情感内核是相关的。哇, 这个聪明多了。对吧？ 它找的是意思上的相关, 而不是字面上的匹配。 这个体验会好很多, 还有别的应用吗？ 当然,我们几乎天天都在接触的。 推荐系统。哦, 视频、音乐、购物、网站那些？正是。 你想想,你看了一个关于科幻太空探索的纪录片, 系统怎么知道给你推荐另一个讲黑洞的科普视频, 而不是一个教作菜的视频呢？嗯, 因为它们内容比较像。对, 系统就是把这些视频内容都转换成向量嵌入, 然后在那个高维的意义地图里找到和你刚看的 那个视频距离很近的其他视频。 所以推荐的都是邻居？ 没错,它比较的是内容的向量, 找到相似的,然后推荐给你。 音乐、商品推荐,原理都类似。这个很强大。 还有,在问答系统和聊天机器人里, 向量嵌入也扮演着核心角色, 特别是现在非常热门的RAG, 也就是检索增强生成系统。 RAG这个好像最近经常听到。对, 你想让一个AI回答关于你们公司内 部几千份规章制度文档的问题, 对吧？嗯,这很有用。 RAG系统就是先用向量嵌入技术, 把这几千份文档可能切分成很多段落, 每一段都生成一个向量, 存到刚才说的向量数据库里。 把知识向量化储存。 然后,当你向AI 提问, 比如报销流程是怎么样的, 系统会先把你的问题也转换成一个向量。 问题也变成向量？是的, 然后拿着这个问题的向量, 去数据库里快速找到和它最像的那些文档段落的向量。 找到最相关的原文片段。没错, 最后,它把这些最相关的原文片段, 交给背后的大语言模型, 比如GPT-4,让模型参考这些具体信息来生成回答。 哦,这样一来,模型的回答就不会是瞎编的了, 而是有依据的。完全正确。 这相当于给了AI 一个可以随时查阅的 针对特定领域知识的长期记忆, 或者说外挂大脑, 让它的回答更准确, 更可靠。哇,这么一说, 感觉向量嵌入真的是无处不在啊, 无论是想更智能地查找信息, 还是希望AI 助手更懂我, 背后都离不开它。可以这么说, 它的确是连接我们这个充满文本、 图像、声音的非结构化世界和机器理解能力之间的 一座非常关键的桥梁。 嗯,确实是这样。它把意思这种模糊的 东西转化成了机器可以计算和比较的数字。 对。不过我在想, 既然这些向量能够编码如此丰富的意义, 甚至刚才提到的那些微妙的类比关系, 那它们会不会也捕捉到了一些我们不想要的东西？ 比如数据里可能存在的偏见, 我们真的完全理解和控制了这些 嵌在空间里的所有含义吗？ 这是个非常深刻,也是目前研究非常关注的问题。 向量确实可能学到并放大训练数据中的偏见, 如何去理解检测和减轻这些嵌入 中的偏见是个持续的挑战。 嗯,这确实是一个值得我们继续思考和探索的方向。 是的。好的,这就是本期的AI Update 全部内容, 我们下次再见。 下次见。