ChatGPT以及神经网络如何学会说话的30年历程

由于神经网络和语言处理方面取得了令人难以置信的进步，计算机可以像其他人一样理解和响应人类语言。从最初的怀疑时刻到目前的成就状态的旅程是一个不断创新和发现的故事。YouTube频道的ArtoftheProblem创造了一段精彩的历史，记录了30年的历程，将我们带到了ChatGPT-4和其他。

早在20世纪80年代，机器能够掌握人类语言的细微差别的观点就遭到了怀疑。然而，神经网络从基本的、单一用途的系统到复杂的、多功能的模型的演变是惊人的。1986年是一个关键时刻，迈克尔·乔丹(MichaelI.Jordan)引入了循环神经网络(RNN)。这些网络具有可以学习序列的记忆细胞，这对于语言理解至关重要。

20世纪90年代初，杰弗里·埃尔曼(JeffreyElman)的实验表明，神经网络可以计算出单词边界并按含义对单词进行分组，而无需直接告知这样做。这一发现是向前迈出的一大步，表明神经网络可能能够自行解码语言结构。

随着我们进入2010年代，对更大神经网络的推动导致了语言预测和生成能力的提高。这些复杂的模型可以筛选大量数据集，从上下文和经验中学习，就像人类的学习方式一样。

然后，在2017年，Transformer架构出现了。这种新方法使用自注意力层一次性处理序列，有效克服了RNN的内存限制。Transformer模型是生成预训练Transformer(GPT)模型的基础。

GPT模型以其令人难以置信的学习能力而闻名，无需特定示例即可遵循指令并执行未直接训练过的任务。这是人工智能领域的一次巨大飞跃，显示出了曾经被认为不可能的适应能力和理解能力。

ChatGPT是这些模型的一个变体，成为许多人可以使用的工具，使他们能够与高级语言模型进行交互。它进行人性化对话的能力令人印象深刻，这表明这些技术的巨大潜力。

最新的突破之一是情境学习。这使得像ChatGPT这样的模型能够在使用时吸收新信息，适应新情况而不改变其底层结构。这类似于人类的学习方式，背景在理解和使用新知识方面发挥着至关重要的作用。

然而，快速的进展引发了人工智能专家的争论。这些模型是真正理解语言，还是只是模拟理解?这个问题是该领域专业人士讨论的核心问题。

展望未来，大型语言模型作为新型操作系统基础的潜力是巨大的。它们可以改变计算机通常处理的任务，标志着人类与机器交互方式的新时代。

从最初的怀疑到今天的高级语言模型的道路是漫长的，并且充满了突破。神经网络的进步改变了语言处理，并为计算机以我们从未想过的方式与人类语言互动的未来铺平了道路。这些技术的变革性影响继续重塑我们的世界，并有望带来更惊人的进步。