站长之家（ChinaZ.com）10月10日 消息:中国科学院与耶鲁大学的研究人员共同提出了一种名为「思维传播」（Thought Propagation）的全新框架，旨在提升大型神经网络模型(如GPT-4、PaLM)的推理能力，使其能够更像人类一样进行类比思考。这个框架的灵感源自人类认知，即人们在面对新问题时常常将其与已经解决的类似问题进行比较，以推导出解决策略。
论文地址:https://arxiv.org/abs/2310.03965
「思维传播」的核心思想是让模型在解决问题之前，探索与输入问题相关的类似问题，并从类似问题的解决方案中获取启发。这一过程包括三个关键阶段:
1. 提出类似问题:模型通过提示生成与输入问题相似的一组类似问题，以引导模型检索相关的经验。
2. 解决类似问题:模型使用现有的提示技术（如CoT）来解决每个类似问题。
3. 汇总解决方案:模型可以根据类比解决方案直接推断出输入问题的新解决方案，或者通过比较类比解决方案推导出高级计划或策略。
这个框架的关键创新之处在于它能够激发模型的类比思维，引导复杂的推理过程。研究人员通过多个任务的评估验证了「思维传播」的有效性，包括最短路径推理、创意写作和LLM智能体规划任务。
在最短路径推理任务中，「思维传播」显著提高了性能，生成了最优和有效的最短路径。在创意写作任务中，「思维传播」也表现出人类更喜欢的一致性。在LLM智能体规划任务中，「思维传播」提高了任务完成率。
尽管这项研究提供了有望增强大型神经网络模型推理能力的新方法，但也存在一些挑战，如生成有用的类比问题和管理长链的类比推理路径。然而，「思维传播」为改进模型的推理能力指明了新方向，有望使大型语言模型更接近人类的推理方式。
（举报）