▼最近直播超等多筋膜枪 自慰，预约保你有得益

架构联想方式已成为要津员的进击手段。然而，当咱们转向大模子应用边界，情况可能会有所不同。濒临新兴本事，比如：生成式 AI，咱们尚枯竭老到的联想方式来撑持这些处理有蓄意。

左证多年的架构联想告诫，我在这里整理转头了一些针对大模子应用的联想步和谐架构方式，试图应酬和处理大模子应用终了中的一些挑战，比如：老本问题、延长问题以及生成的幻觉等问题。

 —1—

路由分发架构方式

当用户输入一个 Prompt 查询时，该查询会被发送到路由转发模块，而路由转发模块则饰演着对输入 Prompt 进行分类的脚色。

图片

若是 Prompt 查询是不错识别的，那么它会被路由到小模子进行处理，这常常是一个更准确、反映更快且老本更低的操作。然而，若是 Prompt 查询无法被识别，那么它将由大模子来处理。尽管大模子的运行老本较高，但它大要生效复返更多种类型查询的谜底。通过这种姿色，大模子应用居品不错在老本、性能和用户体验之间终了均衡。

—2—

大模子代理架构方式

色老大导航

在职何一个生态系统中，齐会有多个针对特定任务边界的人人，并欺骗命以处理特定类型的查询，然后将这些反映整合在一说念，造成一个全面的谜底。

图片

这么的架构方式特地符合复杂的问题处理场景，在这种场景中，问题的不同方面需要不同的专科学问，就像一个由人人构成的小组，每个人人认真处理更大问题的一个方面。更大的模子（比如：GPT-4）认真意会高下文，并将其领会为特定的任务或信息苦求，这些任务或信息苦求被传递给更小的代理模子。这些代理模子可能是较小模子，它们照旧袭取过特定任务的试验，或者是具有特定功能的通用模子，比如：BERT、Llama-2、高下文领导和函数调用。

 —3—

基于缓存的微调架构方式

咱们将缓存和微调引入到大模子应用架构中，不错处理老本高、推理速率慢以及幻觉等组合问题。

图片

通过缓存运动作止，大要在后续查询中速即提供谜底，从而显耀栽种了后果。

当咱们积存了满盈的数据后，微调层将启动，利用早期交互的反馈，进一步完善一个更为专科化的特地大模子。

专有特地大模子不仅简化了操作历程，也使专科学问更好地顺应特定任务，使其在需要高度精准性温顺应性的环境中，比如：客户职业或个性化实际创建，发达得更为高效。关于刚初学的用户，不错选拔使用事前构建的职业，比如：GPTCache，或者使用常见的缓存数据库：Redis、Cassandra、Memcached 来运行我方的职业。

 —4—

面向指方向 Agent 架构方式

关于用户的 Prompt 领导词，Agent 会基于大模子先作念洽商（Planning），拆解成多少子任务，然后对每个子任务分辩实施（Action），同期对每一步的实施为止进行不雅测（Observation），若是不雅测为止及格，就径直复返给用户最终谜底，若是不雅测为止分歧格或者实施出错，会从头进行洽商（Replanning）。

图片

这种面向指方向 Agent 架构方式非常常见，亦然 AGI 大模子时期，每一个要津员同学齐需要掌持的架构联想方式。

 —5—

Agent 智能体组合架构方式

该架构联想方式强调了无邪性，通过模块化 AI 系统，能自我从头确立以优化任务性能。这就像一个多功能器用，不错左证需求选拔和激活不同的功能模块，关于需要为多样客户需求或居品需求定制处理有蓄意的企业来说，这怀念常灵验的。

图片

咱们不错通过使用多样自主代理框架和体捆绑构来诞生每个 Agent 智能体，比如：CrewAI、Langchain、LLamaIndex、Microsoft Autogen 和 superAGI等。通过组合不同的模块，一个 Agent 不错专注于推断，一个处理预约查询，一个专注于生成音信，一个 Agent 来更新数据库。异日，跟着专科 AI 公司提供的特定职业的增加，咱们不错将一个模块替换为外部或第三方职业，以处理特定的任务或边界的问题。

 —6—

双重安全架构联想方式

围绕大模子的核快慰全性至少包含两个环节组件：一是用户组件，咱们将其称为用户 Proxy 代理；二是防火墙，它为大模子提供了保护层。

图片

用户 Proxy 代理在查询发出和复返的过程中对用户的 Prompt 查询进行阻碍。该代理认真取销个东说念主身份信息和学问产权信息，记载查询的实际，并优化老本。防火墙则保护大模子卓越所使用的基础设施。尽管咱们对东说念主们怎样主宰大模子以揭示其潜在的试验数据、潜在功能以及现在坏心动作知之甚少，但咱们知说念这些巨大的大模子是脆弱的。在安全性关连的本事栈中，可能还存在其他安全层，但关于用户的查询旅途来说，Proxy 代理和防火墙是最环节的。为了匡助同学们透彻掌持 Agent 的架构联想应用，今天我会开4场直播和同学们深度剖析，请同学们点击以下预约按钮免费预约。

—7—

本站仅提供存储职业，总计实际均由用户发布，如发现存害或侵权实际，请点击举报。