汇盈配资 RAG和路由：增强网络以支持Amazon Bedrock_数据传输_亚马逊_向量

关键字: [Amazon Web Services re:Invent 2024，亚马逊云科技， Aviatrix， Retrieval Augmented Generation， Amazon Bedrock， Networking Challenges， High Performance Encryption， Unified Security Policy]

利用安全、高容量的数据传输到Amazon S3，在Amazon Bedrock上释放生成式AI的潜力，实现RAG（检索增强生成）。探索优化的网络策略，用于填充您的Amazon Bedrock知识库，通过使用您的数据提供丰富的上下文来改善AI结果。学习设计和实施安全、高性能的连接解决方案，以在混合和多云环境中移动海量数据集。了解Aviatrix如何确保私密和安全的提示传递和响应，保护您敏感的AI交互。离开时，您将具备架构强大、安全的网络基础的能力，这是推动变革性AI计划的动力，使您在复杂的云环境中成为组织AI抱负的领导者。本演讲由亚马逊云科技合作伙伴Aviatrix为您呈现。

以下是小编为您整理的本次演讲的精华。

“欢迎来到我的演讲’Rag en Route:增强网络以支持Amazon Bedrock’。我知道上面写着’由Aviatrix赞助’。我不是来向你们推销任何东西的，所以如果你们想购买，就得去展览会了。”通过这番开场白，Aviatrix的技术营销工程师Tim McConaughey为他在亚马逊云科技 re:Invent 2024上的演讲拉开了序幕。他介绍自己是一位路由和交换方面的CCIE，持有亚马逊云科技高级网络专业认证，并且是一本名为《亚马逊云科技混合云网络手册》的作者，即将与他人合著一本亚马逊云科技认证指南。

展开剩余86%

McConaughey继而概述了议程，表示这次演讲将涵盖RAG(检索增强生成)和Bedrock的概念，以及使用这两种技术所面临的网络挑战。他的解释力求平衡，既针对开发人员，也针对网络工程师，大约一半的内容面向每一类受众。

深入探讨RAG主题时，McConaughey通过将大型语言模型(LLM)比作印刷版百科全书来提供历史背景，后者虽然是宝贵的信息宝库，但很快就会过时，可能会落后几个月甚至几年。然后，他将LLM比作杂志或“rags”，它们会定期发行，比如每隔几个月，并包含更新的信息。这个类比突出了RAG为LLM提供上下文和当前数据的需求。

McConaughey解释说，RAG代表“检索增强生成”，其中“检索”部分涉及从数据源(如关于T. Rex的《国家地理》文章)获取相关上下文信息，这些信息可能不包含在百科全书中，比如发现T. Rex有羽毛。然后，这些相关信息被用来“增强”发送给LLM的提示或查询，从而使生成的响应更加准确和有上下文。

为进一步阐明RAG的内部工作原理，McConaughey分解了所涉及的组件:数据源(如文件服务器、S3存储桶或云存储)、嵌入模型和向量数据库。嵌入模型将来自数据源的数据分块为有意义的向量，这些向量是数据的数学表示。然后，这些向量被加载到向量数据库中，创建一个可在RAG过程中搜索的索引。

McConaughey逐步解释了查询管道的工作方式，说明用户或AI代理的查询是如何通过嵌入模型处理以创建向量的。然后，这些查询向量与向量数据库中的向量进行相似性搜索，检索出最相关的数据。这些相关数据与原始查询结合，形成增强的提示，然后发送给LLM进行生成，从而产生更加知情和更新的响应。

介绍Amazon Bedrock时，McConaughey将其描述为一项完全托管的服务，提供前端API以消费LLM。Bedrock允许开发人员通过单一API与各种基础模型进行交互，而RAG可能是整个管道的一个组成部分。他提到，一些客户可能会发现Bedrock在“知识库”功能中提供的现成RAG解决方案(利用预定义的数据源、嵌入模型和向量数据库)就足够满足他们的需求。

然而，McConaughey强调，需要对RAG组件的位置和细节进行精细控制的组织，将需要能够“自带RAG”。他举了一个例子，某客户可能希望使用Bedrock知识库中不提供的嵌入模型，因此需要能够构建和维护自己的RAG解决方案。

在多个云或本地环境中分散RAG解决方案，会带来网络挑战，因为在分散的元素之间建立安全且高性能的连接变得至关重要。McConaughey强调构建安全网络以连接RAG管道的所有部分的重要性，确保所需的正常运行时间和性能水平。

在这一点上，McConaughey介绍了Aviatrix，这是一个云网络和安全平台，旨在为混合和多云环境提供统一的控制和数据平面。他强调了Aviatrix的高性能加密技术，可以克服传统IPsec VPN的吞吐量限制。对于基于软件的IPsec解决方案，单个IPsec隧道与单个CPU内核绑定，根据加密算法的不同，最大性能被限制在大约1.25 Gbps左右，或者使用GCM加密时可能接近2 Gbps。然而，当处理10 Gbps或更高容量的直连电路时，这些吞吐量限制就会成为问题。

Aviatrix的专利高性能加密技术解决了这个问题，通过自动构建多个IPsec隧道，将它们多路复用在一起，并智能地在这些隧道之间路由流量。这种方法实现了线路速率加密，克服了传统IPsec VPN解决方案的CPU内核限制。

McConaughey介绍了Aviatrix为连接本地数据源与云中RAG组件所提供的各种设计模式和架构。其中一种模式涉及使用直连电路传输到客户的数据中心，Aviatrix边缘设备位于边缘路由器后面。在云中，位于传输VPC中的Aviatrix传输网关会与本地边缘建立多路复用的IPsec连接，以实现线路速率的安全数据传输。

他还讨论了一个客户用例，其中直连电路终止于第三方路由器，Aviatrix边缘设备位于其后面。在这种情况下，Aviatrix边缘会通过BGP向直连网关广播其端点IP，而直连网关会将它们广播到连接传输VPC的虚拟网关(VGW)，后者是Aviatrix传输网关所在的位置。本地边缘与云传输网关之间的双向可达性使得能够建立多路复用的IPsec隧道，实现高性能加密。

McConaughey进一步阐述了一旦建立了高性能加密，数据流将如何发生。来自客户数据中心未加密LAN侧的数据将被Aviatrix边缘设备封装在IPsec中，通过直连电路发送，并落在云中的Aviatrix传输网关上。从那里，数据可以使用本地云连接选项或由与工作负载共存的Aviatrix网关提供的端到端加密，传递到其他VPC或云资源。

McConaughey还讨论了RAG组件可能分布在多个云中的情况，例如在Azure中使用嵌入模型，同时利用本地数据源和亚马逊云科技中的Bedrock。Aviatrix的统一体验和编排能力可以实现这些分散环境之间的无缝连接，并有可能通过利用专用电路来减少出口费用。

在整个演讲过程中，McConaughey强调了使用Aviatrix解决方案的好处，包括跨云的统一网络体验、通过数据包捕获和遥测数据实现高级可见性和故障排除能力、可在数据平面的任何点强制执行统一的安全策略，以及通过与Grafana和New Relic等监控工具集成获得网络性能洞察。

临近结束时，McConaughey强调了RAG在使AI模型能够纳入最新、上下文数据方面的重要性。他重申，虽然Bedrock的托管RAG解决方案可能足以满足某些客户的需求，但其他客户可能需要灵活地分散和控制单个RAG组件，因此需要一个安全且高性能的网络架构。

McConaughey随后提出了一个令人信服的论点，即在解决方案架构阶段，网络工程师和开发人员之间需要加强协作。他敦促网络工程师对应用程序架构发表更多意见，并了解超出第3层和第4层的解决方案架构。同样，他也鼓励开发人员在设计过程中纳入网络工程师的参与，认识到在云中构建有弹性和高性能的应用程序需要从一开始就考虑网络影响。

最后，McConaughey承认云的用途已经发生了转变，从原型制作的游乐场演变为业务关键应用程序的平台，需要重新评估传统的思维模式和孤立的方法。他强调了发展团队和网络团队之间和解的必要性，培养一种协作环境，在这种环境中，应用程序的设计从一开始就考虑了弹性、性能和网络因素。

下面是一些演讲现场的精彩瞬间：

Tim McConaughey是Aviatrix公司的一位技术营销工程师，他自我介绍为一位CCIE认证的网络专家、作家和内容创作者，专注于亚马逊云科技网络和混合云领域。

演讲者通过将百科全书和杂志进行比喻，幽默地解释了RAG(检索增强生成)的概念，强调后者能够提供更新的信息。

嵌入模型将文档和媒体分块为有意义的数据向量，然后将其存储在可搜索的向量数据库中，从而实现RAG(检索增强生成)解决方案的高效检索。

由于客户的S3存储桶配置错误，导致了一次拒绝服务攻击，引发了意外费用，这凸显了正确的安全配置的重要性。

Aviatrix为云中的关键业务应用程序提供了弹性和高可用性，超越了敏捷开发的游乐场。

Aviatrix提供灵活的云连接选项，包括传输网关、IPsec VPN和端到端加密，能够无缝集成现有架构，无需彻底改造。

演讲者强调了在云中采用更加明确的解决方案架构和松散耦合的必要性，通过额外的开发工作来确保弹性。

在这个引人入胜的叙述中，Aviatrix的技术营销工程师Tim McConaughey深入探讨了RAG(检索增强生成)的复杂性及其在增强诸如亚马逊Bedrock等生成式AI模型方面的作用。他首先解释了RAG的概念，将其与传统信息源(如百科全书和杂志)进行了类比，并阐述了RAG如何通过相关的上下文数据来增强语言模型。

接下来，McConaughey介绍了亚马逊Bedrock，这是一项托管服务，提供了用于消费大型语言模型的前端API，以及RAG如何集成到其管道中。他强调了构建定制RAG解决方案的灵活性，可以跨不同的云提供商或本地环境，将数据源、嵌入模型和向量数据库等组件进行分离。

叙述随后转向Aviatrix通过高性能加密和网络编排来安全连接这些分离的组件的方法。McConaughey强调了开发人员和网络工程师在构建满足关键业务需求的高性能、高可靠性解决方案架构方面的协作重要性。

最后，他敦促网络工程师对应用程序架构发表更多见解，并鼓励开发人员在设计早期就让网络工程师参与进来，以促进这两个社区之间的和解，从而构建健壮的云原生应用程序。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。

发布于：新加坡

淘配网官网提示：文章来自网络，不代表本站观点。