BLAZE 简介 — 可组合、灵活的 NLP 管道解决方案

自豪地推出了BLAZE – 轻松构建语言应用程序,这是一个灵活、标准化、无代码的开源平台,可轻松组装、修改和部署各种 NLP 模型、数据集和组件。它如何融入您的企业技术解决方案?以下是您需要了解的内容。

人工智能商业解决方案:快速发展的前沿

多年来,企业技术领域的自然语言处理 (NLP) 模型经历了显著的发展,从单任务解析器演变为能够在各种任务中取得最先进成绩的大型语言模型 (LLM)。基准。尽管人工智能商业解决方案正在不断进步,但将这项研究付诸实际应用 并不总是那么 简单。

企业和研究人员被新技术、数据集和模型淹没。每篇研究论文都带来了令人兴奋的成果,但实施新方法的标准却各不相同。此外,我们还没有看到开源 LLM 和其他模型被用作解决方案。

尽管 NLP在企业应用中具有巨大潜力,但其在现有应用中的采用却很少。创建 NLP 管道或将服务集成到现有解决方案中非常复杂,需要广泛的知识和对模型、数据集和处理技术的试验。该领域的发展迅速,组件每天都在不断发展,也需要细致的微调。

构建 BLAZE:引入创建 NLP 管道的灵活方法

我们的团队仔细识别了 NLP 领域实施方面的几个障碍。在过去的几个月里,我们针对这些挑战创建了一个可扩展的开源解决方案:BLAZE库。

BLAZE 旨在简化自然语言管道与当前软件解决方案的集成。我们的职责是加快从创意到原型的进程,提供一个开放、可扩展的框架,以在生产转变之前对现有解决方案进行基准测试并将其与新解决方案进行比较。

BLAZE 的构建块是NLP 管道的灵活块。管道不同阶段的功能被抽象出来,以创建可以以各种方式组合的灵活、类似乐高的块。

企业和研究人员可以添加和排列这些构建块,以创建各种 NLP 管道的新配方。借助我们的基准测试和模型比较功能,他们可以轻松地根据现有模 求职者领先 型和处理  技术测试新的最先进 (SOTA) 研究。创建管道配方后,他们只需按一下按钮,即可通过各种 UI 部署和与其解决方案交互。

BLAZE 将帮助实现 NLP 应用的民主化,提供无代码解决方案来实验 SOTA 研究,并作为将 NLP 管道配方实现为可用解决方案的框架。

特殊数据

构建、执行、交互

BLAZE 框架分为三个阶段运行:构建、执行和交互

建造

在构建阶段,用户使用 YAML 格式指定其管  道的模型、数据和处理组件。他们可以通过基于块的拖放 UI创建新的“配方” ,修改预先存在的配方,或直接使用现成的配方。此 YAML 文件包含其自定义管道的规格。

例如,用户可以使用拖放界面创建一个解决方案,该解决方案使用 ElasticSearch 和 BERT 进行语义搜索,使用 BART 对上传的文档进行摘要。

BLAZE 框架

完成拖放步骤后,用户可以检查其生 与科技行业其他职位相比,人工智能工程师的薪水很高 成的 YAML 配方。例如,在这里我们可以检查为虚拟会议助理生成的 YAML 配方是什么样的。

这里指定的功能是摘要、议程提取和可操作识别,指定的 UI 是WebEx Meetings App,输入数据指定为现场会议记录,模型是Bart(摘要)和GPT 变体(议程、可操作) 。我们将在未来关于 Blaze 的博客文章中学习如何构建新的解决方案!

BLAZE 示例 (YAML)

执行

在执行阶段,BLAZE利用在前一阶段生成或 细胞p数据 选择的YAML 文件来建立服务器,托管指定的适当模型、数据集和组件。该服务器是管道的核心,允许用户与指定的组件配置进行交互以运行其任务。

下图表示架构,说明服务器如何实现管道功能。

BLAZE 架构

相互影响

在交互阶段,用户可以选择通过多个预构建的接口与其管道进行交互,或者直接通过 REST API 服务访问每个功能。我们目前提供的接口包括:

WebApps(React 和 Dash 均有)
聊天机器人(由 WebEx、MindMeld 提供支持)
插件(WebEx 机器人和 WebEx 会议应用程序)
Postman(或任何其他 REST API 客户端)
所有这些接口都是自动生成的,并且特定于用户的管道。

举例来说,以下 UI 显示了希望对其新模型(斯坦福问答 (SQUAD) 数据集上的 ElasticSearch 和 BERT 的组合)进行基准测试的用户的 WebApp 界面。

BLAZE 互动舞台

WebApp 界面的类似示例,但也显示了搜索和摘要任务。

BLAZE Interact Stage_仪表板

BLAZE 交互阶段_仪表板_思科研究

得益于 BLAZE 的模块化设计,这些不同的界面无需一行代码即可制作完成。用户只需在拖放构建器或 YAML 配方中直接指定其任务即可。

另一个示例展示了 WebEx 会议应用程序界面,它作为希望从实时 WebEx 会议记录中总结、提取议程项目和识别可操作内容的用户的 UI 。

BLAZE Interact Stage_Dashboard_WebEx 插件

补充示例展示了相同的管道,但现在改用对话式 AI WebEx 聊天机器人界面。只需将“ WebEx-Plugin ”替换为“ WebEx-ChatBot ” 即可实现。

BLAZE_Dashboard_WebEx 插件_II

您可以在几分钟内修改、部署和利用他们的 NLP 管道。这就是 BLAZE 的强大之处。

退一步来说:构建 NLP 应用程序的全面解决方案

BLAZE 专为灵活性和可扩展性而设计,为构建 NLP 应用程序提供了全面的企业技术解决方案。用户可以轻松地将新模型或组件添加到管道中,将现有模型集成到 BLAZE 框架中,并向社区共享“配方”(YAML 文件)供其他人使用。

不同的成分,按照不同的顺序,可以发挥不同的作用。

它使快速发展的 NLP 领域变得民主化,充当标准化、通用的面包板,用于组合和构建各种 SOTA NLP 工具。随着研究的不断蓬勃发展,用户也可以轻松上传新组件,利用BLAZE 的模块化设计来访问最前沿的工具。

人工智能商业解决方案和未来之路

上述示例仅说明了 BLAZE 所能提供的功能的一小部分。

该平台可以将各种功能与不同的模型和谐地融合在一起。该框架使开发人员能够以标准化的方式创建、共享和部署自定义管道,而无需编写代码。凭借我们的开源承诺,BLAZE 将帮助实现 NLP 的民主化,让所有人都能接触到这一前沿技术。

在接下来的几周内,我们将演示如何创建多个应用程序,并逐步讲解如何通过 BLAZE 设置、创建和部署您自己的 NLP 解决方案。

发表评论

您的电子邮箱地址不会被公开。 必填项已用 * 标注