在当今快速发展和充满活力的全球商业环境中,人力资源(HR)团队(尤其是在跨国公司中)在高效维护法律和财务合规性方面面临着越来越大的挑战。因此,全球领先的 AI 原生 HR 合规服务提供商 Gonex (opens new window) 应运而生,旨在帮助全球HR团队克服这些挑战并优化其运营。
借助大型语言建模的强大能力,Gonex能够快速处理多种HR特定数据类型,并自动化复杂的国际人力资本工作流程,如入职和离职、计算和支付薪资,以及计算和支付特定国家的员工税款。
Gonex利用机器学习技术分析员工的工作表现(基于关键绩效指标)以及员工满意度,为HR专业人员和决策者提供基于数据的可行性洞察。
注意:
Gonex是AI技术在知识库管理方面的早期采用者之一。
由于我们基于AI的模型的复杂性以及为了持续履行我们的承诺,为我们的客户提供最高质量的服务,我们需要将我们的数据库升级为一个具备高可用性和多租户功能的向量数据库。在评估了不同的选择后,我们选择了 MyScale (opens new window),它与我们的要求完美契合,包括可用性、客户数据隔离、成本效益和数据维护。
# 我们对向量数据库的需求
Gonex 在一百多个国家和特定国家的地理子区域中运营,使其成为全球企业的多功能选择。借助生成式AI的能力,Gonex 通过自然语言交互为用户提供无缝的用户体验,跨越语言和专业知识的障碍。
因此,我们需要升级到一个向量数据库,以继续提供一流的用户体验和最高水平的客户服务。为了找到完全符合 Gonex 多样化和严格要求的向量数据库,我们确定了以下关键方面,这些方面对我们的决策过程至关重要:
# 数据管理
我们的 LLM 知识库包括许多不同的类别,如政策、信息解释、案例分析等。在拆分元数据时,我们必须利用各个字段来处理不同国家或地区的政策信息。此外,由于我们每天更新我们的知识库,我们需要便于更新LLM的历史数据。
# 准确检索海量数据
为了为我们的客户实现高效的国家级内容查询,我们使用国家作为管理信息的维度,有时甚至进一步细分为特定地区。虽然内容维护带来的挑战很小,但主要障碍是根据客户查询快速准确地检索相关的知识库信息。
# 数据隔离
Gonex 是一个为多个客户(租户)共享服务的综合 SaaS 平台。每个客户的数据包括敏感信息,如员工名单和详细信息、其他 HR 数据、财务数据和用户详细信息。因此,确保租户之间的数据隐私,防止数据泄露和未经授权访问,通过实施物理或逻辑机制来隔离多租户数据是至关重要的。
# 高可用性和成本效益
由于向量数据库是一个相对较新的概念,需要更多的文档和社区支持来支持自托管解决方案的成本效益实施。因此,我们不得不考虑专有的向量数据库解决方案。
选择向量数据库解决方案的最重要考虑因素是保证高可用性,以确保业务运营的不间断。我们选择的数据库必须始终提供高度可靠的服务,并建立一个满足我们严格要求的弹性数据库环境。
同时,在选择向量数据库时,维护成本是一个关键考虑因素。我们需要考虑多个因素:硬件、软件、备份系统、安全与合规性、客户支持和性能增强,总体目标是将这些成本维持在合理范围内。
总之,我们希望找到一个平衡成本和高可用性的向量数据库解决方案,以最佳方式支持我们的业务需求。
由于我们的需求的复杂性和向量数据库行业的新颖性,我们在选择合适的数据库解决方案时非常谨慎。在2023年4月左右,基于上述要求,我们开始了我们的探索之旅。然而,我们很快发现可行的选择有限。我们对 Redis 6.x、Pinecone 和 Milvus 等数据库进行了研究和测试,但每个数据库都存在各种问题。无论是从维护成本还是便利性的角度来看,它们都无法满足我们的要求。
# 我们选择 MyScale 的原因
在我们一筹莫展之际,我们发现了 MyScale 向量数据库解决方案,为我们带来了一线希望,并在我们的集体商业思维中留下了深刻的印象,尤其是出色的过滤搜索和RBAC(基于角色的访问控制) (opens new window)功能。MyScale 是一款基于云的向量数据库解决方案,经过精心优化,专为基于 LLM 的 AI 应用而设计。
MyScale 与 Pinecone、Milvus、Qdrant 和 Weaviate 等其他专有向量数据库有所不同,它基于开源的 SQL 数据库 ClickHouse 开发,能够为向量搜索和过滤搜索提供快速和可扩展的性能。它还无缝地结合了复杂的SQL语句和向量搜索查询,包括将向量搜索结果与另一个数据库表进行连接的高级操作。
MyScale实现了高效的数据检索和可扩展性,同时提供了过滤搜索和RBAC等重要功能。MyScale非常适合我们的业务模型,其集成能力使我们能够存储和维护多个国家的细粒度数据,确保无缝的数据分类和元数据维护。
# MyScale 为 Gonex 带来的关键优势
在探讨我们选择背后的原因之后,让我们深入了解Gonex如何利用MyScale实现卓越运营并满足我们独特的业务需求。
# 1. 数据维护
借助 MyScale 的多表结构和强大的意图识别引擎,我们获得了根据关键属性(如意图、国家/地区和问题类型)格式化和过滤信息的能力。使用国家作为主要维度,我们创建了多个数据表,每个表都支持多标签的向量数据存储。这种方法通过基于标签的分类实现了基于向量相似性的检索,并通过标签的分类提高了知识库的准确性,达到了99.9%的准确率。
# 2. 数据隔离
Gonex的许多客户都是SaaS企业,因此 MyScale 的多租户功能 (opens new window)确保每个租户的数据在多租户架构中独立存储和管理,即使共享相同的物理基础设施和资源。
MyScale 还提供了多种多租户策略,使我们能够根据具体要求选择策略。因此,我们可以为我们的客户提供从表级到实例级的数据隔离选项,确保所有客户的数据安全和隐私。
# 3. 技术支持
与开源向量数据库解决方案相比,MyScale 提供了全面的支持,涵盖多个渠道。我们可以通过电子邮件、电话和其他通信应用(如Discord (opens new window))与 MyScale 的技术专家进行交流。感谢 MyScale,对于我们支持交流通常在一个小时内得到回复和解决,及时解决我们的技术问题和疑虑。
# 我们与 MyScale 的未来
我们计划继续与 MyScale 合作,为我们的用户提供合规的数据存储服务。此外,考虑到我们遍布多个国家/地区的多样化用户群体,我们计划在旧金山、新加坡、法兰克福、悉尼和圣保罗等主要数据中心全球部署 MyScale。
此外,我们正在开发一款基于 AI 的全球人才招聘应用程序,称为 ATS(Applicant Tracking System),提供全面的招聘服务,涵盖从简历收集和分析到面试指导和入职支持的所有内容。最后,我们打算将我们的整个向量数据存储服务迁移到MyScale,以支持我们不断发展的业务需求,并继续为所有客户提供卓越的用户体验。