Immuta 更新 Databricks AI 数据安全平台

Immuta – 可互操作数据安全平台的提供商 – 宣布了将提高 Databricks 安全性的集成和更新。 Databricks 是一家由 Apache Spark 的创建者创立的软件公司，为数据仓库和数据湖提供解决方案。

在过去的几年里，Databricks 提出了一种创新的新架构方法，将仓库与数据湖结合起来，形成新的“lakehouse”模型。 它还在人工智能（AI）方面进行了大量投资，这需要更先进的安全措施。

这就是 Immuta 的用武之地。Immuta 成立于 2015 年，是北美顶级数据安全平台提供商之一，专注于人工智能工作流程保护。 其云原生数据治理工具可实现更好的安全性、更轻松地发现敏感数据以及更强的访问控制。

由于 2023 年 6 月宣布的这一新更新，Databricks 的客户将能够享受 Immuta 的平台功能。

关于 Immuta 和 Databricks 集成

今年 5 月，Databricks Ventures（lakehouse 公司的风险投资部门）在安全领域进行了大量投资，Immuta 和 Databricks 加强了合作关系。 虽然具体金额未公开，但 Immuta 表示这笔资金将用于产品开发。

因此，新的更新将以 Databricks 为核心，为客户带来大量新特性和功能，这是有道理的。

两家公司是长期合作伙伴，自 2018 年春季 Immuta 推出适用于 Apache SparkSQL 的新工具以来一直合作。 从那时起，双方的合作伙伴关系不断发展和演变，最终在这次最新的升级中达到顶峰。 主要功能包括用于人工智能工作负载保护的访问控制和敏感数据的本地发现。

AI 工作负载保护的必要性

到 2023 年，人工智能工作负载保护显然是当前的需求。 就像云曾经引发了一场大规模的数字革命一样，我们正在见证人工智能的同样情况。 超过 90% 的开发人员在工作中使用 AI 工具，另一项调查显示，77% 的公司使用多个第三方工具来处理 AI 工作负载。

这使得像 Databricks 这样的系统特别容易受到安全攻击和破坏。 该公司正在大力发展人工智能，并打算通过在一个云平台上统一客户的数据、分析和人工智能来帮助客户降低成本并加速创新。

但如果没有足够的人工智能工作负载治理，这可能意味着巨大的威胁向量。

因此，该公司最近加大了网络安全力度。 除了Immuta对其数据安全平台进行重要升级之外，Databricks今年还与安全公司BigID、Theom和Hunters联手。

（下载白皮书：端到端保护您的数据）

Immuta 的增强型数据安全平台

现在，让我们来看看 Immuta 最近的更新中可以期待的关键变化。

1. 与 Databricks Unity Catalog 的本机集成

Databricks Unity Catalog 是该公司的旗舰产品之一。 它允许您通过组织数据资产的三级命名空间来管理结构化和非结构化数据以及机器学习模型。

不同级别的数据会给工程师带来很大的压力，需要他们争论访问策略，尤其是随着模型复杂性的增加。 Immuta 的本机集成将从三个方面提供帮助：保护数据、检测访问问题和发现敏感信息。

2. 安全策略执行

新的和增强的 Immuta 不仅可以实现更智能的安全策略，而且还可以更轻松地执行这些策略。 您可以通过本机策略强制执行在 Unity 表级别授予或撤销访问权限。

3. 集中元数据管理

Immuta 将对 Databricks Lakehouse 中存储的信息进行集中元数据管理。 从表面上看，这可以让您自动化和编排策略。 但深入挖掘，它还有其他一些好处，例如帮助您更轻松地发现敏感数据。 您可以添加个人身份信息 (PII) 等标签，以对您发现的所有敏感数据实施严格的策略。

4. 用户活动监控

Immuta 可以让您监控和记录 Databricks 上发生的所有用户活动。 这包括用户查询的审核日志、谁更改了策略、何时更改以及用户访问摘要。 在这里，Immuta 的统一审计模型 (UAM) 就发挥了作用。 Kit 确保 Unity Catalog 和主 Immuta 实例的日志结构和元数据一致，以简化安全性。

5. 访问控制策略

Immuta 将自动化引入 Databricks 环境。 当您构建具有高级意图的单个 Immuta 策略时，数据安全平台将自动创建多个策略以在 Databricks 中执行。 这显着减少了定义访问控制策略的手动工作量。

该公司表示，使用 Immuta 的新集成可以将需要管理的角色和策略数量减少 93 倍。

加强人工智能工作负载保护

虽然 AI 工作负载保护并不是通过 Immuta-Databricks 集成可以实现的唯一目标，但它绝对是最重要的用例之一。 随着人工智能规模的扩大，您可能希望将人工智能数据迁移到云端。 现在 Databricks Unity Catalog 已受到保护，您可以过滤角色、屏蔽列、发现敏感数据、控制 AI 数据访问等等。 现在，迁移过程将更有信心进行。

除了 AI 工作负载保护之外，Immuta 还确保这些数据处理符合 HIPAA 和 GDPR 等法规。

数据安全平台还为安全分析增加了另一层信任。 通常，在分析人工智能数据工作负载是否存在漏洞时，您会面临大量潜在风险。 其中许多都是误报，只会花费时间而收效甚微。 Immuta 的 Detect 功能根据敏感程度为 AI 数据分配分数。

您可以确定风险的优先级，并设置实时警报，以便在真正严重的事件威胁人工智能工作负载治理时收到通知。

有什么商业利益？

新发布的解决方案将为客户带来以下好处：

• 在不影响安全性的情况下提高性能：Databricks Lakehouse 架构与您选择的任何云兼容。 现在，您可以将这种自由与 Immuta 增强的安全性结合起来。 这意味着您可以将人工智能数据资产迁移到任何云环境，并在不影响安全性的情况下确保卓越的性能。
• 简化 Databricks 上的协作和数据共享：借助 Immuta，用户可以参与 Databricks 上的安全协作。 这是因为集成以完全透明的方式维护详细的审计跟踪。 相关用户可以访问集中式元数据存储。 您可以委派策略管理权，甚至可以定义基于目的的访问权限。
• 通过一流的数据安全性获得竞争优势：Immuta 为 Databricks 环境带来了尖端的安全性和 AI 工作负载保护。 Unity Catalog 用户将能够充分利用他们的数据存储库、构建新的 AI 模型并解决复杂的业务问题，而无需担心安全性或合规性。

客户评价

Immuta 在管理数据治理和 AI 工作负载保护方面是一位资深人士。 例如，该公司通过其数据安全平台帮助 Cognoa 的临床研究加速符合 HIPAA 的人工智能和机器学习。

“使用 Immuta，您基本上可以模拟用户的查询及其权限，以准确查看他们所看到的内容。 您可以以受管控的方式查看它，并确保没有人能够访问他们不应该访问的内容。”Cognoa 数据平台所有者 Charlie Qing 说道。

新的集成为 Databricks Unity Catalog 用户提供了类似的好处。 以下是他们的两位共同客户的评价：

“Databricks 帮助我们管理这些数据，而 Immuta 在管理安全和访问控制方面发挥着重要作用。 当我们寻求新产品创新并实施多云战略时，我们必须正确对待数据——必须对其进行治理，”ADP 首席数据官 Jack Berkowitz 表示。

“Swedbank 需要构建一个企业级高级分析平台，该平台还可以加强对我们内部安全、管理和数据访问的信任，同时保护客户的资产和数据。 Immuta 和 Databricks 在帮助我们实现这一愿景方面发挥了重要作用，我们很高兴看到他们的合作关系更上一层楼。”Swedbank 数据湖工程主管 Vineeth Menon 说道。

结论

在人工智能时代，云数据基础设施通常分为三层——数据湖、数据仓库和数据交换。 Immuta 和 Databricks 携手增加了第四个支柱：云中的数据安全。 人工智能需要以令人难以置信的规模和速度处理信息，这需要三件事：

• 将政策与平台分离
• 原生且未改装的云数据控件
• 利用属性而不是角色来标记数据

Immuta 和 Databricks 意识到，多年来，他们的共同客户已经开始在云上运行机器学习和人工智能等复杂的工作负载。 新的集成及其发现、检测和安全组件为您的数据存储提供了更好的粒度和可管理性。

现有客户现在可以利用此集成。