原文来源：阿尔法公社

图片来源：由无界AI生成

无论对于AI应用公司，还是使用AI应用的用户和客户，AI模型的安全性都非常重要。对于AI公司，在保护AI模型安全的同时，能够不增加多余的工作成本，并保护好原始数据和算法不外泄，同样值得看重。

一家叫HiddenLayer的公司打造了一个全面的安全平台，它提供即插即用的AI安全性，不会从AI模型的层面增加不必要的复杂性，也不需要访问原始数据和算法。

近日，这家公司获得由M12和Moore Strategic Ventures联合领投，Booz Allen Ventures、IBM Ventures、Capital One Ventures和Ten Eleven Ventures（领投了它的种子轮融资）参与投资的5000万美元A轮融资，这是截至目前AI安全领域金额最高的A轮融资。

HiddenLayer已经帮助保护了数家财富100强公司在金融和网络安全等领域使用的AI/ML模型。

它也已经与Intel和Databricks建立战略合作伙伴关系，并获得了RSAC最具创新性初创公司和SC Media最有前景的早期初创公司等荣誉。公司在过去的一年中将其员工数量增加了近四倍，并计划在今年底将员工数量从50人增加到90人，进一步投资于研发。

遭遇针对AI的攻击后，连续创业者看到机会

据Gartner统计，2022年所有AI网络攻击中，五分之二的组织遭受了AI隐私泄露或安全事件，其中四分之一的攻击是恶意的。

英国的网络安全管理机构National Cyber Security Center也警告说：“攻击者们正在攻击大语言模型聊天机器人（例如ChatGPT），以获取机密信息、生成冒犯性内容和“触发意外后果。”

在一项由HiddenLayer委托Forrester所做的研究中，86%的人“非常关心或关心”他们组织的机器学习模型安全。

大多数回应的公司表示，他们目前依赖手工流程来应对AI模型威胁，80%的受访者希望在未来12个月内投资于一个能够管理ML模型完整性和安全性的解决方案。

与其他领域相比，网络安全尤其技术性强和专业化，根据《财富》杂志此前的研究，预计到2027年，全球网络安全市场将达到4030亿美元，从2020年到2027年的复合年增长率为12.5%。

HiddenLayer由ChristopherSestito（CEO）、Tanner Burns（首席科学家）和James Ballard（CIO）共同创立。他们在之前的公司Cylance（一家安全初创公司，后被BlackBerry收购。）遭遇了对AI模型的网络攻击后产生了这个创业想法。

HiddenLayer的CEO兼联合创始人Chris Sestito回忆道：“在我们保护的机器学习模型直接通过我们的产品受到攻击后，我们领导了救援工作，并意识到这对于在我们的产品中部署机器学习模型的任何组织都将是一个巨大的问题。我们决定创立HiddenLayer，旨在教育企业了解这一重大威胁，并帮助他们抵御攻击。”

Sestito曾在Cylance领导威胁研究，Ballard是Cylance的数据策划团队负责人，Burns则是威胁研究员。

Chris Sestito谈到市场机会时说：“我们知道，几乎每家企业现在都在多种形式上使用AI，但我们也知道，没有其他技术在没有安全保护的情况下实现了如此广泛的采纳。我们致力于为市场上满足这一未满足需求的客户创造最无摩擦的安全解决方案。”

在谈到技术时，Chris Sestito则说：“许多数据科学家依赖预训练的、开源的或专有的机器学习模型，以缩短分析时间并简化测试工作，然后从复杂的数据集中获得洞察。使用公开可用的预训练开源模型，有可能使组织暴露于被篡改的公开可用模型的迁移学习攻击。

我们的平台提供了保护AI模型免受对抗性攻击、漏洞和恶意代码注入的工具。它监控AI系统的输入和输出，在部署之前测试模型的完整性。它使用技术仅观察模型的输入和由它们产生的输出的向量（或数学表示），而不需要访问他们的专有模型。”

M12的管理合伙人Todd Graham表示：“受到自己与对抗性AI攻击的经验的启发，HiddenLayer的创始人们建立了一个对任何使用AI和ML技术的企业都必不可少的平台。

他们对这些攻击的亲身经历，结合他们的愿景和新颖的方法，使该公司成为保护这些模型的首选解决方案。从与创始人的第一次会面开始，我们就知道这在安全领域是一个大创意，并希望帮助他们扩大规模。”

打造全面保护AI安全的MLSec平台

HiddenLayer的旗舰产品是检测和预防针对机器学习驱动系统的网络攻击的安全平台（MLSec），它是业界首款MLDR（机器学习检测与响应）解决方案，能够保护企业及其客户免受新兴攻击手段的侵害。

这个MLSec平台由HiddenLayer MLDR、ModelScanner和Security Audit Reporting组成。

HiddenLayer的MLSec平台配备了一个简单但功能强大的仪表板，允许安全经理一目了然地了解他们的企业ML/AI模型是否处于安全状态。它还会根据问题的严重性自动列出安全问题和警报的优先级，并存储企业可能被要求进行的合规性、审计和报告的数据。

其MLDR解决方案采用基于机器学习的方法，每分钟分析数十亿的模型交互，以识别恶意活动，而无需访问或事先了解用户的ML模型或敏感训练数据。它能够检测并响应针对ML模型的攻击，保护知识产权和商业机密免受盗窃或篡改，确保用户不会受到攻击。

HiddenLayer还提供面向对抗性机器学习（AML）专家团队的咨询服务，他们可以进行威胁评估，为客户的网络安全和开发运营人员提供培训，并进行“红队”演练，以确保客户的防御措施按预期工作。

HiddenLayer的MLSec平台可以防范的攻击种类

推断/提取：提取攻击涉及攻击者操纵模型输入，分析输出，并推断决策边界以重构训练数据，提取模型参数，或通过训练一个近似目标的替代模型进行模型盗取。

盗取机器学习模型：攻击者窃取昂贵的机器学习框架的成果。

训练数据的提取：攻击者可以在不访问机器学习模型的参数的情况下，仅通过观察其输出来进行成员推断攻击。当目标模型接受敏感信息的训练时，成员推断可能会引起安全和隐私问题。

数据投毒：当攻击者向训练集注入新的、特定修改的数据时，就会发生投毒。这会欺骗或颠覆机器学习模型，使其提供不准确、偏见或恶意的结果。

模型注入：模型注入是一种依赖于通过插入一个恶意模块来修改机器学习模型的技术，该模块引入了一些秘密的有害或不希望的行为。

模型劫持：这种攻击可以将恶意代码注入到现有的PyTorch模型中，它会将当前目录中的所有文件泄露到远程服务器。

HiddenLayer提供以下具体服务

威胁建模：通过发现性访谈和基于场景的讨论，评估整体的AI/ML环境和资产风险。

ML风险评估：对客户的人工智能运营生命周期进行详细分析，并深入分析客户最关键的AI模型，以确定当前的AI/ML投资对组织的风险，以及改善所需的努力和/或控制措施。

专家培训：为数据科学和安全团队提供全天培训，帮助他们获得防范这些针对AI的攻击和威胁。

红队评估：对抗性机器学习研究（AMLR）团队将模拟攻击者的攻击来评估现有的防范措施，并修补漏洞。

AI/ML模型扫描：使用HiddenLayer的模型完整性扫描器，测试和验证现有的AI/ML模型是否免受威胁（例如恶意软件）和篡改。

ML检测与响应（MLDR）实施服务 ：专业地实施和整合HiddenLayer的MLDR产品到AI/ML环境中，为数据科学和安全团队提供所需的功能和可见性，以预防攻击、提高响应速度，并最大化模型的有效性。

与巨头的合作，加强生态建设

除了产品和平台建设外，HiddenLayer也拥有强有力的合作伙伴，它Databricks达成了合作伙伴关系，将AI模型部署到Databricks数据湖中的企业用户也能使用MLSec平台。这就从数据湖层面将安全性内置到AI中。

通过与Intel的战略合作，把英特尔SGX上的机密计算和HiddenLayer的机器学习模型扫描器相结合，提供了软硬一体的AI安全解决方案。

这两大战略合作，让HiddenLayer的整个生态更加完整，也获得了客户的青睐，它目前已经在金融，政府等领域获得了数家大客户。

AI进入实用阶段，AI安全的创业机会显现

针对AI的安全，尤其是模型层面的安全，已经是一个确定的需求，此前已有专做AI模型安全的Protect AI获得由Evolution Equity Partners和Salesforce Ventures共同领投的3500万美元A轮融资。

而根据HiddenLayer创始人Sestito的说法，随着AI市场的增长，AI安全的市场也会同步的增长，除了Protect AI和HiddenLayer以外，还有Robust Intelligence、CalypsoAI、Halcyon和Troj.ai等公司也在AI安全领域耕耘。

例如HiddenLayer的早期投资者Ten Eleven Ventures也投资了Halcyon的2000万美元种子轮融资，这家公司主要做的是AI勒索软件的防御工具，可以帮助使用AI软件的用户防范攻击，并从攻击中快速恢复回来。

随着这波AI的浪潮从概念炒作阶段进入到实际的应用阶段，从以大模型创业为主，进入到AI应用创业为主，AI的安全性越发重要。无论是保证AI模型的安全，还是保护AI应用的安全，AI安全的发展都能够让AI在ToC端和企业端的渗透进一步加深。

海外已经有了数量不少的AI安全创业公司，在中国市场，同样的需求也大量存在，我们期待本土的优秀创业者们向着这个重要的创业领域进发。