大模型正在成为推动各垂类领域产业升级的关键核心力量。金融、医疗、教育、政务、制造等众多领域都在积极探索大模型安全应用范式，以应对大模型安全风险。大模型安全实践案例从系统化的角度为大模型数据、训练、部署、应用等环节提供安全应用经验，展示了如何有效地识别和防控大模型风险，促进了业内最佳实践的交流和分享，助力了大模型安全生态发展。
01 医疗领域大模型安全实践
一、案例介绍
医疗 AI 助手是基于“百灵”大语言模型及新一代行业大模型在临床问诊、病史采集及文本撰写、临床辅助决策、个性化精准医疗、医患沟通及患者诊疗支持、学术研究、医学教育等临床领域的应用场景切入，研制符合上海市第一人民医院医疗应用特色的大模型技术平台。全面覆盖患者就医诊前、诊中、诊后三大环节。每个环节均有核心功能，患者无需在纷繁的产品界面寻找特定功能，只需与医疗 AI 助理问答即可解决就医全流程咨询和陪伴问题。
从产品技术角度来看，构建数字导诊“陪伴式”的智能医疗平台，旨在通过与患者的多模态交互，根据患者的自然语言描述，准确了解患者的病情和就医诉求，并通过自然语言及语音的方式与患者互动，完成患者语义的理解及推理，告知患者目标科室挂号，提示相关的流程、院内就医路线等等，从而实现协助智慧医院医务导诊服务人员面向就诊患者，提供就医流程指导、就医预分诊、就医挂号、院内就诊路线提示等导诊辅助服务。
二、大模型安全实践案例描述
医疗 AI 助手从数据处理、算法模拟、服务管理等三个层面，在合规性、安全性、可控性、可靠性基础上开展医疗“AI 大模型＋场景应用”稳定运营，促进新一代人工智能技术赋能智慧医疗产业，助力提高智慧医疗服务水平，提高人民群众对智慧医疗服务的获得感和幸福感。
图 1-1 医疗领域大模型安全技术实现
（一）大模型安全在各个环节的落实措施
1、训练数据安全
训练数据都经过了脱敏和隐私处理，具体逻辑：基于图像 OCR 技术和安全脱敏工具对图片图像或者文字等医疗文档进行脱敏处理。图片敏感信息的识别和马赛克/遮盖；医院红章、二维码等图片敏感信息进行遮盖文档敏感信息的识别和打码。
2、算法模型安全
自研模型部署，推理框架，支持算法模型的 ToB 私有化部署，保证算法模型的安全。提供加密模型训练解决方案，解决领域大模型提供方、领域数据提供方、基础大模型提供方之间的隐私计算信任问题， 使得通过多方高质量数据和基础大模型构建领域大模型成为可能。
3、系统平台安全
在大模型项目里，系统平台安全是一个至关重要的方面，主要围绕六项措施来展开：
1. 访问控制和身份验证：确保只有授权用户和系统能够访问大模型 API。
2. 数据加密：使用 SSL/TLS 等加密协议来确保 API 在传输过程中的数据不会被未授权访问。建立 API 防火墙来监控和控制进出 API 的数据流。达到防止恶意流量和攻击的效果。在API 平台会对传入的数据进行严格的验证，确保数据格式、类型和范围符合预期，防止恶意输入导致的安全问题。
3. 建立日志和监控体系: 通过系统平台会记录 API 的使用情况来实时监控和日志分析，做到及时发现和响应安全威胁。
4. 安全审计：定期进行安全审计，评估 API 和整个系统平台的安全性，确保没有安全漏洞。
5. 隐私保护：特别是在处理个人数据和敏感信息时，API 需要遵守数据保护法规，如 GDPR 等。这包括数据脱敏、匿名化等技术，这些措施共同构成了大模型项目中的系统平台安全框架，旨在保护 API 和相关的数据资产免受未授权访问和潜在的安全威胁。
4、业务应用安全
自建医疗垂类知识库，逐步开放应用到医疗垂类大模型进行知识库代答，基于医疗垂类内容的特殊性首创安全前置护栏解决方案，结合千万级自建知识库，保障内容可控生成，从领域、话题、意图多个视角量化内容防控，保证大模型生成结果准确性符合医疗垂类的安全性和准确性，进而确保业务应用的安全性。
（二）大模型安全技术实现
在解决垂类医疗防御难点的过程中，医疗 AI 助手融合实际的业务场景需求，来聚焦防御难点构建大模型防御的解决方案，创建安全前置护栏的解决方案。在护栏中深度结合垂类医疗的知识库，来实现风险内容的可控生成。
在端侧安全上医疗 AI 助手通过对数据加密和访问机制的控制建立端侧安全业务防线，来保障医疗数据和个人隐私在传输和存储的过程的安全性，同时还采取精细化的权限管理和前置护栏解决方案的措施来保障医疗数据的合法性和合格性。以此来构建端侧安全的业务防线。医疗 AI 助手遵循严格的隐私协议，对医疗数据进行脱敏和匿名处理，记录访问日志以追溯数据使用情况，并建立安全漏洞管理和应急响应机制。这些综合措施共同为医疗行业的数字化转型构筑了坚实的安全防线，确保医疗数据的安全性和隐私性得到最大程度的保障。
三、大模型安全措施成效
医疗是一门严肃的学科，在产业应用医疗大模型项目中，安全技术具有至关重要的地位。这些模型通常处理大量的个人健康信息，包括敏感的疾病记录、治疗历史和生物识别数据。因此，确保这些信息的安全和隐私是项目成功的关键因素。安全技术为上海市第一人民医院的大模型项目带来的价值是多方面的，包括保护患者数据隐私、双向内容风险防控、管理风险和合规性以及建立公众信任。
02 政务领域大模型安全实践
一、案例介绍
“赣服通”是依托江西省一体化在线政务服务平台打造的移动服务平台，是推进“互联网+政务服务”的一项重要举措。“赣服通”以智能客服和数字人为技术应用场景来打造的政务 AI 助理，是具备高度数据安全能力的行业大模型产品。通过千万政务语料训练来实现精准意图识别，智能追问反问和高频事项即问即办等功能。同时针对政务行业大模型应用中生成不可控、安全覆盖广、内容对抗强、时效要求高的挑战。构建安全护栏和安全防御两大核心能力，覆盖数百项大模型内容生成风险。
图 2-1 政务领域大模型安全防御技术实现
二、大模型安全实践案例描述
（一）大模型安全在各环节的落实措施
1、训练数据安全
在训练数据安全方面展现了高度的重视和专业性。由于处理的数据涉及公民信息、财务安全等敏感内容，政务大模型采用了高强度的数据加密技术，确保数据在存储和传输过程中的安全性。同时，使用境内外关键词和分类模型对中文、英文及代码语料进行预清洗，识别并处理隐私风险。此外，政务大模型还实施了定期数据备份策略，以防数据丢失或被篡改。在模型训练过程中，通过鲁棒性测试和安全多方计算技术，政务大模型能够应对各种潜在攻击，确保模型的稳定性和准确性。最后，安全审计和监控措施的实施，保证了数据的安全合规使用。综上所述，政务大模型在垂类政务行业中采取了全方位的安全措施，以确保训练数据的安全性和可靠性。
2、算法模型安全
政务大模型在算法模型安全方面的优化措施主要包括：
1. 安全指令和知识微调，涵盖 30 万政务领域法规等知识。
2. 精细权限管理：实施严格的权限控制，确保只有授权人员能够访问和使用模型。
3. 模型加密与签名：部署前对模型进行加密，确保数据安全性，并使用签名验证模型完整性。
4. 入侵检测与防御：实时监测潜在攻击，并快速响应，保护模型免受威胁。这些措施共同提升了政务大模型在算法模型安全方面的防护能力。
3、系统平台安全
政务大模型在系统平台安全的措施可以归纳如下四类：一是依据国家网络安全、数据安全和个人信息保护相关法律法规，结合公司实际，制定网络安全管理、审计、密码管理及数据全生命周期安全管理制度；二是严格的访问控制：通过引入访问控制机制，对各级用户进行权限管理，确保用户只能访问其合法权限范围内的数据和功能。三是实时行为分析：运用机器学习和数据挖掘技术，对用户行为进行实时分析，识别异常行为。四是细化安全应急流程，通过技术与制度保障及时发现和处理安全问题。
这些措施共同构成了大模型项目中的系统平台安全框架，保护重要系统平台的稳定运行。
4、业务应用安全
有别于基于确定性数据的传统应用，AI 应用的模式给安全带来全新的挑战，政务知识库有数据质量的风险，大模型生成的内容（AIGC） 存在不可靠的风险，大模型要满足监管合规的要求。
面对这些挑战，小赣事在用户问答中融合了安全防护能力，针对 AI 应用在智能审核，线上攻防等方向进行全面加固。
智能审核方面，支持文本、图片、视频等多媒介智能识别，通过积累多年的法规梳理解读、监管指导建立丰富的规则库，基于海量的多维数据，支持对审核内容做准确的实体识别。线上攻防基于面向大模型原生的防御体系，可以应对单次 50 万量级的饱和攻击，通过百万级高质量题库识别各类攻击手段，降低拒答率。
（二）大模型安全技术实现
“赣服通”政务 AI 助手在端侧实施的安全措施取得了显著成果。首先，数据加密技术的广泛应用确保了训练数据在存储和传输过程中的安全性，有效降低了数据泄露风险。其次，鲁棒性测试与模型优化提升了算法模型的稳定性和准确性，使其在面对潜在攻击时更具抵抗力。同时，系统平台层面实施的身份认证、访问控制以及实时监控与异常检测机制，为政务大模型提供了坚实的防护屏障，确保只有授权用户才能访问系统，并实时监测潜在威胁。在业务应用层面，通过数据脱敏、保护及业务逻辑的安全验证，保障了业务数据的准确性和业务逻辑的合规性。这些安全措施的实施，不仅提升了政务大模型自身的安全性，也为政府机构的日常工作提供了可靠保障，促进了政务服务的安全与高效运行。
三、大模型安全措施成效
“赣服通”会同网信、公安等部门建立了安全管理机制，运用国产密码加密技术、区块链技术等强化保障安全，并加强政务数据运行监控，全面提升网络安全防护水平。深度融合了安全护栏和安全防御能力，在用户提问理解、提问风险决策、回答风险决策构建了全面的防御体系。助力江西省政府打造集“咨询、搜索、预约、提醒、评价”于一体的 AI 数字人智能客服“小赣事”，为办事用户提供一个更加便捷、安全的使用环境。
本文摘编自清华大学、中关村实验室、中国信通院、蚂蚁集团联合编写的《大模型安全实践白皮书 2024》。
在此声明以上观点和内容，仅代表原作者和出处，与数治网DTZed 无关，如有出错或侵害到相关合法权益，请通过电邮与我们联系：cs@dtzed.com。
在文末扫码关注官方微信公众号“idtzed”，发送“入”直通相关数治x行业共建群、AIGC+X 成长营，@老邪 每周免费领取法规、标准、图谱等工具包。
欢迎先注册，登录后即可下载检索大模型等相关标准、白皮书及报告。更多高质量纯净资料下载，在文末扫码关注官方微信公众号“idtzed”，进入公众号菜单“治库”。
