AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com
本文由清华大学、上海交通大学、悉尼大学、ucsb、香港中文大学、香港科技大学、香港科技大学(广州)联合完成。主要作者包括:潘乐怡(第一作者),清华大学本科生,研究方向为大模型水印等;刘瑷玮,清华大学博士生,研究方向为安全可信大模型等;何志威,上海交通大学博士生,研究方向为大模型水印、大模型智能体等;高梓添,悉尼大学本科生,研究方向为大模型水印;赵宣栋,ucsb博士生,研究方向为可信生成式ai等;胡旭明,香港科技大学/香港科技大学(广州)助理教授,研究方向为安全可信大模型、信息抽取等;闻立杰, 清华大学长聘副教授,研究方向为流程挖掘,自然语言处理 。
本文介绍了由清华等校联合推出的个开源的模型印算法。MarkLLM提供了统的模型印算法实现框架、直观的印算法机制可视化、案以及系统性的评估模块,旨在持研究员便地实验、理解和评估最新的印技术展。通过MarkLLM,作
者期望在给研究者提供便利的同时加深公众对模型印技术的认知形成,进⾛推进相关研究的发展和推⼴应。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
论⽂名称:MarkLLM: An Open-Source Toolkit for LLM Watermarking
论⽂链接:https://arxiv.org/abs/2405.10051
代码仓库:https://github.com/THU- BPM/MarkLLM
⼤模型⽔印技术的发展现状 & 仍然⾯临的问题
⼤模型⽔印是近期新兴的⼀项技术,通过在模型⽣成⽂本过程中植⼊特定的特征,来实现机⽣⽂本的辨别和来源追溯。它可⽤于虚假新闻检测、维护学 术诚信、数据和模型版权保护等场景。
⽬前主流的⼤模型⽔印算法是在⼤模型推理阶段植⼊⽔印,这类⽅法主要分为两⼤算法家族:
KGW 家族:通过⼲预打分向量添加⽔印,将词表分为红绿列表,给绿⾊词加偏置,使输出偏好绿⾊词汇;
Christ 家族:在打分向量⽣成后,⽤伪随机数⼲预采样过程,使⽔印⽂本与该随机数更相关,以此植⼊⽔印。
然⽽,就像所有新兴技术⼀样,⼤语⾔模型⽔印技术在使⽤和理解上也⾯临⼀些挑战。
1. 如何便捷地使⽤各个⼤模型⽔印算法进⾏⽔印添加和检测?
各类⼤模型⽔印算法不断涌现。然⽽它们的实现⼤都基于作者⾃⾝的需求,缺乏统⼀的类和调⽤接⼝设计,使得研究⼈员和⼤众需要投⼊⼤量精⼒去使⽤和复现这些算法。
2. 如何直观地理解各个⼤模型⽔印算法的内部机制?
⼤模型⽔印算法的底层机制相对复杂,涉及对⼤模型⽣成⽂本过程中打分向量⽣成以及采样过程的⼲预,不便于研究者和⼤众理解。
3. 如何便捷、全⾯的评估各个⼤模型⽔印算法?
评估⻆度和指标多样(包含可检测性、鲁棒性、对⽂本质量的影响等),且⼀次评估涉及多步骤,全⾯快速评估算法性能极具挑战。
MarkLLM:⾸个开源⼤模型⽔印多功能⼯具包
针对刚才提到的 3 个问题,作者设计并实现了⾯向⼤语⾔模型⽔印技术的⼯具包 MarkLLM。
MarkLLM 的主要贡献可总结如下:
1. 功能⻆度
统⼀的⼤模型⽔印算法实现框架:⽀持两个关键⽔印算法家族(KGW 家族和 Christ 家族)的 9 种具体算法。
⼀致、⽤⼾友好的顶层调⽤接⼝:1 ⾏代码实现添加⽔印、检测⽔印等各类操作。
定制化的⼤模型⽔印算法机制可视化解决⽅案:使⽤⼾能够在各种配置下可视化不同⼤模型⽔印算法的内部机制。
全⾯、系统的⼤模型⽔印算法评估模块:包含覆盖 3 个评估⻆度的共 12 个评估⼯具,以及两类⾃动化评估流⽔线。
2. 设计⻆度:模块化、松耦合架构设计,具有极⾼的可扩展性和灵活性。
3. 实验⻆度:作者⽤ MarkLLM 作为研究⼯具,对⽀持的 9 种算法做了 3 个评估⻆度的全⾯实验,在证明 MarkLLM 的实⽤性的同时,为后续研究提供了宝贵的数据参考。
4. 对开源社区的影响⼒:MarkLLM 在 GitHub 上线 以来已经获得了较多关注,⽬前已有 140+ stars, 并吸引了同⾏通过 Pull Request 进⾏代码贡献,以及在 issue 栏⽬进⾏交流讨论。
作者衷⼼希望 MarkLLM ⼯具包在为研究⼈员提供便利的同时,提⾼⼤众对⼤语⾔模型⽔印技术的理解和参与度,促进学术界和公众之间就该技术达成共识,推动⼤语⾔模型⽔印研究和应⽤的进⼀步发展,为⼤语⾔模型使⽤安全贡献⼒量。
作者真诚欢迎⼤家提出宝贵意⻅、相互交流学习, 也⼗分欢迎通过 pull request 贡献代码,通过⼤家的共同努⼒维护更好的⼤模型⽔印技术⽣态!
# 清华大学
# 过程中
# 广州
# 为大
# 随机数
# 开源
# 悉尼
# 科技大学
# 香港
# git
# 研究方向
# issue
# https
# 算法
# github
# for
# 架构
相关栏目:
【
Google疑问12 】
【
Facebook疑问10 】
【
网络优化91478 】
【
技术知识72672 】
【
云计算0 】
【
GEO优化84317 】
【
优选文章0 】
【
营销推广36048 】
【
网络运营41350 】
【
案例网站102563 】
【
AI智能45237 】
相关推荐:
3步教你用AI自动分类文件,整理电脑告别杂乱
百度AI搜索怎么用语音提问_百度AI搜索语音输入与识别优化【指南】
Depseek怎么设置总结汇报重点_Depseek重点突出与关键词标注方法【步骤】
如何使用豆包 AI 练习托福雅思口语对练
构建卓越的AI驱动测试自动化框架:QA工程师指南
去哪旅行ai抢票助手怎样提升抢票速度_去哪旅行ai抢票助手加速包与多通道使用【技巧】
Claude怎样用提示词控制输出长度_Claude输出长度设置【教程】
ChatGPT图像生成器完全指南:文化影响、伦理挑战与商业变革
智行ai抢票如何查看抢票进度_智行ai抢票进度查询与状态解读【实操】
New You KIN Skin Analyzer:焕发肌肤新生的终极指南
改善面部不对称:简单有效的肌肉平衡技巧
Gemini手机端怎么发图片_Gemini手机端发图方法【步骤】
DeepSeek 辅助进行硬件描述语言 Verilog 调试
DiagramMagic:AI驱动的在线图表生成器终极指南
一键生成PPT工具怎么用_一键生成PPT工具使用方法详细指南【教程】
AI生成克里希纳短视频:一步步教程,快速爆款!
3步教你用AI将文字转换成语音,实现配音自由
AI赋能营销:5分钟快速生成品牌营销素材全攻略
2025年生成式AI发展蓝图:娱乐、医疗及创意产业的革新
ChatGPT官方入口 ChatGPT官网网页版访问步骤详解
XRAI Glass:AI赋能的增强现实眼镜,对话新体验
法国历史古迹修复:探秘 Château de Purnon 城堡的艺术与挑战
AI写作工具检测:学生如何避免学术不端行为
如何用 ChatGPT 批量处理 Excel 复杂公式
Midjourney怎样写风格化提示词_Midjourney风格提示词写法【教程】
Midjourney怎样做PPT模板_MidjourneyPPT模板生成【方法】
CanvaAI抠图如何换背景_CanvaAI背景替换与设计模板结合【攻略】
实测效率提升超35%!科大讯飞星火AIPC开启AI办公新纪元
ChatGPT怎么设置中文界面_ChatGPT中文设置步骤【方法】
如何用AI设计一个Logo?5个步骤教你打造专属品牌标志
如何用豆包ai做SWOT分析_豆包ai快速生成个人或企业优劣势分析【指南】
斑马AI怎么开启护眼模式_斑马AI护眼设置与使用时长限制【步骤】
Google NotebookLM:AI赋能的智能笔记与思维导图工具
百度输入法总是弹出ai 百度输入法ai自动弹出关闭
AI Notebooks: 知识工作者的未来?赋能理解与洞察的工具
Midjourney怎样用参数调色彩饱和度_Midjourney饱和度调整【方法】
AI交易机器人:TradingView上无需代码即可构建AI交易机器人指南
Napkin AI:无需设计技能,AI一键生成精美图表
深度解析Coldplay酷玩乐队《Viva la Vida》的音乐内涵
钉钉ai划词工具怎么使用划词查词_钉钉ai划词工具查词入口与释义查看【指南】
孩子作文写不出来?教你用AI引导孩子构思,写出优秀范文
Claude怎样写引导型提示词_Claude引导提示词写法【方法】
Google AI Studio:免费AI视频生成器使用指南
Kaiber AI视频制作教程:轻松打造吸睛AI视频
AI驱动SaaS增长:AppSumo $700万美金业务增长策略揭秘
n8n教程:如何用AI自动生成个性化简历
千问怎么使用插件功能_千问插件调用与功能扩展【教程】
《高龄母亲》:从日本民间故事中汲取的人生智慧与家庭真谛
ASUS Armoury Crate深度评测:最新功能与个性化定制
畅游长崎:寻找宝可梦与樱花的浪漫之旅
2024-06-19
南京市珐之弘网络技术有限公司专注海外推广十年,是谷歌推广.Facebook广告全球合作伙伴,我们精英化的技术团队为企业提供谷歌海外推广+外贸网站建设+网站维护运营+Google SEO优化+社交营销为您提供一站式海外营销服务。