AIxiv专栏是呆板之心宣布学术、技巧内容的栏目。从前数年，呆板之心AIxiv专栏接受报道了2000多篇内容，笼罩寰球各年夜高校与企业的顶级试验室，无效增进了学术交换与传布。假如你有优良的任务想要分享，欢送投稿或许接洽报道。投稿邮箱：[email protected]；[email protected]本文作者来自西安交通年夜学、南洋理工年夜学、新加坡科技治理局前沿研讨核心。作者列表：郭淇，庞善平易近，加小俊，Liu Yang 跟郭青。此中，第一作者郭淇是西安交通年夜学博士生。通信作者西安交通年夜学庞善平易近副教学（主页：https://gr.xjtu.edu.cn/web/pangsm）跟南洋理工年夜学的加小俊博士后研讨员（主页：https://jiaxiaojunqaq.github.io）。论文已被盘算机收集信息保险范畴顶级期刊IEEE TIFS任命。抗衡攻打，特殊是基于迁徙的有目的攻打，能够用于评价年夜型视觉言语模子（VLMs）的抗衡鲁棒性，从而在安排前更片面地检讨潜伏的保险破绽。但是，现有的基于迁徙的抗衡攻打因为须要大批迭代跟庞杂的方式构造，招致本钱较高。别的，因为抗衡语义的不天然性，天生的抗衡样本的迁徙性较低。这些成绩限度了现无方法在鲁棒性评价中的适用性。为懂得决这些成绩，作者提出了 AdvDiffVLM，一种应用分散模子经由过程得分婚配天生天然、无束缚且存在针对性抗衡样本的方式。详细而言，AdvDiffVLM 应用自顺应集成梯度估量（Adaptive Ensemble Gradient Estimation, AEGE），在分散模子的反向天生进程中调剂得分，确保天生的抗衡样本具有天然的针对性抗衡语义，从而晋升迁徙性。同时，为了进步抗衡样本的品质，他们引入 GradCAM 领导的掩模天生（GradCAM-guided Mask Generation, GCMG），将抗衡语义疏散到全部图像中，而不是会合在单一地区。最后，AdvDiffVLM 经由过程屡次迭代，将更多目的语义嵌入到抗衡样本中。试验成果标明，与最新的基于迁徙的抗衡攻打方式比拟，该方式天生抗衡样本的速率进步了 5 到 10 倍，同时坚持了更高品质的抗衡样本。别的，与之前的基于迁徙的抗衡攻打方式比拟，该方式天生的抗衡样本存在更好的迁徙性。值得留神的是，AdvDiffVLM 可能在黑箱情况中胜利攻打多种商用视觉言语模子，包含 GPT-4V。论文标题：Efficient Generation of Targeted and Transferable Adversarial Examples for Vision-Language Models Via Diffusion Models论文链接：https://arxiv.org/abs/2404.10335代码链接：https://github.com/gq-max/AdvDiffVLM研讨配景年夜型视觉言语模子（VLMs）在图像天生文本跟文本天生图像等义务中表示杰出，普遍利用于主动驾驶、视觉帮助跟内容考核等范畴。但是，VLMs 对抗衡攻打高度敏感，可能激发保险隐患。因而，评价其抗衡鲁棒性至关主要。晚期研讨重要会合于白盒跟非针对性攻打，但黑盒跟针对性攻打对模子形成更年夜要挟，因此更具研讨代价。现无方法如 AttackVLM 在黑盒跟针对性场景中存在首创性，但因为其高查问次数跟庞杂构造，效力较低，难以满意片面评价的需要。别的，基于迁徙的攻打方式只管实用于黑盒场景，但其天生抗衡样本速率迟缓，且抗衡语义不天然，限度了迁徙性。无穷制抗衡样本的呈现为处理这些成绩供给了新思绪，经由过程融入天然的抗衡语义，晋升了抗衡样本的品质跟迁徙性。但是，这些方式在针对 VLMs 时仍存在高本钱跟实用性成绩。本文提出了 AdvDiffVLM，一个高效框架，经由过程分散模子跟得分婚配天生天然、无束缚且存在针对性的抗衡样本。得分婚配最初由 Hyvarinen 等人提出，用于概率密度估量，并由 Song 等人引入图像天生范畴，证实了其经由过程修正得分函数领导天生目的语义图像的才能。基于这些停顿，Song 等人将得分婚配与分散模子联合，年夜幅晋升了图像品质。受此启示，本文研讨了得分婚配在 VLM 攻打中的利用，旨在嵌入比现无方法（如 AdvDiffuser）更丰盛的抗衡目的语义。本文提出了专门针对 VLM 攻打的得分天生实践，并在此基本上开辟了自顺应集成梯度估量（AEGE）。为进步天生成果的天然性，作者计划了 GradCAM 领导的掩模天生模块（GMGC），无效疏散抗衡目的语义，防止抗衡特点会合在图像特定地区，从而晋升团体图像品质。别的，经由过程屡次迭代进一步嵌入目的语义，优化抗衡样本的视觉品质。与传统方式的对照如图 1 所示。念头与实践剖析跟着视觉言语模子（VLMs）在主动驾驶跟内容考核等要害利用中的普遍安排，确保其在抗衡攻打下的鲁棒性已成为保护体系保险性跟牢靠性的须要前提。只管现无方法在评价 VLM 鲁棒性方面获得了必定停顿，但在效力跟后果上仍面对基础范围性。高盘算本钱跟无限的迁徙性限度了对多样化 VLM 的片面鲁棒性评价才能。这一挑衅激起了本文的研讨，旨在开辟一种高效、高品质且存在精良迁徙性的方式来天生抗衡样本，从而更无效地评价 VLM 的鲁棒性。作者经由过程借助分散模子跟得分婚配技巧的洞见，实现了这一目的。作者盼望在反向天生进程中取得满意以下前提的散布，即抗衡样本存在目的语义信息：接上去，他们从 score matching 的角度动身，斟酌该散布的 score。依据贝叶斯定理：此中第一项跟第二项分辨表现增加目的文本语义的噪声进程跟不含目的语义的噪声进程。从直不雅的角度看，无论能否存在目的文本，前向噪声增加进程都遵守高斯散布，而且增加的噪声坚持分歧，这标明梯度仅依附于 x_t。因为在天生抗衡样本时会施加束缚以确保抗衡样本与原始图像的变更最小，故无目的文本的 x_t 与包括目的文本的 x_t 之间的差别很小。因而终极的 score 为:由于 score matching 跟去噪是等价进程，因而终极的 score 为：方式作者应用替换模子（CLIP）去估量梯度，进而去估量 score。因为单个替换模子估量的 score 并禁绝确，因而他们应用了集成的方式去估量 score：因为差别的图像对差别的替换模子的敏感水平差别，他们应用了自顺应的方法增加存在疾速变更丧失的替换模子的权重，以确保差别替换模子的梯度估量同时更新：基于上述方法，作者提出了自顺应集成梯度估量方式（AEGE），如图 2 所示，但察看到仅仅依附它在特定地区发生显明的抗衡特点，招致较差的视觉后果。为了均衡视觉品质跟攻打才能，他们进一步提出了 GradCAM 领导的掩码天生（GCMG），它应用一个掩模将前向噪声图像跟天生的图像联合起来。这种组合将抗衡性语义散布到全部图像中，进步了抗衡性示例的天然视觉品质。最后他们应用 AEGE 跟 GCMG 来天生抗衡样本，如图 3 所示。试验后果开源 VLM 上的成果表 1 展现了差别方式在开源 VLM 上攻打的成果。显然，本文的方式在攻打才能，迁徙才能以及天生速率方面都优于 baselines。作者也进一步展现了可视化成果，如图 4 所示，能够看出本文的方式可能胜利引诱 VLM 输出目的呼应。贸易年夜模子上的成果作者也在贸易年夜模子长进行了评价，如表 2 所示，他们的方式与 baseline 比拟，引诱贸易年夜模子输出目的呼应的可能性更高。作者进一步可视化了贸易年夜模子的输出成果，如图 5 所示，能够看出贸易年夜模子输出了他们想要的目的语义。防备才能比拟防备方式能够大抵分为抗衡练习跟数据预处置。因为抗衡性练习的高时光、资本本钱跟不稳固性，尚未利用于 VLM 防备。比拟之下，数据预处置是自力于模子跟高度顺应性的，使其成为跨种种模子的风行防备战略。为了证实本文的方式在抵御数据预处置攻打方面的无效性，作者对位缩减、STL、JPEG 紧缩、DISCO、DISCO+JPEG 跟 DiffPure 停止了普遍的试验。试验成果如表 3 所示，本文的方式在全部的防备试验中都优于 baseline。图像品质比拟抗衡样本的图像品质同样至关主要，品质较差的抗衡样本轻易被检测到。作者应用四个评价指标来进一步评价天生抗衡样本的图像品质：SSIM、FID、LPIPS 跟 BRISQUE。正如表 4 所示，与 baseline 比拟，本文方式天生的抗衡样本存在更高的图像品质。详细来说，在 SSIM、LPIPS 跟 FID 评价指标上，本文的方式明显优于基准方式。而在 BRISQUE 指标上，AdvDiffuser 的表示优于本文的方式。这是由于 BRISQUE 是一种无需参考的图像品质评价算法，对含混、噪声、颜色变更等十分敏感。正如图 6 所示，AdvDiffuser 天生的抗衡样本在这些元素上缺少显明异样，因而其成果略优于本文的方式。但是，从图 6 能够看出，本文方式引入的扰动是语义性的，而 AdvDiffuser 明显转变了非明显地区，招致较差的视觉后果。这标明 AdvDiffuser 天生的抗衡样本不实用于更庞杂的场景，比方攻打 VLMs。别的，基于迁徙的方式天生的抗衡样本中存在明显噪声，这进一步标明本文的方式在图像品质方面存在显明上风。结语在本研讨中，作者提出了 AdvDiffVLM，一种针对视觉言语模子（VLMs）的无束缚且存在针对性的抗衡样本天生方式。他们基于 score matching 的思维计划了 自顺应集成梯度估量模块（AEGE），将目的语义嵌入到抗衡样本中，从而可能更高效地天生存在加强迁徙性的针对性抗衡样本。为均衡抗衡样本的品质与攻打后果，作者提出了 GradCAM 领导的掩码天生模块（GCMG）。别的，经由过程屡次迭代，他们进一步增强了目的语义在抗衡样本中的嵌入后果。大批试验标明，与基准方式比拟，他们的方式天生针对性抗衡样本的速率进步了 5 至 10 倍，同时实现了更优的迁徙性。© THE END 转载请接洽本大众号取得受权投稿或追求报道：[email protected] ]article_adlist--> 申明：新浪网独家稿件，未经受权制止转载。 -->小编：[db:摘要]
当前网址：https://www.unwindsessions.com//a/meishi/236.html
