跳到正文
Phys.org·· 6 天前AI 评分29

新工具绘制并分析网络仇恨言论

New tool maps and analyzes online hate speech

AI 导读

NTNU 研究人员在 Machine Learning and Knowledge Extraction 发表论文,报告一种可绘制并分析网络仇恨言论的工具,基于 14,000 条挪威语和英语句子训练。该工具把言论关联成可视化网络,按种族、性别认同、宗教或性取向四类及三级“毒性”评估,并能解释分类依据。目前需手动输入待评估内容,团队正开发实时自动抓取。

AI 深度导读基于原文整理的分节解读
背景
报道的仇恨犯罪数量自 2012 年以来增至原来的五倍以上,其中约 40% 属于仇恨言论,最常见的动机是肤色或族裔,其次是性取向。挪威警察安全局(PST)同时报告,政治人物与公共评论员作为一个群体正日益受到威胁与骚扰。今年早些时候,时任 AUF(工人青年团)领袖 Gaute Skjervø 披露,因长期遭受辱骂与反复威胁,他必须随身携带个人安全警报;随后 SV(社会主义左翼党)副领袖 Marian Hussein 以同样理由宣布不再竞选连任。NTNU 于约维克(Gjøvik)的博士候选人 Ehtesham Hashmi 主张,近期仇恨言论的上升要放在社交媒体与其他数字平台快速演变的背景下看:当代数字传播的规模与速度,使仇恨言论比以往传播得更快、触达更多人,传统的检测与遏止手段因此不再够用。
做法
Hashmi 与 NTNU 教授 Sule Yildirim Yayilgan、Vestlandsforskning(西挪威研究所)、警方以及多个挪威市政当局合作开发了这一工具。团队先在不同版本的仇恨言论定义之间找共同点,最终收敛到四类关键特征:族裔、性别认同、宗教、性取向——这四类在挪威语境与联合国《公民及政治权利国际公约》中都是核心。当工具识别出落入其中一类或多类的评论,就按三级“毒性”评估该内容潜在冒犯、仇恨或攻击的程度。判定能力来自机器学习算法,训练数据是 14,000 条挪威语与英语句子,取自 Facebook、Reddit、Twitter 等平台,由 Vestlandsforskning 的社会科学家协助收集与分类。工具另有一项功能,把单条仇恨言论相互链接,输出可视化的言论网络。团队还要求它可解释:一旦把某条陈述判为仇恨言论,就要说明是哪些词、短语与评估支持了这个判断。目前待评估的语句仍需手工输入工具。
结论
工具按四个维度(族裔、性别认同、宗教、性取向)与三级毒性作出判定:一条陈述可以同时触发多个参数;反过来,若一个参数都不触发,则归为中性。链接功能生成的可视化网络呈现言论之间如何相互引发或相互启发,从而能看出仇恨言论从何处起源、如何被他人接续、由此激起的对话随时间如何演变。可解释性方面,工具会列出支撑判定所用的词、短语与评估,作者认为这既让人理解某条陈述问题出在哪,也维持对技术的信任。适用范围上,因四类特征在挪威与《公民及政治权利国际公约》中均为核心,工具在挪威语境之外同样适用和相关。研究团队强调,它未必是追查与起诉特定个人的手段,也可以用来识别哪些环境最需要有针对性的干预,帮助警方与市政当局把资源投向真正有效的预防与意识提升措施。相关论文发表于 Machine Learning and Knowledge Extraction,重点之一是尽早发现仇恨犯罪趋势。
机制
这套判定之所以能跨语境成立,按作者的解释,是因为仇恨言论在法律上因国家而异、在感知上因个人而异,直接套用任何单一定义都难以通用;抽取各定义共有的特征、把判定建立在共同点上,才使同一套规则可以迁移。多参数同时触发被用来表达一条陈述可同时命中多个维度,全部不命中则记为中性。链接功能则把分散的言论组织成网络,使“谁先发起、谁接续、对话如何演变”成为可观察的对象,而不是逐条孤立地判断。
意义
工具把分析单位从单条言论扩展到言论之间的关系网络,并给出可核查的判定依据,用途从追诉个人转向资源投放与预防,对警方与市政当局有直接用处;由于四类特征对应《公民及政治权利国际公约》,其相关性不限于挪威。论文引用联合国防止灭绝种族罪行特别顾问 Adama Dieng 据报提出的警告——大规模屠杀总是始于小的行动与语言——来论证早期识别趋势的价值。作者也明确没有止步于只做检测与分类的技术,而是加入了可解释输出与网络可视化。
局限
作者承认仇恨言论本身的复杂性:法律定义国别不同,个体感知也因人而异,工具的覆盖面因此建立在四类特征的共同点上。工具当前仍需人工把待评估语句输入,尚不能自行从平台取数。研究团队反复强调,人类必须始终参与工具的持续开发,系统要依据人的反馈改进,才能长期保持可靠与伦理上站得住。
下一步
团队正在让工具具备实时检测仇恨言论的能力:目前已能手工输入,未来将配置为持续自动从数字平台抓取数据。除提高自动化程度外,工具被设计成越用越准——接触的数据越多,自我微调与提升准确率的机会越多。作者称工具尚未达到全部潜力,系统将持续接收输入并基于人类反馈改进。

本页是 AI 精读,不转载论文原文;完整论文(含方法、图表与参考文献)见原文

来源:Phys.org · phys.org