研究论文

基于多维特征分析的AI生成期刊论文内容识别与应对策略研究

  • 安彤 ,
  • 薛德军 ,
  • 周哲 ,
  • 孔祥煜 ,
  • 耿崇
展开
  • 同方知网数字出版技术股份有限公司 北京 100192

安彤,数据分析工程师,E-mail:

薛德军,副总经理兼总工程师

周哲,研发工程师

孔祥煜,项目经理

耿崇,中央技术研究院副总经理

收稿日期: 2024-12-02

  网络出版日期: 2025-03-21

A Multi-Dimensional Feature Analysis for Detecting and Mitigating AI-Generated Content in Academic Journal Articles

  • An Tong ,
  • Xue Dejun ,
  • Zhou Zhe ,
  • Kong Xiangyu ,
  • Geng Chong
Expand
  • Tongfang CNKI Digital Publishing Technology Co. , Ltd, Beijing 100192

An Tong, data analysis engineer, E-mail:

Xue Dejun, deputy general manager and chief engineer of Tongfang CNKI;

Zhou Zhe, R&D engineer

Kong Xiangyu, project manager

Geng Chong, deputy general manager of Central Technology Research Institute of Tongfang CNKI

Received date: 2024-12-02

  Online published: 2025-03-21

摘要

[目的/意义] 利用AI生成学术期刊论文内容的特征,构建多维度的特征分析框架,对于辨识稿件中不当使用AIGC的行为,解决期刊审稿复杂化的难题以及维护学术出版的质量与公信力具有重要意义。 [方法/过程] 从引文、数据、观点和结论、结构框架、逻辑关系、内容一致性、概念阐释和语言表达8个维度切入,深入分析不同AIGC值的期刊论文,揭示AI生成期刊论文内容的显性与隐性特征,结合AIGC-CHECK系统检测结果与AI生成稿件特征规律,双重验证其在审稿中的实用效果。在此基础上,构建快速筛查、深度验证和综合应对3个层面的应对策略。 [结果/结论] 相较于仅单纯依靠系统检测或仅凭借审稿经验,“双重验证法”能够更有效应对不当使用AIGC的行为,弥补单一审核手段的局限,为辅助提高审稿效率和出版质量提供实践价值。

本文引用格式

安彤 , 薛德军 , 周哲 , 孔祥煜 , 耿崇 . 基于多维特征分析的AI生成期刊论文内容识别与应对策略研究[J]. 知识管理论坛, 2025 , 10(2) : 99 -108 . DOI: 10.13266/j.issn.2095-5472.2025.007

Abstract

[Purpose/Significance] Investigating the characteristics of AI-generated academic journal content and establishing a multidimensional analytical framework are crucial for identifying improper use of AIGC in manuscripts, addressing challenges in peer review complexity, and upholding the quality and credibility of academic publishing. [Method/Process] This study analyzed journal articles with varying AIGC values across eight dimensions: citations, data, viewpoints and conclusions, structural framework, logical coherence, content consistency, conceptual clarity, and linguistic expression. Both explicit and implicit features of AI-generated content were systematically extracted. The practical efficacy of this approach in peer review was validated through cross-verification between AIGC-CHECK system outputs and empirically observed characteristics of AI-generated texts. A tri-level strategy was subsequently formulated, encompassing rapid preliminary screening, in-depth verification, and comprehensive countermeasures. [Result/Conclusion] Compared to relying solely on detection systems or reviewers' experience, this approach offers a more effective method to address inappropriate AIGC usage, overcomes the limitations of single review techniques, and provides practical value in enhancing review efficiency and publication quality.

人工智能生成内容(artificial intelligence generated content,AIGC)技术的快速迭代,显著提升了AI的信息整合能力,使其在科研活动中的应用日益广泛。当AI成为高效的科研助手时,研究人员对智能工具的依赖性就会剧增。这种技术渗透从思路整理、数据收集延伸至科研成果产出以及评审、出版和传播的全过程。然而,AI在提升科研效率的同时,也带来了学术诚信、隐私保护与公平性等问题,严重影响科研过程的透明度、研究数据的完整性与准确性以及研究成果的可信度,给学术出版体系带来严峻挑战。
为应对AIGC带来的挑战,国际学术组织、主流出版机构及国内权威机构陆续出台的AI应用规范政策展现出高度共识,均围绕AI定位、使用透明度和学术诚信三大核心原则,反映出学术界对AI技术在学术出版领域中应用的审慎态度与伦理考量[1-13]。与此同时,教育领域也积极响应,要求在论文写作中规范标注AIGC并限制其使用比例[14-15]。但近期的撤稿事件显示,单纯依赖政策约束难以有效应对AIGC滥用问题[16-18]。

1 相关研究/Related studies

自AIGC技术面世以来,疑似AI生成内容的论文数量大幅增长,有些论文中AIGC占比甚至高达60%—90%;综述类论文是不当使用AIGC的“重灾区”,利用ChatGPT生成的英文学术摘要在一定程度上能够骗过期刊审稿人[19]。此外,AIGC检测工具存在一定的误判风险,特别是对于非英语母语作者撰写的论文,由于语言风格或表达方式的差异性会被误判为由AI生成[20]。有数据显示,英国多所知名高校在应对AI辅助的新学术不端行为时,面临着记录不完整、定义模糊及检测难度大等困境[21]。
上述现象反映出两大核心问题:①AIGC的精准识别具有较高的复杂性和紧迫性;②亟需构建系统化的AIGC特征分析框架,以明确辨识AI生成内容的切入点、分析目的及思路,从而建立可靠的识别机制。
目前,现有研究主要从3个层面探讨AIGC识别:①在学术规范层面,《学术出版中AIGC使用边界指南2.0(中文版)》[9](以下简称《指南2.0》)中要求建立AIGC使用情况披露与声明规范。②在内容特征层面,《指南2.0》总结了通过分析文本流畅性和逻辑性、验证数据真实性和一致性、检查图表细节错误等方法进行AIGC识别;郭英剑[22]进一步提出从分析语言特征、文本一致性和逻辑性、原创性与独特性和学术深度等方面评估AI生成内容的方法。③在技术检测层面,国内外检测技术服务商提供了AIGC检测工具(如Turnitin、AIGC-CHECK等),通过技术实现初步筛查。但现有研究存在两方面局限:特征分析维度碎片化,缺乏系统性框架以及检测技术易受对抗性干扰。
针对现有问题,笔者提出人机协同的“双重验证法”,同时构建快速筛查、深度验证和综合应对3个层面的应对策略,为辅助编辑提高审稿效率和出版质量提供实践价值。

2 分析框架与方法/Multimodal analytical framework

笔者以期刊编辑对稿件创新性、真实性、规范性等审核维度为参考,深入分析AI生成的学术论文的主要表现形式,揭示其显性与隐性特征规律,构建包含引文、数据和案例、观点和结论、论文结构框架、内在逻辑关系、内容一致性或重复冗余、概念阐释以及语言表达8个维度的特征识别体系,结合AIGC-CHECK系统检测结果,突破单一检测方法的局限性,双重验证此方法在审稿中的实用效果。
具体的切入点及其目的和分析思路如表1所示:
表1 辨识AI生成内容的切入点、目的及分析思路

Table 1 Identification of AI-generated content: key dimensions, objectives, and analytical approach

序号 切入点 目的和思路
1 引文 从引文入手,分析引文和被引内容的真实性、准确性、相关性、时效性、规范性
2 数据 从数据和案例入手,分析论证过程中是否有数据和实证案例的支撑
3 观点和结论 从观点、结论、研究成果、文献综述入手,分析论文内容是否具有原创性和创新性
4 结构框架 从论文结构框架入手,分析论文大纲是否存在各类结构框架方面的问题
5 内在逻辑关系 从内在逻辑关系入手,分析稿件在逻辑连贯性、逻辑清晰度等方面的问题
6 内容一致性 从内容一致性入手,分析是否一致或重复冗余
7 概念阐释 从概念阐释入手,分析定义准确性、相似概念清晰度
8 语言表达 从语言表达入手,分析语言精准性、表达独特性、内容深刻性

3 研究设计与数据/Research design and data collection

笔者选取经过数据预训练、可执行文本理解和生成任务的大模型,分别是GPT-4o、Qwen-2.5、Gemini-1.5、Mistral-Large-2411、LLaMA-3.1,根据设定的提示词生成6篇论文样本。
在提示词设计方面,重点关注生成论文的注意事项、内容要求和写作规范3个方面。其中,注意事项明确规定“不得生成论文框架或示例”,以确保论文内容的完整性和真实性。内容要求涵盖论文主题、摘要、关键词、引言、正文及参考文献等关键要素的全面阐述。写作规范则涉及语言表达、逻辑结构、篇幅要求、引文及格式规范,例如“语言需专业严谨,逻辑清晰,论述充分,结合国内外最新研究成果和实践经验进行深入分析。篇幅不少于5 000字”。
随后,使用知网AIGC-CHECK系统对6篇论文样本进行检测,进行AIGC行为标注,标注结果显示所有样本的AIGC值均超过0.7。这表明该系统对AI生成学术内容具有较高的识别能力,因为根据相关研究,标注结果中AIGC值大于0.5的文本片段统一认定为机器判断存在AIGC行为[22]。具体检测数据如表2所示:
表2 大模型生成论文样本及AIGC值

Table 2 LLM-generated paper samples and corresponding AIGC values

AI生成论文 大模型 生成论文样本的主题 AIGC值
论文1 GPT-4o 身体自尊与睡眠质量的联系及其中介作用 0.91
论文2 Qwen2.5 父母角色重塑:《爸爸当家》中的女性主义视角分析 0.76
论文3 Gemini-1.5 渔业养殖与开发的可持续管理:挑战与策略 0.71
论文4 Mistral-Large 建筑工程项目管理的计划与控制方法研究 0.90
论文5 Mistral-Large 战略管理视角下中小企业管理创新策略研究 0.82
论文6 LLaMA-3.1 互联网+背景下技能大师工作室新样态 0.77

4 AI生成期刊论文内容的特征/Essential characteristics of AI-generated scholarly articles

结合表1所述的8个“切入点”及其“分析思路”,对每篇 AI生成的期刊论文内容进行深入剖析,归纳其主要特征如下:

4.1 引文方面的特征

主要表现为引文格式不规范或不统一、引文来源单一、参考文献过时、引文权威性不足、引文数量不合理等显性特征。此外,部分论文文末的参考文献存在无法验证的情况,假引的可能性大。引文内容与正文缺乏关联性,未能达到“引用相关性”的基本要求,甚至存在引用错误的情况。此外,综述性论文可能出现全文无引文的现象,或正文未对文后参考文献进行具体引用和分析,导致无法验证参考文献的支撑作用,也难以体现作者对领域内研究资料的梳理与归纳。

4.2 数据支撑和实证案例方面的特征

主要表现为数据信息和实证案例的不准确,或其来源信息不明确,无法验证。部分论文甚至完全缺乏实证分析和案例依据,无研究数据,无具体技术方法,无图表展示,无对比分析,无流程图或其他可视化工具,内容仅停留在概述层面,与实践联系不足,缺乏科学研究应有的实证性。

4.3 观点/结论/研究成果/文献综述方面的特征

最突出的特征是论文中所呈现的学术观点、主要结论和研究发现并非作者原创,而是对他人已有研究的简单拼接和复述,缺乏重要的研究发现或创新性贡献,理论价值和应用价值均较低,整体创新性不足。此外,论述内容往往概念化,描述性较强,缺乏实证案例和数据支撑。文献综述部分仅为研究文献的简单罗列,内容不够全面或深入,未能体现作者对相关研究的梳理和评述。

4.4 论文结构框架方面的特征

从目录层级即可看出章节划分混乱,编号格式不统一,章节标题重复,章标题与节标题之间的逻辑关系不清晰,甚至部分章节标题或编号缺失。此外,论文整体框架或章节内部的逻辑顺序缺乏合理性,不符合学术论文应有的逻辑结构,表现为逻辑颠倒或层次不清。

4.5 内在逻辑关系方面的特征

论文逻辑连贯性较差,主要表现为段落间或句子间逻辑跳跃,紧密关联的内容被分散阐述,缺乏合理的过渡句,导致整体逻辑混乱,重点模糊。在论述同一主题或论点时,出现前后逻辑不一致甚至相互矛盾的情况,具体表现为:论点与论据不匹配,论据未能充分支撑论点,所阐述内容与标题或主题不符,前提与结论之间缺乏因果关系。此外,部分论文缺乏必要的衔接,例如缺少引导性段落、过渡句、讨论或小结等环节,难以形成完整的学术论述体系。

4.6 内容一致性方面的特征

在追求上下文连贯性的同时,部分内容过于一致,导致内容重复甚至冗余。具体而言,相同或相似的主题内容在不同章节或段落中被多次重复阐述,甚至在同一章节或段落内完全重复。此外,部分论文对某一主题的论述不充分,缺乏针对性,同时夹杂大量无关或冗余内容;正文中已经详细论述的内容,在总结部分再次详细阐述,而非简要归纳。这些问题导致论文整体结构松散,论述深度不足,逻辑关系不清晰。

4.7 概念阐释方面的特征

核心概念和术语的定义不准确,易引起阅读障碍;对语义相近的概念和术语,未能清晰界定其适用范围和层次关系,或因概念分类不合理,导致概念混淆和理解偏差。部分论文甚至对关键概念未做任何阐述或解释,影响论文的可读性和学术严谨性。

4.8 语言表达方面的特征

通常表现为句子结构不通顺,存在语病或歧义,句间连贯性较差。这些问题在人工撰写过程中亦可能出现。然而,AI生成论文更显著的特征是论文整体语言表达机械化,缺乏作者个性化表达,常使用泛泛的、通用的、概括性的措辞,缺乏深度,甚至章节内容呈现条款化,缺乏严密的推理和分析。整体上内容空泛,缺乏实质性的内容表达。
综上所述,以上述8个方面分析AI生成期刊论文内容的主要特征为基础,结合AIGC-CHECK系统的检测结果,可进一步提炼出在正规标准要求下,这些特征与人类撰写学术期刊论文之间的差异性。例如,AI生成论文可能存在无法验证的参考文献、缺乏数据信息或实证研究、未能体现作者原创观点和研究贡献、文献综述仅为简单罗列而无深入评述、论文框架结构混乱、逻辑跳跃频繁、内容与研究主题不符、段落范围内机械性重复、关键概念表述不清、语言表达刻板机械等特征。这些特征可为期刊编辑在初步筛查稿件时提供参考与支持。
上述特征的出现,归根结底是由于AIGC所提供的资料是基于大数据和大语言模型生成和抽取的,其准确性和真实性缺乏考量和验证[9]。

5 案例分析/Case Studies

从编辑初审角度出发,对随机抽取的某刊6篇论文进行机器和人工相结合的“双重验证”。首先,从AI生成期刊论文的内容特征进行人工验证。人工验证结果显示:6篇论文在引文、数据支撑和实证案例、观点/结论/研究成果/文献综述、论文结构框架、内在逻辑关系、内容一致性、概念阐释、语言表达各方面,均表现出不同程度的AI生成期刊论文内容的特征。然后,进行机器验证,对6篇论文进行AIGC检测。检测结果显示:6篇论文的AIGC值均在0.5以上,其中5篇居于0.5和1之间,另1篇AIGC值为1,符合AI生成内容的基本条件。同时,6篇论文中均无对文内AI生成内容的规范标注和AIGC使用情况的披露与声明。
表3 人机协同双重验证结果

Table 3 Dual verification results through human-ai collaboration

切入点 论文1AIGC值:1 论文2AIGC值:0.9-1 论文3AIGC值:0.8-0.9 论文4AIGC值:0.7-0.8 论文5AIGC值:0.6-0.7 论文6AIGC值:0.5-0.6
1.引文 引文权威性不足,部分参考文献过时,引文数量较少,引文来源较为单一 引用数量偏少,权威性不足,引用过时文献,引文来源单一, 引文与正文内容匹配度一般 引文数量严重不足,引文权威性不足,引文与正文内容关联度低 引文数量较少,引文来源较单一,缺乏权威性 引文权威性不足,引用过时的参考文献,引用来源较单一 引文数量少,引文来源单一
2.数据支撑和实证案例 缺乏具体的实证分析和案例依据,完全无数据图表或可视化工具 缺乏实证数据和案例的支撑,主要通过理论阐述,无任何实际数据、统计图表或案例佐证观点 无任何具体的实证数据、统计分析或案例研究,论述过于概念化 缺乏实证分析和案例依据,未给出具体的数据来源和详细数据,无图表展示,无对比分析,论述概念化 缺乏实证案例和数据支撑,研究内容停留在理论层面 缺乏数据支撑和实证案例
3.观点/结论/研究成果/文献综述 观点和结论缺乏新意,只是对现有研究的总结,无作者独特见解;文献综述仅为罗列,缺乏深入分析和比较 观点和结论较为概念化,缺乏创新性,主要是基于已有研究的总结,未提出新的理论框架或实证发现;文献综述仅为简单罗列,缺乏深入分析和批判性评价 观点缺乏创新性,多为已有结论的重复,内容以概念性、描述性叙述为主;文献综述仅为简单罗列,未深入分析和比较 观点和结论多为概念化和描述性,观点缺乏新意,多是对已有研究的总结,未提出新的研究成果或实证发现;文献综述分析不深入 未提出独特见解和创新性研究成果,多是已有研究的总结;文献综述仅为罗列,未深入分析和比较 观点和结论多是基于现有研究的总结,缺乏新意和创新性;文献综述部分仅为罗列,未深入分析和比较
4.论文结构框架 部分标题重复,章节标题过于宽泛,内容层级划分不合理 部分章节层次重复 部分章节逻辑不合理,应调节顺序 章节标题重复、层级混乱 章节划分不合理,部分内容重复 章节层级混乱,章节划分不合理
5.内在逻辑关系 逻辑连贯性差,部分段落逻辑跳跃,论点与论据衔接不紧密,文中多次出现论点与论据脱节问题;段落过渡不自然 逻辑连贯性一般,段落间缺乏过渡,论点与论据对应性不足 部分内容缺乏逻辑连贯性,段逻辑跳跃,缺乏过渡,论点与论据不完全匹配, 逻辑连贯性一般,部分段落间缺乏过渡和衔接,逻辑跳跃 逻辑连贯性差,逻辑跳跃,缺乏过渡和衔接,论据与论点匹配不足 逻辑连贯性差,段逻辑跳跃,论述同一主题或论点的内容不符,逻辑不一致
6.内容一致性 内容重复,冗余问题严重 不同章节中多次提及相似内容,内容重复冗余 部分章节内容重复冗余 部分内容在不同章节中重复冗余,被多次阐述 相同或相似内容被多次提及,内容重复冗余 相同或相似内容在不同章节中被多次提及,内容重复冗余
7.概念阐释 概念解释不准确,定义不严格,相似术语边界模糊 概念阐释不深入,缺乏清晰的界定和阐述 概念定义过于宽泛,关键术语阐释不足 关键术语的定义模糊,缺乏对相似概念和术语的关系和界限的阐释 核心概念阐释不精准,相似概念关系模糊 对相似概念和术语的关系和界限阐释得不清晰
8.语言表达 语言表达机械化,多为程式化学术语言,重复使用相似句式,缺乏作者个性化表达 语言平淡、公式化,缺乏个性化表达 语言表达机械化,整体语言表达偏于新闻报道或政策解读,缺乏学术严谨性和精准性 语言表达机械化,缺乏作者个性化表达;有语病,句子不通顺 语言表达机械化,使用大量结构类似的陈述句,缺乏学术个性化,句子表述冗长,缺乏层次感 语言表达机械化,缺乏作者个性化表达
人工分析这6篇论文的AI生成内容特征,主要表现为:
(1)均表现出“缺乏数据支撑和实证案例”特征。例如,论文3通篇以理论论述为主,未引用任何权威统计数据或典型案例支撑文中的观点和结论。在探讨“数字金融对企业可持续发展的影响”时,未提供任何实际数据、企业案例、行业研究或统计结果,难以验证结论的科学性;在“数据驱动的决策”部分,提及“利用数据分析和人工智能技术提升企业竞争力和创新力”,但缺少对成功案例的分析和数据支持,论证薄弱,影响其学术价值和实用性。
(2)均表现出“观点/结论/研究成果缺乏新意、未提出创新性见解,文献综述仅为简单罗列”特征。例如,论文2提出的观点“企业上市后融资成本通常会有所下降”“上市前融资成本相对较高”“不同行业、不同规模的企业在上市前后的融资成本变化情况也不尽相同”等,观点虽然正确,但均为业内普遍认可的观点,未提供新的学术视角。文献综述主要集中在“企业上市前后融资成本变化的因素分析和影响研究”,但只是简单罗列不同学者对影响因素的看法,未做深入分析和评述,未指出现有研究的不足,无法为该文的研究奠定基础。
(3)均表现出“逻辑连贯性差、逻辑跳跃”特征。例如:论文1的逻辑跳跃频繁,论点与论据之间不对应。第二部分“战略管理与中小企业管理创新的理论框架”与第三部分“中小企业管理创新策略的实施模式研究”间缺乏过渡,第二部分主要阐述理论基础,第三部分直接进入策略实施,缺乏理论如何指导实践的阐述。第四部分“中小企业管理创新的概念和特点”放在第五部分“战略管理视角下的中小企业管理创新策略”之前,逻辑顺序欠妥。文中提到“中小企业通过管理创新可以提升竞争力”,但未提供充分论据或案例验证,虽提出“开放式创新”“合作创新”等策略,但未详细说明策略效果和具体操作,论据不足以支撑论点。
案例分析结果表明,相较于只利用AIGC检测结果,对稿件进行双重验证,即在AIGC检测结果基础上结合人工对AI生成期刊论文内容的特征分析,更能有效筛查初审时疑似存在不当使用AIGC行为的问题稿件。

6 应对策略/Mitigation Strategies

针对疑似存在不当使用AIGC行为的稿件,建议从3个层面进行审核和应对,见图1。
图1 多维度特征分析的AIGC识别与三层次应对框架构建

Figure 1 A Multimodal Analytical Framework for AI-generated Content Identification with Triaxial Countermeasure Architecture

6.1 第一层面:快速筛查框架

通过AIGC检测工具,快速筛查出潜在问题稿件。在问题稿件中,重点审核作者是否遵循《指南2.0》中的要求,对AIGC使用情况进行充分、正确的披露和声明[9]。如果作者未遵循上述原则,则稿件属于重点筛查对象。

6.2 第二层面:双重验证机制

对于重点筛查稿件,参考笔者提炼的AI生成期刊论文内容的特征规律,双重验证稿件中疑似不当使用AIGC行为之处。

6.3 第三层面:综合应对策略

大模型技术的持续进化使AI生成内容越来越接近人类撰写内容,极大增加了AIGC检测的技术难度,AI生成文本与人类撰写文本的边界也愈发难以划分[9]。鉴于AIGC愈发难辨和作者防范意识不断增强的趋势,建议从以下3个方面加以应对:
(1)针对AI生成内容可能存在引文和参考文献规范性问题,建议从引文格式一致性、内容准确性及来源可靠性等方面加以应对。①重点审核引文和参考文献的格式是否规范统一,确保其符合学术规范;②核查引文内容的准确性和与论文主题的相关性,以排除不当引用;③验证引文来源的明确性和真实性,防止使用虚假或不可靠的信息来源。同时,为弥补分析覆盖范围的潜在不足,建议通过交叉验证引用内容与原始文献的对应关系,精准发现并应对更高阶的引文规范问题。
(2)针对AI生成内容可能存在数据来源不明或实证案例不足,建议从实证案例、数据信息来源和实验过程的准确性与完整性方面加以应对。①严格审查稿件中实证案例和数据信息的来源,确保其准确、可靠,尤其是对于有具体数值的图表,应与引用的原始数据进行比对;②审核实证案例是否充分,是否有足够的案例支持论文的核心观点;③对于复杂的实验性论文,应重点关注实验方法、实验数据和过程记录的详细性与准确性,确保数据能够支撑结论并经过详细论证,确保其为作者通过实际观察或研究所得。
(3)针对AI生成内容可能存在内在逻辑关系问题上的不足,建议从引文的逻辑结构、推理过程以及结论一致性方面加以应对。①重点审查稿件的逻辑结构,确保各部分间有清晰连贯的因果和论证关系;②对于复杂推理涉及的论据,评估推理过程中论据是否充分,推论是否符合论证逻辑,避免因逻辑跳跃导致推理链条断裂,产生结论偏差;③核查结论与论证内容是否一致,确保结论是基于充分论证得出的,而非无依据的推断或与前文内容脱节。

7 结论与展望/Conclusions and Prospects

笔者针对AIGC对学术期刊的投稿与审稿环节带来的冲击,重点探讨AI生成期刊论文内容的显性与隐性特征,并结合AIGC-CHECK系统进行数据检测与分析。通过双重验证法辨识稿件中可能存在的不当使用AIGC行为,评估该方法在学术期刊编辑审稿过程中的可行性,以期为期刊编辑应对AIGC挑战提供参考与支持。主要结论如下:
首先,AI生成学术论文的投稿量及出版数量不断攀升,不仅对期刊的学术声誉构成严峻挑战,也对期刊编辑的审稿能力提出更高要求。
其次,在稿件初审阶段增加“辨识稿件是否存在不当使用AIGC行为”的审核环节,并将其纳入现有的政治性、规范性及学术质量审核流程,能够在审稿初期即可有效筛除不符合学术规范的稿件,提高审稿效率。
此外,“双重验证法”结合AIGC检测工具的分析结果与人工对AI生成学术内容规律性特征的判断,能够有效识别并处理不当使用AI生成内容的稿件。研究结果表明,该方法在初审阶段能显著提升问题稿件的筛查效果,可以作为维护学术成果真实性与严谨性的重要手段。
综上所述,大量事实表明,AI生成高质量学术论文的能力正持续增强,不当使用AIGC的行为也愈发隐蔽,增加了识别难度。不过本文的研究还存在一定局限性,例如样本数量相对有限、案例覆盖面不足以及对不同学科领域AI生成内容特征差异的探讨尚不够深入。因此,后续研究需紧跟人工智能技术的发展前沿,不断优化AIGC检测技术,持续归纳AI生成学术内容在语义、结构与逻辑等方面的特征,构建更多维度的特征分析框架,并建立更高效的识别机制,以确保学术出版的质量与公信力。

安 彤:设计研究框架,进行数据分析,撰写论文;

薛德军:提出研究思路,指导论文修改;

周 哲:提供实验数据;

孔祥煜:提供实验数据;

耿 崇:提出修改意见。

1
COPE. Authorship and AI tools.[EB/OL]. [2024-10-15]. http://publicationethics.org/cope-position-statements/ai-author.

2
ICMJE. Recommendations[EB/OL]. [2024-10-15]. http://www.icmje.org/recommendations/.

3
ELSEVIER. The use of generative AI and AI-assisted technologies in writing for Elsevier[EB/OL]. [2024-10-15]. http://www.elsevier.com/about/policies-and-standards/the-use-of-generative-ai-and-ai-assisted-technologies-in-writing-for-elsevier.

4
Nature Springer. Springer Nature publishing and editorial policies[EB/OL]. [2024-10-15]. http://www.springernature.com/gp/policies.

5
Nature. Editorial policies[EB/OL]. [2024-10-15]. http://www.nature.com/nature-portfolio/editorial-policies.

6
Science. Science journals: editorial policies[EB/OL]. [2024-10-15]. http://www.science.org/content/page/science-journals-editorial-policies#AI.

7
科学技术部监督司. 负责任研究行为规范指引(2023)[EB/OL]. [2024-10-15]. http://www.most.gov.cn/kjbgz/202312/t20231221_189240.html.

(Ministry of Science and Technology, Department Supervision. Guidelines for responsible research conduct (2023)[EB/OL]. [2024-10-15]. http://www.most.gov.cn/kjbgz/202312/t20231221_189240.html.)

8
中国科学技术信息研究所, 爱思唯尔, 施普林格·自然, 等.学术出版中AIGC使用边界指南(中文版)[EB/OL]. [2024-10-15]. http://www.istic.ac.cn/ueditor/jsp/upload/file/20230922/1695373131354098301.pdf.

(Institute of Scientific and Technical Information of China (ISTIC), Elsevier, Springer Nature, et al. Boundary guidelines for AIGC use in academic publishing (Chinese Version) [EB/OL]. [2024-10-15]. http://www.istic.ac.cn/ueditor/jsp/upload/file/20230922/1695373131354098301.pdf.)

9
中国科学技术信息研究所, 爱思唯尔, 施普林格·自然, 等.学术出版中AIGC使用边界指南2.0(中文版)[EB/OL]. [2024-10-15]. http://www.istic.ac.cn/ueditor/jsp/upload/file/20241009/1728463944539087271.pdf.

(Institute of Scientific and Technical Information of China (ISTIC), Elsevier, Springer Nature, et al. Boundary guidelines for AIGC use in academic publishing 2.0 (Chinese Version) [EB/OL]. [2024-10-15]. http://www.istic.ac.cn/ueditor/jsp/upload/file/20241009/1728463944539087271.pdf.)

10
中国科学院科研道德委员会.关于在科研活动中规范使用人工智能技术的诚信提醒[EB/OL]. [2024-10-15]. http://www.cssar.cas.cn/ztzl2015/kycx/xfjs2021/zdgf2/202409/t20240913_7362745.html.

(Chinese Academy of Sciences, Committee on Research Ethics. Ethical alert on regulating artificial intelligence technology use in scientific research activities [EB/OL]. [2024-10-15]. http://www.cssar.cas.cn/ztzl2015/kycx/xfjs2021/zdgf2/202409/t20240913_7362745.html.)

11
中华医学会杂志社.关于在论文写作和评审过程中使用生成式人工智能技术的有关规定[EB/OL]. [2024-10-15]. http://stm.castscs.org.cn/yw/40598.jhtml.

(Chinese Medical Association Publishing House. Official provisions on generative artificial intelligence technologies in manuscript composition and peer review procedures [EB/OL]. [2024-10-15]. http://stm.castscs.org.cn/yw/40598.jhtml.)

12
中山大学医学期刊联盟.关于生成性人工智能的声明[EB/OL]. [2024-10-15]. http://journal.gzzoc.com/Es/Online/ArticleList.aspx?CID=296.

(Sun Yat-sen University Medical Journals Consortium. Statement on generative artificial intelligence[EB/OL]. [2024-10-15]. http://journal.gzzoc.com/Es/Online/ArticleList.aspx?CID=296.)

13
Sciengine. Requirements for the use of AI technology in scientific writing[EB/OL]. [2024-10-15]. http://www.sciengine.com/policies/use-of-ai-tools.

14
知乎. 多所大学放宽对AI限制!英国大学宣布AI使用新规, 澳洲教育部支持AI使用[EB/OL]. [2024-10-15]. http://zhuanlan.zhihu.com/p/668344435.

(Zhihu. Multiple universities ease AI restrictions: UK universities announce new regulations on AI usage and Australian education ministry endorses AI adoption [EB/OL]. [2024-10-15]. http://zhuanlan.zhihu.com/p/668344435.)

15
新华网.华师大北师大传播院系联合发布AIGC学生使用指南[EB/OL]. [2024-10-31]. http://comm.ecnu.edu.cn/4b/70/c41512a609136/page.htm.

(Net Xinhua. ECNU and BNU communication departments jointly release AIGC student usage guidelines[EB/OL]. [2024-10-31]. http://comm.ecnu.edu.cn/4b/70/c41512a609136/page.htm.)

16
THORP H H. ChatGPT is fun, but not an author[J]. Science, 2023, 379(6630): 313-313.

17
LI K Y, YAO H D. Revitalizing our earth: unleashing the power of green energy in soil remediation for a sustainable future[EB/OL]. [2024-10-15]. http://link.springer.com/article/10.1007/s11356-023-29672-6.

18
ELISABETH B. The rat with the big balls and the enormous penis–how Frontiers published a paper with botched AI-generated images[EB/OL]. [2024-10-15]. http://scienceintegritydigest.com/2024/02/15/the-rat-with-the-big-balls-and-enormous-penis-how-frontiers-published-a-paper-with-botched-ai-generated-images/.

19
聂慧超. 学术出版交手AIGC产生“双重魔法”[N]. 中国出版传媒商报, 2024-04-05(1).

(NIE H C. The “dual magic” of academic publishing’s engagement with AI-generated content[N]. China Publishing & Media Business Journal, 2024-04-05(1).)

20
Bloomberg. AI detectors are wrongfully flagging students’ papers as cheating[EB/OL]. [2024-10-15]. http://www.bloomberg.com/news/articles/2024-01-12/ai-detectors-are-wrongfully-flagging-students-papers-as-cheating.

21
郭英剑. 利用人工智能的学术作弊激增, 高校如何应对[EB/OL]. [2024-10-15]. http://news.sciencenet.cn/sbhtmlnews/2024/11/381842.shtm?share_token=d25ad102-c045-4f4c-93bb-167f8f3456ff.

(GUO Y J. Surge in AI-facilitated academic misconduct: strategic responses for higher education institutions [EB/OL]. [2024-10-15]. http://news.sciencenet.cn/sbhtmlnews/2024/11/381842.shtm?share_token=d25ad102-c045-4f4c-93bb-167f8f3456ff.)

22
薛德军, 孔祥煜, 耿崇, 等. 人工智能生成中文学术论文文本检测研究[J]. 北京电子科技学院学报, 2024, 32(3): 104-112.

(XUE D J, KONG X Y, GENG C, et al. Research on detecting AI-generated Chinese academic text[J]. Journal of Beijing Electronic Science and Technology Institute, 2024, 32(3): 104-112.)

文章导航

/

〈 〉