批量采集文章AI改写：Python批量操作与实操指南

合法来源 → 批量采集 → 预处理 → AI改写 → 人工优化 → 发布

# 合法来源示例
合法来源 = [
    "PubMed Central（生物医学论文）",
    "arXiv（预印本论文）",
    "政府公开数据（.gov/.org）",
    "维基百科（CC BY-SA协议）",
    "购买的内容API（如NewsAPI）",
    "RSS订阅（遵循网站政策）"
]

# 示例配置
import scrapy
import time

class ArticleSpider(scrapy.Spider):
    name = 'article_spider'
    custom_settings = {
        'DOWNLOAD_DELAY': 2,  # 2秒延迟，尊重服务器
        'CONCURRENT_REQUESTS': 1,
        'USER_AGENT': 'YourBot/1.0 (+https://yourdomain.com/bot-info)'
    }
    
    # 仅采集允许爬取的内容

原始内容 → 清洗（去广告/导航） → 提取正文 → 分段 → 提取关键信息

请将以下文章进行深度改写，要求：

1. 结构重组：
   - 完全重组段落顺序
   - 改变原叙述逻辑（如：问题-解决 → 故事-教训）
   - 替换所有案例和比喻

2. 语言风格转换：
   - 从[原风格]改为[新风格，如：学术→通俗]
   - 改变句式结构（主动↔被动，长短句调整）
   - 替换90%以上的短语和表达方式

3. 内容增值：
   - 在[位置]添加最新数据（请查询2023-2024年相关统计）
   - 补充原文章缺少的[具体方面，如：实操步骤]
   - 添加相关但不同的示例

4. SEO优化：
   - 自然融入关键词：[关键词1, 关键词2]
   - 优化标题和元描述
   - 添加语义相关词汇

5. 原创性保证：
   - 确保Turnitin等查重系统检测低于15%相似度
   - 添加原创观点：[请在此处添加你的专业见解]

原始文章：
[文章内容]

{
  "system_prompt": "你是一名专业的内容改写专家，擅长将已有文章改写成全新原创内容，同时保持核心信息的准确性。",
  "user_prompt_template": "请根据以下指令改写文章：\n\n指令清单：\n1. 改变文章结构：将原结构从{A结构}改为{B结构}\n2. 目标受众：从{A受众}改为{B受众}\n3. 添加内容：在{具体位置}添加{内容类型}\n4. 关键词：自然融入{关键词列表}\n5. 风格：使用{目标风格}风格\n\n待改写文章：{article_text}\n\n请输出改写后的完整文章，无需额外说明。",
  "parameters": {
    "temperature": 0.8,  # 较高的创造性
    "top_p": 0.9,
    "frequency_penalty": 0.7,  # 降低重复
    "presence_penalty": 0.5
  }
}

import json
import requests
from typing import List, Dict

class ArticleRewriter:
    def __init__(self, api_key: str):
        self.api_key = api_key
        self.api_url = "https://api.openai.com/v1/chat/completions"
        
    def generate_prompt(self, article: Dict) -> str:
        """动态生成提示词"""
        template = f"""
请以{article.get('target_tone', '专业中立')}的语气，将以下文章改写成全新的原创内容：

【改写要求】
1. 彻底改变文章结构，使用{article.get('new_structure', '问题-分析-解决方案')}结构
2. 替换所有示例，使用{article.get('industry', '通用')}行业的不同案例
3. 更新数据到最新年份，并添加统计来源提示
4. 将文章深度从{article.get('original_depth', '基础')}提升到{article.get('target_depth', '进阶')}水平
5. 自然融入这些关键词：{', '.join(article.get('keywords', []))}
6. 添加实用技巧或检查清单

【原创性检查】
- 确保与原文相似度低于10%
- 添加至少3处原创见解

原文标题：{article['title']}
原文内容：{article['content'][:3000]}...  # 截断处理
        """
        return template
    
    def rewrite_batch(self, articles: List[Dict], batch_size: int = 10) -> List[str]:
        """批量改写"""
        results = []
        for i in range(0, len(articles), batch_size):
            batch = articles[i:i+batch_size]
            for article in batch:
                prompt = self.generate_prompt(article)
                rewritten = self.call_ai_api(prompt)
                
                # 后处理：添加独特元素
                final_content = self.add_unique_elements(
                    rewritten, 
                    article['domain']
                )
                results.append(final_content)
                
                # 尊重API限制，添加延迟
                time.sleep(1)
        
        return results
    
    def add_unique_elements(self, content: str, domain: str) -> str:
        """添加独特元素降低重复率"""
        unique_additions = {
            "科技": "\n\n[技术洞察] 根据最新行业报告，这一趋势在2024年有明显加速...",
            "健康": "\n\n[健康提示] 值得注意的是，个体差异较大，建议咨询专业人士...",
            "金融": "\n\n[风险提示] 市场有风险，过往表现不代表未来收益..."
        }
        return content + unique_additions.get(domain, "")

原创性指标 = [
    "结构相似度 < 30%",
    "短语重复率 < 15%",
    "添加了原文没有的数据/案例",
    "改变了论点展开方式",
    "更新了时间相关表述"
]

import difflib
from collections import Counter

class ContentQualityChecker:
    @staticmethod
    def calculate_originality(original: str, rewritten: str) -> float:
        """计算原创性评分"""
        # 1. n-gram分析
        original_ngrams = set(zip(original.split(), original.split()[1:]))
        rewritten_ngrams = set(zip(rewritten.split(), rewritten.split()[1:]))
        
        overlap = original_ngrams & rewritten_ngrams
        originality = 1 - len(overlap) / len(rewritten_ngrams)
        
        # 2. 结构差异分析
        # ... 添加更多检测逻辑
        
        return round(originality * 100, 2)
    
    @staticmethod
    def check_seo_elements(text: str, keywords: list) -> dict:
        """检查SEO要素"""
        word_count = len(text.split())
        keyword_density = {
            kw: text.lower().count(kw.lower()) / word_count * 100 
            for kw in keywords
        }
        
        return {
            "word_count": word_count,
            "keyword_density": keyword_density,
            "has_meta": "yes" if len(text) > 150 else "no"
        }

收集10+篇相关文章 → 提取核心观点 → 生成综合分析报告 → 添加原创评论

非英语优质内容 → 机器翻译 → 深度本地化改写 → 添加本地案例

公开数据集 → 分析洞察 → 生成数据报告 → 添加专业解读

收集用户问题 → 生成回答 → 整合成文章 → 添加专家评论