{
  "commentId": "评论唯一ID",
  "content": "评论正文",
  "rating": 5,
  "creationTime": "2026-07-15 14:30:00",
  "skuAttr": "颜色:黑色;尺码:XL",
  "pictures": ["图片URL1", "图片URL2"],
  "afterSaleReview": {
    "content": "追评内容",
    "creationTime": "2026-07-20 10:00:00"
  },
  "userNickName": "匿名用户",
  "userLevel": "PLUS会员"}

import hashlibimport jsonimport timeimport requests

APP_KEY = "你的AppKey"APP_SECRET = "你的AppSecret"ACCESS_TOKEN = "你的AccessToken"API_URL = "https://api.jd.com/routerjson"def generate_sign(params: dict, app_secret: str) -> str:
    """
    京东 API MD5 签名生成
    规则：app_secret + 按key排序后的keyvalue拼接 + app_secret，整体MD5转大写
    """
    # 过滤空值，按key字典序排序
    sorted_items = sorted(
        [(k, v) for k, v in params.items() if v is not None and v != ""],
        key=lambda x: x[0]
    )
    
    # 拼接签名字符串
    sign_str = app_secret    for k, v in sorted_items:
        sign_str += f"{k}{v}"
    sign_str += app_secret    
    # MD5加密并转大写
    return hashlib.md5(sign_str.encode("utf-8")).hexdigest().upper()def fetch_comments_page(sku_id: str, page: int = 1, page_size: int = 20, score: int = 0):
    """
    单页评论采集
    """
    # 业务参数
    biz_params = {
        "skuId": sku_id,
        "pageIndex": page,
        "pageSize": page_size,
        "score": score,
        "isImage": 0,
        "needAfterReview": 1
    }
    
    # 公共参数
    common_params = {
        "app_key": APP_KEY,
        "method": "jd.union.open.goods.comment.query",
        "timestamp": time.strftime("%Y-%m-%d %H:%M:%S"),
        "format": "json",
        "v": "2.0",
        "sign_method": "md5",
        "access_token": ACCESS_TOKEN,
        "param_json": json.dumps(biz_params, separators=(",", ":"))
    }
    
    # 生成签名（注意：签名时不包含 sign 字段本身）
    common_params["sign"] = generate_sign(common_params, APP_SECRET)
    
    try:
        response = requests.get(API_URL, params=common_params, timeout=15)
        data = response.json()
        
        # 解析响应
        result = data.get("jd_union_open_goods_comment_query_res", {}).get("result", {})
        comments = result.get("comments", [])
        return {
            "comments": comments,
            "total": result.get("totalCount", 0),
            "good_rate": result.get("goodRate", 0)
        }
    except Exception as e:
        print(f"请求失败：{e}")
        return {"comments": [], "total": 0, "good_rate": 0}

import pandas as pdfrom time import sleepdef crawl_all_comments(sku_id: str, max_pages: int = 50, score: int = 0):
    """
    全量采集商品评论，自动分页，带流控和容错
    """
    all_comments = []
    page = 1
    
    print(f"开始采集商品 {sku_id} 的评论...")
    
    while page <= max_pages:
        result = fetch_comments_page(sku_id, page=page, score=score)
        comments = result.get("comments", [])
        
        if not comments:
            print(f"第 {page} 页无数据，采集结束")
            break
        
        for c in comments:
            after = c.get("afterSaleReview") or {}
            row = {
                "comment_id": c.get("commentId"),
                "sku_id": sku_id,
                "star": c.get("rating", 5),
                "content": c.get("content", ""),
                "after_comment": after.get("content", ""),
                "spec": c.get("skuAttr", ""),
                "create_time": c.get("creationTime"),
                "has_img": 1 if c.get("pictures") else 0,
                "user_nick": c.get("userNickName", ""),
                "user_level": c.get("userLevel", "")
            }
            all_comments.append(row)
        
        print(f"第 {page} 页采集完成，本页 {len(comments)} 条，累计 {len(all_comments)} 条")
        
        # 流控：避免触发限流，每页间隔 0.5-1 秒
        sleep(0.6)
        page += 1
    
    df = pd.DataFrame(all_comments)
    df.to_csv(f"jd_comments_{sku_id}.csv", index=False, encoding="utf-8-sig")
    print(f"采集完成！共 {len(df)} 条评论，已保存至 jd_comments_{sku_id}.csv")
    return dfif __name__ == "__main__":
    # 示例：采集 iPhone 16 的评论（替换为真实 SKU）
    df = crawl_all_comments(sku_id="100012043978", max_pages=20)

import reimport jieba# 停用词表STOPWORDS = set(["的", "了", "很", "非常", "还是", "但是", "觉得", 
                 "这个", "那个", "一个", "有点", "感觉", "就是"])def clean_comment(text: str) -> str:
    """评论文本清洗"""
    if not isinstance(text, str):
        return ""
    # 去除HTML标签
    text = re.sub(r'<[^>]+>', '', text)
    # 去除特殊符号，保留中文、英文、数字
    text = re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9]', ' ', text)
    # 去除多余空格
    text = re.sub(r'\s+', ' ', text).strip()
    return textdef tokenize(text: str) -> list:
    """分词并过滤停用词"""
    words = jieba.lcut(text)
    return [w for w in words if len(w) >= 2 and w not in STOPWORDS]

from snownlp import SnowNLPdef analyze_sentiment(text: str):
    """
    情感分析：>0.6 好评，0.3-0.6 中评，<0.3 差评
    """
    if not text or len(text) < 3:
        return 0.5, "中性"
    
    try:
        score = SnowNLP(text).sentiments        if score > 0.6:
            label = "好评"
        elif score >= 0.3:
            label = "中评"
        else:
            label = "差评"
        return round(score, 3), label    except:
        return 0.5, "未知"# 批量分析df["clean_content"] = df["content"].apply(clean_comment)df[["sentiment_score", "sentiment_label"]] = df["clean_content"].apply(
    lambda x: pd.Series(analyze_sentiment(x)))

import jieba.analyse# 提取差评文本bad_comments = df[df["sentiment_label"] == "差评"]["clean_content"].tolist()bad_text = " ".join(bad_comments)# TF-IDF 提取关键词keywords = jieba.analyse.extract_tags(
    bad_text, 
    topK=30, 
    withWeight=True,
    allowPOS=("n", "v", "a")  # 只保留名词、动词、形容词)print("差评高频痛点 TOP10：")for word, weight in keywords[:10]:
    print(f"  {word}: {weight:.4f}")

import matplotlib.pyplot as pltfrom wordcloud import WordCloud

plt.rcParams["font.sans-serif"] = ["SimHei"]plt.rcParams["axes.unicode_minus"] = False# 1. 情感分布饼图sent_counts = df["sentiment_label"].value_counts()colors = {"好评": "#52c41a", "中评": "#faad14", "差评": "#f5222d"}plt.figure(figsize=(6, 6))plt.pie(
    sent_counts.values, 
    labels=sent_counts.index, 
    autopct="%1.1f%%",
    colors=[colors.get(l, "#999") for l in sent_counts.index])plt.title("评论情感分布", fontsize=14, fontweight="bold")plt.savefig("sentiment_pie.png", dpi=150)plt.close()# 2. 差评词云if bad_text:
    wc = WordCloud(
        font_path="C:/Windows/Fonts/simhei.ttf",  # Linux/Mac 请替换路径
        width=900, 
        height=500,
        background_color="white",
        colormap="Reds"
    )
    wc.generate(bad_text)
    wc.to_file("bad_wordcloud.png")