×

Java 爬虫获取 1688 item_search_shop API 数据的代码解析

admin admin 发表于2025-10-10 17:27:30 浏览6 评论0

抢沙发发表评论

在电商领域,1688 是国内领先的 B2B 电商平台,提供了丰富的商品数据和强大的 API 接口。通过 Java 爬虫技术,我们可以高效地获取 1688 店铺的所有商品信息。本文将详细介绍如何利用 Java 爬虫获取 1688 的 item_search_shop API 数据,并提供完整的代码示例。

一、前期准备

(一)Java 开发环境

确保你的 Java 开发环境已经安装了以下必要的库:
  • Apache HttpClient:用于发送 HTTP 请求。
  • Jackson:用于解析 JSON 数据。
可以通过 Maven 来管理这些依赖,在你的 pom.xml 文件中添加以下依赖:
xml
复制
<dependencies>
    <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpclient</artifactId>
        <version>4.5.13</version>
    </dependency>
    <dependency>
        <groupId>com.fasterxml.jackson.core</groupId>
        <artifactId>jackson-databind</artifactId>
        <version>2.10.0</version>
    </dependency></dependencies>

(二)注册 1688 开放平台账号

在 1688 开放平台上注册成为开发者,并创建应用以获取 AppKeyAppSecret。这些凭证将用于构建访问 API 的请求。

二、爬虫实现步骤

(一)构建 API 请求

根据 1688 开放平台的 API 文档,item_search_shop 接口的请求地址为 https://api-gw.onebound.cn/1688/item_search_shop。以下是请求参数的说明:
  • key:AppKey。
  • secret:AppSecret。
  • shop_id:店铺 ID,用于指定需要获取商品信息的店铺。
  • page:页码(默认为 1)。
  • page_size:每页显示的商品数量(默认为 40)。

(二)生成签名

1688 API 接口需要对请求参数进行签名验证。以下是一个生成签名的 Java 方法示例:
java
复制
import java.security.MessageDigest;import java.util.TreeMap;public class ApiUtil {
    public static String generateSign(TreeMap<String, String> params, String appSecret) {
        StringBuilder paramStr = new StringBuilder();
        for (Map.Entry<String, String> entry : params.entrySet()) {
            paramStr.append(entry.getKey()).append("=").append(entry.getValue()).append("&");
        }
        paramStr.append(appSecret);
        return md5(paramStr.toString()).toUpperCase();
    }

    private static String md5(String str) {
        try {
            MessageDigest md = MessageDigest.getInstance("MD5");
            byte[] array = md.digest(str.getBytes());
            StringBuilder sb = new StringBuilder();
            for (byte b : array) {
                sb.append(Integer.toHexString((b & 0xFF) | 0x100).substring(1, 3));
            }
            return sb.toString();
        } catch (Exception e) {
            e.printStackTrace();
            return null;
        }
    }}

(三)发送 HTTP 请求

使用 Apache HttpClient 发送 GET 请求,获取 API 返回的 JSON 数据:
java
复制
import com.fasterxml.jackson.databind.JsonNode;import com.fasterxml.jackson.databind.ObjectMapper;import org.apache.http.client.methods.HttpGet;import org.apache.http.impl.client.CloseableHttpClient;import org.apache.http.impl.client.HttpClients;import org.apache.http.util.EntityUtils;import java.io.IOException;import java.util.TreeMap;public class AlibabaShopItemCrawler {
    private static final String APP_KEY = "your_app_key";
    private static final String APP_SECRET = "your_app_secret";

    public static void main(String[] args) {
        String shopId = "123456789";
        int page = 1;
        int pageSize = 40;
        TreeMap<String, String> params = new TreeMap<>();
        params.put("key", APP_KEY);
        params.put("shop_id", shopId);
        params.put("page", String.valueOf(page));
        params.put("page_size", String.valueOf(pageSize));
        String sign = ApiUtil.generateSign(params, APP_SECRET);
        params.put("sign", sign);

        StringBuilder urlBuilder = new StringBuilder("https://api-gw.onebound.cn/1688/item_search_shop?");
        for (Map.Entry<String, String> entry : params.entrySet()) {
            urlBuilder.append(entry.getKey()).append("=").append(entry.getValue()).append("&");
        }
        String url = urlBuilder.toString().substring(0, urlBuilder.length() - 1);

        try (CloseableHttpClient httpClient = HttpClients.createDefault()) {
            HttpGet request = new HttpGet(url);
            CloseableHttpResponse response = httpClient.execute(request);
            String jsonResponse = EntityUtils.toString(response.getEntity());
            System.out.println("API Response: " + jsonResponse);

            // 解析 JSON 数据
            ObjectMapper objectMapper = new ObjectMapper();
            JsonNode rootNode = objectMapper.readTree(jsonResponse);
            JsonNode itemsNode = rootNode.path("items");
            for (JsonNode itemNode : itemsNode) {
                String title = itemNode.path("title").asText();
                String price = itemNode.path("price").asText();
                String picUrl = itemNode.path("pic_url").asText();
                System.out.println("Title: " + title);
                System.out.println("Price: " + price);
                System.out.println("Pic URL: " + picUrl);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }}

三、代码解析

(一)签名生成

生成签名的代码如下:
java
复制
public static String generateSign(TreeMap<String, String> params, String appSecret) {
    StringBuilder paramStr = new StringBuilder();
    for (Map.Entry<String, String> entry : params.entrySet()) {
        paramStr.append(entry.getKey()).append("=").append(entry.getValue()).append("&");
    }
    paramStr.append(appSecret);
    return md5(paramStr.toString()).toUpperCase();}
  • TreeMap:确保参数按字典序排列。
  • md5:生成 MD5 哈希值。

(二)发送 HTTP 请求

发送 HTTP 请求的代码如下:
java
复制
HttpGet request = new HttpGet(url);CloseableHttpResponse response = httpClient.execute(request);String jsonResponse = EntityUtils.toString(response.getEntity());
  • HttpGet:创建一个 GET 请求。
  • execute:发送请求并获取响应。
  • EntityUtils.toString:将响应体转换为字符串。

(三)解析 JSON 数据

解析 JSON 数据的代码如下:
java
复制
ObjectMapper objectMapper = new ObjectMapper();JsonNode rootNode = objectMapper.readTree(jsonResponse);JsonNode itemsNode = rootNode.path("items");for (JsonNode itemNode : itemsNode) {
    String title = itemNode.path("title").asText();
    String price = itemNode.path("price").asText();
    String picUrl = itemNode.path("pic_url").asText();
    System.out.println("Title: " + title);
    System.out.println("Price: " + price);
    System.out.println("Pic URL: " + picUrl);}
  • ObjectMapper:用于解析 JSON 数据。
  • readTree:将 JSON 字符串解析为 JsonNode
  • path:获取 JSON 节点的值。

四、优化与注意事项

(一)API 接口使用

如果需要获取更丰富的商品详情数据,可以使用 1688 开放平台的 API 接口。通过 API 接口获取数据可以避免反爬限制,同时获取更完整的商品信息。

(二)签名生成

在使用 1688 API 时,需要生成签名以验证请求的合法性。

(三)调用频率限制

注意 API 的调用频率限制,避免短时间内发送大量请求,以免被封禁。

(四)数据类型

除了商品详情,还可以爬取以下数据:
  • 店铺信息:包括店铺名称、地址、联系方式等。
  • 商品图片:获取商品的主图和其他图片的 URL。
  • 销售数据:包括销量、评价等,反映商品的市场表现。
  • 规格参数:如颜色、尺寸、材质等,帮助管理库存和提供个性化推荐。

五、总结

通过上述步骤和代码示例,你可以高效地利用 Java 爬虫技术获取 1688 店铺的所有商品信息。希望本文能为你在实际开发中提供有益的参考和启发。


如遇任何疑问或有进一步的需求,请随时与我私信或者评论联系。

群贤毕至

访客