shell批量采集百度下拉框关键词

  • A+
摘要

shell批量采集百度下拉框关键词

刚看到小五给了一个可以批量采集百度下拉框的百度接口,简单修改下,已经用shell实现了批量采集,代码如下:

采集单个词测试一下:

curl -s "https://sp0.baidu.com/5a1Fazu8AA54nxGko9WTAnF6hhy/su?wd=seo"|iconv -f gbk -t utf-8|awk -F":" '{print $4}'|grep -oP '(?<=").*?(?=")'|sed 's/,//g'

效果如下图所示:

shell批量采集百度下拉框关键词

指定一批母词,批量采集代码:

cat kws.txt|while read line;do curl -s "shell批量采集百度下拉框关键词https://sp0.baidu.com/5a1Fazu8AA54nxGko9WTAnF6hhy/su?wd=$line"|iconv -f gbk -t utf-8|awk -F":" '{print $4}'|grep -oP '(?<=").*?(?=")'|sed 's/,//g';done

效果如下图,如果你的母词很多的话,建议在代码后面加一个重定向命令,将结果实时写入到文件中,这样比较好复制一些。给出完整代码吧:

cat kws.txt|while read line;do curl -s "https://sp0.baidu.com/5a1Fazu8AA54nxGko9WTAnF6hhy/su?wd=$line"|iconv -f gbk -t utf-8|awk -F":" '{print $4}'|grep -oP '(?<=").*?(?=")'|sed 's/,//g';done >ok.txt

结果会实时写入ok.txt文件中。

shell批量采集百度下拉框关键词

shell批量采集百度下拉框关键词另一个可用的百度API:

cat kws.txt|while read line;do curl -s http://suggestion.baidu.com/su?wd=$line=$line|iconv -f gbk -t utf-8|grep -oP '(?<=").*?(?=")'|egrep -v "baidu|,";done

效果如下图:

shell批量采集百度下拉框关键词

采集效率如下图,217个母词,不到一分钟采集到了416个下拉词,效率如何?

shell批量采集百度下拉框关键词

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin