shell 采集 google 和 api 随机调用的问题

[hopestar86]

需要借助api和google大批量的查询域名的相关信息

shell没怎么系统的学过，开始用的php实现的，但是发现php处理速度太慢了，据说用python不错，但是python完全没学过

请教一

for DOMAIN in $(cat domains.txt)
do
DOMAIN_PATH="list/$DOMAIN/";
mkdir -p $DOMAIN_PATH;
curl -s -d "app=domain.whois&domain=$DOMAIN&appkey=$APPKEY&sign=$SIGN&format=json" $API_URL > $DOMAIN_PATH"age.txt"
done

由于api是免费的，但是限制每小时只能查询240次，远远不够我的需求，所以我申请了多组api

请教怎么让$APPKEY 和 $SIGN 随机调用 我的API组 (或者依次，240次后换下一个)

请教二

curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" https://www.google.com/search?q=keyword&gws_rd=ssl

可以获取到google查询的内容，但是据说查询多了，google会封你的ip

除了 -x 使用代理服务器的话 还有更简单的避免方法吗？

回归到前面 使用 -x 代理服务器， 又是随机调用的问题


请教三

api结果返回的json的数据，shell 有什么好用处理json的工具吗？


请教四
shell 可以正则提取内容吗？

谢谢

[superbear]

知道了四，shell里面有正则

[ccbikai]

shell 处理json 用 jq 很爽

[pc10201]

还是python吧，比shell强大而且舒服很多

[hopestar86]

@pc10201 呵呵，知道python处理这个很好，就是现在不会