@armstrong 这个可以方便的自己控制跳转吗？比如控制最大跳转次数，拿到每次跳转的 HTTP 头

看一下 java.util.TimeZone 的获取 timezone 的源码吧，
private static synchronized TimeZone setDefaultZone () {
TimeZone tz;
// get the time zone ID from the system properties
String zoneID = AccessController.doPrivileged (
new GetPropertyAction ("user.timezone"));

// if the time zone ID is not set (yet ), perform the
// platform to Java time zone ID mapping.
if (zoneID == null || zoneID.isEmpty ()) {
String country = AccessController.doPrivileged (
new GetPropertyAction ("user.country"));
String javaHome = AccessController.doPrivileged (
new GetPropertyAction ("java.home"));
try {
zoneID = getSystemTimeZoneID (javaHome, country );
if (zoneID == null ) {
zoneID = GMT_ID;
}
} catch (NullPointerException e ) {
zoneID = GMT_ID;
}
}}
。。。。。。。。。。
}

@Fing 代理ip？

google会封你不

j2se基础一定要好啊，要明白各个数据结构底层代码如何实现的，例如hashmap、concurrenthashmap实现等等；并发编程；算法也是必须的；这些基础打好了，后面就好说了。

眼镜布擦擦就行了

习惯性的ll

到这上面挑几个速度较快的高匿名代理，多开几个进程，http://www.proxy.com.ru/

如果以后工作跟算法相关，比如机器学习啥的，读研还是必须的；再就是一些公司的研究生跟本科生的起薪是不同的，起薪很重要哦

@hepin1989 赞同！！语言只是工具，真正的牛人用什么都牛。。。吐槽语言垃圾的，我绝的大部分情况是没在合适的场景用合适的语言。。

@yakczh 我们这边做爬虫python java c都用，各有个的好处。论性能还是c > java > python的。用的java的好处就是更迅速便捷的大数据处理工具hadoop，hbase等等

不要黑JAVA了，国内阿里不是用java吗，国外也有很多啊，http://www.quora.com/What-kind-of-companies-use-Java-as-their-primary-language-in-software-development，只有坑的人，没有坑的语言

感觉很多都是讨论web方向的，用java做爬虫的默默飘过。。。

致敬！

我能说我用的百度DNS180.76.76.76 + 114.114.114.114嘛

说java是动态语言的我也是醉了。。。

sort -u src.txt > des.txt 就可以搞定了...

@Lullaby 这是stackoverflow上一个问题，希望可以有帮助
"Unexpected end of file" implies that the remote server accepted and closed the connection without sending a response. It's possible that the remote system is too busy to handle the request, or that there's a network bug that randomly drops connections.

With the information available it's impossible to say what's going wrong. If you have access to the servers in question you can use packet sniffing tools to find what exactly is sent and received, and look at logs to of the server process to see if there are any error messages.

http://stackoverflow.com/questions/19824339/java-simple-code-java-net-socketexception-unexpected-end-of-file-from-server

我看你的url是http://www.test.com/，实际打开是https://www.test.com，排查一下是不是https的问题；换个网站试一试