面试先笔试， Linux 考了一个 nginx 的 log 中 ip 出现最多的 10 个 ip 是什么。。。

[1069401249]

真的不会啊，难道你们用 linux 都这么溜吗。

我面的岗位是后端开发，岗位要求是熟悉常用的 linux 命令，这种命令我没用过，所以 GG 了；发出来算是给大家出了个好题目吧。
@mcfog 的差不多可以了，但是只找出了出现次数最多的单词，并没有匹配是不是 ip 地址。

[jackon]

搜索引擎的爬虫 IP?

[jonah]

主要是考察一些常用的 shell 文本处理命令，比如 awk 、 sed 、 sort 、 uniq 之类的，可以搞定

[xiaopc]

cat grep wc?

[noelyang]

正则匹配 ip 地址，然后分别计数，最后取计数最多的 ip
难度不高吧

[1069401249]

@noelyang 思路都知道，但是 linux 命令没用到这么深。。。

[ProjectAmber]

grep | awk | sort | uniq -c | sort | head -n 10

[Hozzz]

awk

[est]

cat nginx.log | 实习生

[conoha]

...熟悉应该还好？用脚本就是 2L, 如果是程序，那就是过滤每条日志获取 ip ， ip2long, 然后就转变成最多的 K 个数了

[imganquan]

这是 Linux 基础技能吧。

这都不会还应聘毛的 Linux 技术岗。。。。

[ProjectAmber]

上面写错了， sort -> sort -n 。
不让看手册的话我写不出来， awk 用的不是太熟。

[dremy]

cat access.log | awk '{print $1}' | sort | uniq -c | sort -r | head -n 10
拿走不谢

[banditsmile]

cat file_name|awk "{$a[$1]++}END{for (x in $a){print $a[$x],$x}}|sort -k2|head -n 10 "
伪代码，不能运行，不要尝试

另外用 grep 和 unique 的都是忽悠

[1069401249]

@imganquan 应聘的后端开发，，按道理说是应该熟悉常用的 linux 命令，只是这题对我来说有点深，所以发出来大家讨论下

[mcfog]

有 google 会

awk '{a[$1]++} END { for (i in a) {print i, a[i]} }' access.log | sort -rnk2 | head -10

没有的话算了还是面别家吧……

[param]

sort | unic -c | sort -n

[relaxgo]

直接用 goaccess

[Suddoo]

不 google 还真不会，虽然用 linux ２年了，但上面这几个命令用得很少， bash 语法也不熟悉，因为我的目标职位不是运维。

[littleylv]

如果是面试运维，这种答不上来估计会丢人
单纯面试后端开发，我觉得没必要一定会，当然会更好，但不会还可以 google

[wc951]

现在难道都不用日志采集，而是自己去服务器上查日志?

[ihuotui]

@wc951 哈哈，或者面试官就是这样的。

[dongxiaozhuo]

@1069401249 后端开发，直接上 py 脚本岂不美哉。非要用 shell 的面试，不去也罢。

[fsgmhoward]

这个要考正则的吧

[Suddoo]

@wc951 对啊，现在已经不是刀耕火种的年代了啊。

[mringg]

数据量小我能直接写，如果数据量大我宁愿拖到 hdfs 再说

[echo1937]

老派 Linux 运维必考内容，他如果没有限定工具的话，写个 py 的实现我觉得也可以给分。

[takeoffyoung]

如果考操作的话，上面说了那么多。
如果考算法的话，什么分治合并的模糊算法，什么 hash+heap sort
都是可以搜到答案的

[xavierskip]

如果不是考 shell ，用别的编程语言实现也没什么难度吧。

[ryd994]

@dremy
@ProjectAmber
第二个 sort 该 sort -n 吧

[jy01264313]

很全面的一道题目

[q397064399]

如果是后端， Python 明显比 shell 有优势，脚本

[yuedingwangji]

这太简单了吧 ， sort -n | uniq -c | sort -n 或者 awk 然后在 sort -n

[DravenJohnson]

为什么都在 sort ，难道这题不是问 IP 地址的么？

[flowfire]

@DravenJohnson 23333 我也想知道到底问的是如何获取访问最多的 10 个 ip 还是问的是 10 个 ip 具体是啥

[sunsol]

@flowfire 我也一样，第一反应是 127.0.0.1 ，然后在想其它 9 个是什么

[ichou]

@q397064399 然而很多机器上并没有 python

[sunsol]

@ichou linux 上没 python 的还真少见

[yaxin]

awk '{print $1}' /path/to/nginx | sort | uniq -c | sort -r -n -k 1 | head -10
用多了就熟练了

[blacklee]

楼上 yaxin 的应该是正确答案，里面后一个 sort 我不看文档也不懂。
awk + sed 就能出一本 500+页的书，但是这个问题所需要的 awk 很基础。
另外就是多会一些 linux 的基础命令，会对你的实际工作产生相当不错的效率提升。

[Hozzz]

@sunsol 核心主机上没 python 不要太正常，装的东西越少越好越稳定

[est]

@ichou
@Hozzz

来来来，报发行版。我就不相信什么发行版没 python 。

[shyling]

连各种 docker 的基础镜像里都自带的 python ，不知道有些人的系统是什么

[Hozzz]

@est 刚刚回头看了下，生产主机上全是 AIX 和 HPUX （没有 python ），晚点看看 oracle 一体机_(:з」∠)_

[est]

@Hozzz 喂喂喂 UNIX 就不要冒充 linux 好不好。

[momocraft]

在 linux 中只见过 coreos 没 python.

[Felldeadbird]

运维这个很常用啊。 nginx 和 apache 生成的访问日志 格式都是一致的。楼主面试的运维，这个答不上就不是合格的运维了

[loryyang]

必须允许用 man 吧，否则有些参数不常用的，肯定不会记得那么清楚的
反正很多时候都是 man 一下，再写，那么多参数，如果不是天天用，过几天就忘记了

[killerv]

很多人没看到，楼主应聘的是后端开发，我觉得如果能用其他后端语言解出来这道题，没有问题，非要用 shell 就有点扯了，毕竟后端不是专业运维。

[Famio]

好像很多人没看清楼主的问题。
如果是 access.log 的话，我觉得最多的 10 个 IP 应该是爬虫。

[artandlol]

awk '{print $1}' /usr/local/nginx/logs/access.log |sort |uniq -c|sort -rn|head -10
or
awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' /usr/local/nginx/logs/access.log | sort -k2 -nr | head -n 10

[est]

@Famio 不一定。我这边是省级移动 4G 出口 IP 。

[ichou]

@est 我们的生产环境全都没有，因为我们是 docker ，哈哈哈，连续 make gcc 都没有

[jingniao]

那么像这样的需求，用 python 写，多久写出来算是合格呢？

[est]

@ichou 你们 log 是直接写入 docker 镜像的？

[ichou]

@est openresty 直接塞进 kibana

[est]

@ichou 那还说个毛。。。。你们 docker 里没有 python ， docker 外是什么发行版呢？ coreos ？

[xiaket]

@est 抬杠的话, 有个 alpine... 用这个当 docker base 的话连 bash 都没有... - .-

当然你应该知道我是 py 粉的...

[est]

@xiaket 我说你们 docker 所在服务器上跑的是什么 os ？

我也用 alpine 啊。

[xiaket]

@est 哼，你先说的是发行版...

[Jaylee]

@artandlol 这两种都是正解

[veryyoung]

作为面试官，这道题出了 N 次了，目前为止只遇到一个人做出来。

然而基本每个人简历上都写了熟练使用 Linux 常用命令。

[ichou]

@est 哈哈 其实我也是随口一说的，之前我还真不清楚 python 已经成发行版标配了

[wdlth]

不应该加钱 ELK 么？