在manjaro Linux系统里建立了一个localhost测试网站,用wget命令生成一个checkLinks.log文件:
wget --spider -r --no-directories --no-verbose -o checkLinks.log http://localhost/
这个checkLinks.log日志文件事无巨细,里记录了所有网站链接url,其中包含大量失效链接的url,在url下方提示“远程文件不存在 -- 链接失效”,如下图所示:
发现失效链接的url都是以“:”结尾的,所以只要用sed -n "/:$/p"
命令就可以将它们通通提取出来:
cat checkLinks.log|sed -n "/:$/p" > badLinks