|
-
2025-04-21 16:49
-
引用
1 楼
张颖:这个分享还是很棒的,这句话我也很喜欢。
|
|
-
2025-04-21 15:31
-
引用
2 楼
今日头条对标题党的审核也很严,头条内部技术团队关于标题党分类的讨论就有十几页,他们曾经把另外一家平台的标题抓取,发现超过15%都被认定为标题党。
|
|
-
2025-04-21 15:18
-
引用
3 楼
第四步:一张完美整洁的日志就导入进来了,这样再看是不是很舒服很清晰呢 第五步:把一些不需要的删除,只需保留cs-uri-stemURI资源、c-ip客户端IP地址、cs(User-Agent)用户代理、sc-status协议状态这4项就可以了 如下图所示,一目了然! 网站日志英文注释: date日期 time时间 s-sitename服务名 s-ip服务器IP地址 cs-method方法 cs-uri-stemURI资源 cs-uri-queryURI查询 s-port服务器端口 cs-username用户名 c-ip客户端IP地址 cs(User-Agent)用户代理sc-status协议状态 200表示成功 301永久重定向 403表示没有权限 404表示找不到该页面 500内部服务器错误 503服务器超时 sc-substatus协议子状态 sc-win32-statusWin32状态 sc-bytes发送的字节数 cs-bytes接收的字节数 time-taken所用时间 网站日志分析 以下图为例 通过分析:一款俄罗斯的蜘蛛通过IP为141.8.142.145地址爬取了robots.txt这个文件,抓取成功,返回200正常。
|