日志分析实战之清洗日志小实例5：实现获取不能访问url

问题导读 1.在url中，如何过滤不需要的内容？ 2.如何获取404记录并且获取字段？ 3.获取不能访问url列表的思路是什么？ about云日志分析实战之清洗日志4：统计网站相关信息 http://www.aboutyun.com/forum.php?mod=viewthread&tid=22900 上篇文章简单的统计了一些信息，下一步希望找到404对应的url。 思路： 1.获取request字段 2.过滤不需要字符 3.实现获取url，并打印输出 1.创建getRequest函数获取request字段

[Scala] 纯文本查看 复制代码

?

// get the `request` field from an access log record
def getRequest(rawAccessLogString: String): Option[String] = {
  val accessLogRecordOption = p.parseRecord(rawAccessLogString)
  accessLogRecordOption match {
    case Some(rec) => Some(rec.request)
    case None => None
  }
}

2.创建extractUriFromRequest函数

[Scala] 纯文本查看 复制代码

?

// val request = "GET /foo HTTP/1.0"
def extractUriFromRequest(requestField: String) = requestField.split(" ")(1)

这个目的大家可以猜猜它的作用 获取404页面，并且打印出请求的URL.

[Scala] 纯文本查看 复制代码

?

val distinctRecs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404")
                     .map(getRequest(_))
                     .collect { case Some(requestField) => requestField }
                     .map(extractUriFromRequest(_))
                     .distinct

[Scala] 纯文本查看 复制代码

?

distinctRecs.count

[Scala] 纯文本查看 复制代码

?

distinctRecs.collect().foreach(println(_))

3.获取url

[Scala] 纯文本查看 复制代码

?

val distinctRecs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404")
                     .map(getRequest(_))
                     .collect { case Some(requestField) => requestField }
                     .map(extractUriFromRequest(_))
                     .distinct

通过上面看，其实挺简单。Scala本身是非常简洁的。 相关说明： 上面看似简单，其实有很多需要说明的 val recs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)) 上面得出404对应的url.getRequest是上面我们定义的函数 val distinctRecs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).distinct 这里多了distinct是为了去重，下面是直接打印。 distinctRecs.collect().foreach(println(_))。 对于extractUriFromRequest，这个主要为过滤我们不想要的内容。如下面，GET 和HTTP/1.1都不是我们想要的。所以我们取第二个元素即可。

[Bash shell] 纯文本查看 复制代码

?

GET /foo HTTP/1.0
GET /foo HTTP/1.1

知识补充： 对于collect（） 函数，是比较常见的，但是对于下面内容，是什么意思。 collect { case Some(requestField) => requestField }这个作用，类似map。 ################## 更多信息： 在Scala中，当我需要对集合的元素进行转换时，自然而然会使用到map方法。而当我们在对tuple类型的集合或者针对Map进行map操作时，通常更倾向于在map方法中使用case语句，这比直接使用_1与_2更加可读。例如：

[Scala] 纯文本查看 复制代码

?

val languageToCount = Map("Scala" -> 10, "Java" -> 20, "Ruby" -> 5)
languageToCount map { case (_, count) => count + 1 }

然而对于上述场景，其实我们也可以使用collect方法：

[Scala] 纯文本查看 复制代码

?

languageToCount collect { case (_, count) => count + 1 }