请教下关于用 Flume+kafka+Spark 实现实时监控错误日志报警的功能
KOSKERS · 2019-04-23 11:05:23 +08:00 · 5849 次点击这是一个创建于 2033 天前的主题，其中的信息可能已经有所发展或是发生改变。
大家好，请教下关于用 Flume+kafka+Spark 实现实时监控错误日志报警的功能。 目前 Flume 和 Kafka 的相关功能已经通了。但是 spark 没什么使用经验。 看网上教程是要自己写 Scala 脚本然后打成 jar 包给 Spark 执行。
我想用 spark 实现检测 kafka 的数据流，如果发现 error 字样，就发送邮件。 请问各位大佬有没有相关脚本或者教程的地址可以参考的？
谢谢大家。
 |
1
kex0916 2019-04-23 13:54:19 +08:00  1
|
 |
3
bantao 2019-04-23 17:03:04 +08:00
flume 和 spark streaming 都可以消费 kafka 的消息数据，你的场景不复杂，不需要用 sparkstreaming 了，建议写个 flume 的拦截器比较简单的 https://www.jianshu.com/p/1b083f67aacc。
|
Select Language