本课程是大数据项目实战技巧系列课程，项目根据头条亿万级流量数据背景，实现了一站式的数据采集与监控。
包括了行为数据信息、产品数据、业务数据的高效率数据采集，定义并监控数据数据采集流程中各个指标，当信息采集链路发生故障时可以及时收到报警，同时当遇到性能难题时，通过监控系统我们能更有针对性的优化数据采集流程。
项目设计根据场景而不是根据行业领域，选择以技术驱动，关键在于各技术组件的搭配组合，目的在于处理特殊场景的难题。课程内容零基础环境基础知识开始，逐渐搭建成功，可以帮助你迅速搭建亿万级流量数据场景下的数据信息采集平台。
课程列表
- 01 某头条采集与监控实战-项目背景.mp4
- 02 某头条采集与监控实战-项目需求.mp4
- 03 某头条采集与监控实战-监控项目架构.mp4
- 04 某头条采集与监控实战-数据格式解析.mp4
- 05 某头条采集与监控实战-OpenResty安装.mp4
- 06 某头条采集与监控实战-创建OpenResty应用.mp4
- 07 某头条采集与监控实战- 编写应用主配置文件nginx.conf.mp4
- 08 某头条采集与监控实战-编写应用子配置文件collect-app.conf.mp4
- 09 某头条采集与监控实战- 测试并启动应用.mp4
- 10 某头条采集与监控实战-配置接口到数据管理中心.mp4
- 11 某头条采集与监控实战-日志切分.mp4
- 12 某头条采集与监控实战-Hadoop安装.mp4
- 13 某头条采集与监控实战-Flume安装.mp4
- 14 某头条采集与监控实战-编写Flume配置文件.mp4
- 15 某头条采集与监控实战-编写Flume拦截器.mp4
- 16 某头条采集与监控实战-部署Flume拦截器.mp4
- 17 某头条采集与监控实战-资讯数据采集Flume配置.mp4
- 18 某头条采集与监控实战-资讯数据采集Flume Agent对接数据管理中心.mp4
- 19 某头条采集与监控实战- 业务数据采集SQOOP脚本.mp4
- 20 某头条采集与监控实战-Hive安装配置.mp4
- 21 某头条采集与监控实战-Beeline加载JsonSerde.mp4
- 22 某头条采集与监控实战-创建行为数据表.mp4
- 23 某头条采集与监控实战-创建行为数据加速表.mp4
- 24 某头条采集与监控实战-创建新闻资讯表.mp4
- 25 某头条采集与监控实战-创建业务数据表.mp4
- 26 某头条采集与监控实战-编译安装Azkaban Solo Server.mp4
- 27 某头条采集与监控实战-Azkaban 作业流开发.mp4
- 28 某头条采集与监控实战-Azkaban 作业流定时调度.mp4
- 29 某头条采集与监控实战-DingTalk添加Webhook机器人.mp4
- 30 某头条采集与监控实战-DingTalk SDK测试.mp4
- 31 某头条采集与监控实战-Azkaban Alert接口开发.mp4
- 32 某头条采集与监控实战-Azkaban Alert插件部署.mp4
- 33 某头条采集与监控实战-Azkaban Alert插件运行测试.mp4
- 34 某头条采集与监控实战-Prometheus安装.mp4
- 35 某头条采集与监控实战-Prometheus数据模型介绍.mp4
- 36 某头条采集与监控实战-架构简介.mp4
- 37 某头条采集与监控实战-Supervisor与Prometheus集成.mp4
- 38 某头条采集与监控实战-Supervisor与Grafana集成.mp4
- 39 某头条采集与监控实战-Grafana集成Prometheus数据源.mp4
- 40 某头条采集与监控实战-加载nginx-lua-prometheus扩展模块.mp4
- 41 某头条采集与监控实战-nginx指标收集.mp4
- 42 某头条采集与监控实战-nginx metric接口配置到prometheus.mp4
- 43 某头条采集与监控实战-监控指标最终效果展示.mp4
- 44 某头条采集与监控实战-Supervisor管理Flume Agent.mp4
- 45 某头条采集与监控实战-flume-exporter接口配置到prometheus.mp4
- 46 某头条采集与监控实战-在Grafana上配置flume metric 监控.mp4
