SparkStreaming 实时计算 广告点击流量实时统计 需求 技术方案数据库设计

几大模块内容

1. 用户访问session分析模块：会话（session），用户的基础访问行为
2. 页面单跳转化率模块：页面（page），用户的页面访问和页面跳转行为
3. 各区域热门商品统计模块：商品（product），用户的商品点击行为
4. 广告点击流量实时统计模块：广告（ad，advertisement），用户的广告点击行为

广告点击流量实时统计模块

每次点击一个广告以后，通常来说，网站 / app中都会有埋点（前端的应用中，比如JavaScript Ajax；app中的socket网络请求，往后台发送一条日志数据）；日志数据而言，通常，如果要做实时统计的话，那么就会通过某些方式将数据写入到分布式消息队列中（Kafka）；
日志写入到后台web服务器（nginx），nginx产生的实时的不断增加 / 更新的本地日志文件，就会被日志监控客户端（比如flume agent），写入到消息队列中（kafka），我们要负责编写实时计算程序，去从消息队列中（kafka）去实时地拉取数据，然后对数据进行实时的计算和统计。
产品经理、高管可以实时地掌握到公司打的各种广告的投放效果。以便于后期持续地对公司的广告投放相关的战略和策略，进行调整和优化；以期望获得最好的广告收益。

1、所做需求

1. 实现实时动态黑名单机制：将每天广告点击超过100次的用户拉黑
2. 基于黑名单的非法广告流量过滤机制
3. 每天各省各城市各广告点击流量实时统计
4. 统计每天各省top3实时热门广告
5. 统计各广告最近1小时内的点击量趋势:各广告最近1小时内各分钟的点击量
6. 使用高性能方式将实时统计结果写入mysql
7. 实现实时计算程序的HA高可用性（Spark Streaming HA方案）
8. 实现实时计算程序的性能调优（Spark Streaming Performence Tuning方案）

2、数据格式分析 以及数据库设计

1、数据格式

timestamp	1450702800
province 	Jiangsu	
city 	Nanjing
userid 	100001
adid 	100001

2、数据设计
①ad_user_click_count

CREATE TABLE `ad_user_click_count` (
  `date` varchar(30) DEFAULT NULL,
  `user_id` int(11) DEFAULT NULL,
  `ad_id` int(11) DEFAULT NULL,
  `click_count` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8

②ad_blacklist

CREATE TABLE `ad_blacklist` (
  `user_id` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8

③ad_stat

CREATE TABLE `ad_stat` (
  `date` varchar(30) DEFAULT NULL,
  `province` varchar(100) DEFAULT NULL,
  `city` varchar(100) DEFAULT NULL,
  `ad_id` int(11) DEFAULT NULL,
  `click_count` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8

④ad_province_top3

CREATE TABLE `ad_province_top3` (
  `date` varchar(30) DEFAULT NULL,
  `province` varchar(100) DEFAULT NULL,
  `ad_id` int(11) DEFAULT NULL,
  `click_count` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8

⑤ad_click_trend

CREATE TABLE `ad_click_trend` (
  `date` varchar(30) DEFAULT NULL,
  `ad_id` int(11) DEFAULT NULL,
  `minute` varchar(30) DEFAULT NULL,
  `click_count` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8