比特资讯+图文直播 小程序后端设计

难点问题:

1.爬虫采集

url池,文章唯一性,Selenium渲染,多线程采集,xpath+jsoup自定义html解析器 jpath,多线程解析
12D4423A-D733-47E5-8049-EA9263DCF7AF.png

2.存储

mysql分库分表,按照时间和数量分成多个表 同步到solr搜索引擎

redis缓存热点数据 首页、热搜等
fastdfs小文件存储系统,快速写入,快速查询,索引定位,集成nginx访问,带缩略图功能

3.搜索

solr搜索 集成ansj文本分词 可做集群

4.热点算法

hadoop mapreduce 定时任务更新, 分词 vsm空间向量 访问量 评论 转发 收藏 形成最终分数

5.图文直播间

直播间内容redis主从同步,一主多从,aof快照备份,redis集群 基于内存存储快
websocket 动态扩容、缩减(根据服务器数量而定),根据连接数量自动连接对应的websocket服务,可以无限扩充,mysql neetty nio服务

支持短连接推送,a. 同时支持长连接和短连接,可根据路由服务的配置来决定;b. 自动降级,如果长连接同时三次连接不上,自动降级为短连接;c. 自动上报长连接性能数据;

心跳检测是否还在直播间,可短点重连

redis存储当前直播间连接人,记录连接服务位置、数量统计等功能

kafka接收用户发送的消息,作为数据缓冲,配置容灾队列

图文直播内容全量数据:mysql/mongodb 包括图文、弹幕、空投、用户列表
B844CC39-CB24-4716-ADA1-2CA056CA9574.png

6.容灾备份

mysql定时binlog日志,可随时恢复
redis aof磁盘快照
kafka容灾队列
错误日志排查
轮询出错自动通知客户端修改轮询时间,客户端自动增大轮询时间
接口访问频率上限,恶意ip地址记录

7.调优

nginx做负载均衡、请求转发 (可以高并发连接、节省带宽、支持GZIP压缩、内存消耗少、稳定)
根据高频访问、评论、点赞文章自动训练词向量,设定文章热度分数
jvm gc调优
数据库调优:表结构设计 索引 查询语句 分库分表
数据分离:业务数据和历史数据分离、热点数据和全量数据分离
热点数据进入缓存
kafka异步削峰,消息推送 评论等
多线程处理任务

8.安全

centos系统
docker部署,各服务、组件互不干扰
可移植
依托阿里云,https连接,加密更加安全
系统权限设计,根据用户角色限定各页面、接口访问权限,依托加密token

9.代码规范

代码设计层级
代码注释
代码满足阿里巴巴开发规范要求
代码复用不冗余
代码接口文档

发表新评论