随着智能手机的普及，人们更加习惯于通过手机来看新闻。由于生活节奏的加快，很多人只能利用碎片时间来获取信息，因此，对于移动资讯客户端的需求也越来越高。黑马头条项目正是在这样背景下开发出来。黑马头条项目采用当下火热的微服务+大数据技术架构实现。本项目主要着手于获取最新最热新闻资讯，通过大数据分析用户喜好精确推送咨询新闻
项目术语：
项目：泛指黑马头条整个项目或某一项目模块

工程：泛指黑马头条某一项目的源码工程

用户：泛指黑马头条APP用户端用户

自媒体人：泛指通过黑马自媒体系统发送文章的用户

管理员：泛指黑马头条管理系统的使用用户

App：泛指黑马头条APP

WeMedia：泛指黑马头条自媒体系统

Admin：泛指黑马头条管理系统

技术栈：

运用Spring Boot快速开发框架，构建项目工程；并结合Spring Cloud全家桶技术，实现后端个人中心、自媒体、管理中心等微服务。
运用WebMagic爬虫技术，完善系统内容自动化采集
运用Kafka完成内部系统消息通知；与客户端系统消息通知；以及实时数据计算
运用MyCat数据库中间件计算，对系统数据进行分开分表，提升系统数据层性能
运用Redis缓存技术，实现热数据的计算，NoSession等功能，提升系统性能指标
运用Zoookeeper技术，完成大数据节点之后的协调与管理，提升系统存储层高可用
使用Mysql存储用户数据，以保证上层数据查询的高性能
使用Mongo存储用户热数据，以保证用户热数据高扩展和高性能指标
使用FastDFS作为静态资源存储器，在其上实现热静态资源缓存、淘汰等功能
运用Habse技术，存储系统中的冷数据，保证系统数据的可靠性
运用ES搜索技术，对冷数据、文章数据建立索引，以保证冷数据、文章查询性能
运用Sqoop、Kettle等工具，实现大数据的离线入仓；或者数据备份到Hadoop
运用Spark+Hive进行离线数据分析，实现系统中各类统计报表
运用Spark Streaming + Hive+Kafka实现实时数据分析与应用；比如文章推荐
运用Neo4j知识图谱技术，分析数据关系，产出知识结果，并应用到上层业务中，以帮助用户、自媒体、运营效果/能力提升。比如粉丝等级计算
运用AI技术，来完成系统自动化功能，以提升效率及节省成本。比如实名认证自动化