基于golang开发的分布式爬虫，数据库采用MongoDB，分布式队列使用基于Redis clusters的分布式数据库

赛题以预测用户未来点击新闻文章为任务，数据集报名后可见并可下载，该数据来自某新闻APP平台的用户交互数据，包括30万用户，近300万次点击，共36万多篇不同的新闻文章，同时每篇新闻文章有对应的embedding向量表示。为了保证比赛的公平性，将会从中抽取20万用户的点击日志数据作为训练集，5万用户的点击日志数据作为测试集A，5万用户的点击日志数据作为测试集B。

商家有时会在特定的日期（如节礼日甩卖、"黑色星期五 "或 "双十一（11月11日）"）开展大型促销活动（如折扣或现金券），以吸引大量新买家。但是，很多被吸引来的买家都是一次性的，他们在这次消费之后就再也没有购买，针对这些用户的促销活动并没有给店铺带来未来销售的增加。为了缓解这个问题，商家必须确定哪些人可以转化为重复购买者。通过对这些潜在的忠诚客户进行精细化营销，商家可以大大降低促销成本，提高投资回报率（ROI）。众所周知，在网络广告的领域，用户精准定位具有极大的挑战性，尤其是对于新买家。不过，借助天猫长期积累的用户行为日志，我们或许可以解决这个问题。在本次挑战中，我们提供了一组商家以及他们在 "双11 "促销活动中获得的新买家。你的任务是在给定商家中预测其中哪些新买家会在未来成为忠实客户。换句话说，你需要预测这些新买家在未来六个月内再次在同一个商家购买商品的概率。我们给出一个包含约20万用户的数据集进行训练，另一个规模相近的数据集进行测试。与其他比赛类似，你可以提取任何特征，然后用其他工具进行训练。你只需要提交预测结果进行评估。