船舶集装箱动态查询工具实现了根据用户输入的船舶名或预计到港时间自动从码头网站抓取相应船舶的集装箱装卸量,港口当日吞吐量和集装箱动态信息,并将所有数据存入后台数据库。用户可以通过GUI界面批量从数据库导出Excel文件查看数据追踪最新码头信息,也可以设置自动化任务。此外,根据集装箱的柜型计算箱子的对应免费堆存期,并在箱子临期时自动发送邮件通知用户。
我的职责:GUI设计,爬虫模块和自动化任务调度模块
GUI界面模块:实现数据的可视化展示和导出功能,优化界面显示。
爬虫模块: 通过requests从多个URL抓取数据源, 并通过数据清洗将有效信息通过字典转成JSON数据;难点:需要爬取的数据源较多导致运行速度较慢,通过多线程/异步的方式提高了效率。
自动化任务调度模块: 根据用户的定时任务设置在特定时间点调用集成邮件发送功能,实现定时任务调度,保证系统自动运行并通知用户。