KPBroswer 最小化浏览器程序开源项目

KPBroswer是一个基于QtWebKit的最小化浏览器程序，通过被第三方程序调用，能实现对复杂页面加载后数据（例如，复杂Ajax、数据加密）的抓取，支持屏幕截图。KP是“鲲鹏”二字的拼音首字母。适用场景： 页面数据动态加载（例如，Ajax过程过于复杂，分析成本太高）； 数据加密（客户端JS解密，解密算法难以获取或难以用其它语言实现）； 屏幕截图； 跨平台的抓取方案；依赖库：PyQt4Ubuntu下安装方法：sudoapt-getinstallpython-qt4Windows下安装方法：在这里下载二进制安装包直接安装https://www.riverbankcomputing.co.uk/software/pyqt/download/调用方法：若在Linux终端下运行，需要安装Xvfb。Ubuntu下安装方法：apt-getinstallxvfbxfonts-basexfonts-75dpixfonts-100dpixfonts-wqy调用举例（Linux）：xvfb-runpythonKPBroswer.pyhttps://www.site-digger.com--flags=redice--output="page.html"--screenshot="sitedigger.jpg"调用举例（Windows）：pythonKPBroswer.pyhttps://www.site-digger.com--flags=redice--output="page.html"--screenshot="sitedigger.jpg"Usage:KPBroswer.py [options]Options: -h,--help           showthishelpmessageandexit -pPROXY,--proxy=PROXY                       Proxytouse. -tTIMEOUT,--timeout=TIMEOUT                       Thetimeouttimeofloadingpage. -fFLAGS,--flags=FLAGS                       Flagsneedtowaitfor.Semicoloncanbeusedasa                       eperator. -wWAIT_TIMEOUT,--wait_timeout=WAIT_TIMEOUT                       Thetimeouttimeofwaittingforflags. -g,--gui            WhethertoshowthebroswerGUI. -oOUTPUT,--output=OUTPUT                       Theoutputfilename. -sSCREENSHOT,--screenshot=SCREENSHOT                       Ifthevalueisnotempty,takeascreenshotandsave                       ithere.注意：Linux下不要忘记安装相关字体库，否则截图中的汉字将会是乱码，如下图site-digger-font-problem.jpg所示。安装后，就正常了，如图site-digger.jpg所示。示例：sample.py文件为一个Python以外部程序方式调用KPBroswer.py的示例，其它语言的调用可以参考其实现。