值得收藏的Python第三方库

作者&投稿:通钞 (若有异议请与网页底部的电邮联系)

网络站点爬取

爬取网络站点的库Scrapy – 一个快速高级的屏幕爬取及网页采集框架。cola – 一个分布式爬虫框架。Demiurge – 基于PyQuery 的爬虫微型框架。feedparser – 通用 feed 解析器。Grab – 站点爬取框架。MechanicalSoup – 用于自动和网络站点交互的 Python 库。portia – Scrapy 可视化爬取。pyspider – 一个强大的爬虫系统。RoboBrowser – 一个简单的,Python 风格的库,用来浏览网站,而不需要一个独立安装的浏览器。

交互式解析器

交互式 Python 解析器。

IPython – 功能丰富的工具,非常有效的使用交互式 Python。

bpython- 界面丰富的 Python 解析器。

ptpython – 高级交互式Python解析器, 构建于python-prompt-toolkit 之上。

图像处理

用来操作图像的库.

pillow – Pillow 是一个更加易用版的 PIL。

hmap – 图像直方图映射。

imgSeek – 一个使用视觉相似性搜索一组图片集合的项目。

nude.py – 裸体检测。

pyBarcode – 不借助 PIL 库在 Python 程序中生成条形码。

pygram – 类似 Instagram 的图像滤镜。

python-qrcode – 一个纯 Python 实现的二维码生成器。

Quads – 基于四叉树的计算机艺术。

scikit-image – 一个用于(科学)图像处理的 Python 库。

thumbor – 一个小型图像服务,具有剪裁,尺寸重设和翻转功能。

wand – MagickWand的Python 绑定。MagickWand 是 ImageMagick的 C API 。

HTTP

使用HTTP的库。

requests – 人性化的HTTP请求库。

grequests – requests 库 + gevent ,用于异步 HTTP 请求.

httplib2 – 全面的 HTTP 客户端库。

treq – 类似 requests 的Python API 构建于 Twisted HTTP 客户端之上。

urllib3 – 一个具有线程安全连接池,支持文件 post,清晰友好的 HTTP 库。

数据库

Python实现的数据库。

pickleDB – 一个简单,轻量级键值储存数据库。

PipelineDB – 流式 SQL 数据库。

TinyDB – 一个微型的,面向文档型数据库。

ZODB – 一个 Python 原生对象数据库。一个键值和对象图数据库。

Web 框架

全栈 web 框架。

Django – Python 界最流行的 web 框架。

awesome-django系列

Flask – 一个 Python 微型框架。

https://github.com/humiaozuzu/awesome-flask系列

Pyramid – 一个小巧,快速,接地气的开源Python web 框架。

awesome-pyramid系列

Bottle – 一个快速小巧,轻量级的 WSGI 微型 web 框架。

CherryPy – 一个极简的 Python web 框架,服从 HTTP/1.1 协议且具有WSGI 线程池。

TurboGears – 一个可以扩展为全栈解决方案的微型框架。

web.py – 一个 Python 的 web 框架,既简单,又强大。

web2py – 一个全栈 web 框架和平台,专注于简单易用。

Tornado – 一个web 框架和异步网络库。

HTML处理

处理 HTML和XML的库。

BeautifulSoup – 以 Python 风格的方式来对 HTML 或 XML 进行迭代,搜索和修改。

bleach – 一个基于白名单的 HTML 清理和文本链接库。

cssutils – 一个 Python 的 CSS 库。

html5lib – 一个兼容标准的 HTML 文档和片段解析及序列化库。

lxml – 一个非常快速,简单易用,功能齐全的库,用来处理 HTML 和 XML。

MarkupSafe – 为Python 实现 XML/HTML/XHTML 标记安全字符串。

pyquery – 一个解析 HTML 的库,类似 jQuery。

untangle – 将XML文档转换为Python对象,使其可以方便的访问。

xhtml2pdf – HTML/CSS 转 PDF 工具。

xmltodict – 像处理 JSON 一样处理 XML。

游戏开发

超赞的游戏开发库。

Cocos2d – cocos2d 是一个用来开发 2D 游戏, 示例和其他图形/交互应用的框架。基于 pyglet。

Panda3D – 由迪士尼开发的 3D 游戏引擎,并由卡内基梅陇娱乐技术中心负责维护。使用C++编写, 针对 Python 进行了完全的封装。

Pygame – Pygame 是一组 Python 模块,用来编写游戏。

PyOgre – Ogre 3D 渲染引擎的 Python 绑定,可以用来开发游戏和仿真程序等任何 3D 应用。

PyOpenGL – OpenGL 的 Python 绑定及其相关 APIs。

PySDL2 – SDL2 库的封装,基于 ctypes。

RenPy – 一个视觉小说(visual novel)引擎。



八爪鱼采集器是一款专注于数据采集的工具,不是Python第三方库。但是,如果您需要使用Python进行数据采集,可以考虑使用一些常用的Python第三方库,如:1. requests:用于发送HTTP请求,获取网页内容。2. BeautifulSoup:用于解析HTML或XML文档,提取所需的数据。3. Scrapy:一个强大的Python爬虫框架,可以用于高效地爬取网站数据。4. Selenium:用于模拟浏览器行为,实现动态网页的数据采集。5. Pandas:用于数据处理和分析,可以方便地对采集到的数据进行清洗和分析。6. NumPy:用于科学计算和数据分析,提供了高效的数组操作和数学函数。7. Matplotlib:用于数据可视化,可以绘制各种类型的图表。以上是一些常用的Python第三方库,可以根据您的具体需求选择适合的库进行数据采集和处理。八爪鱼为用户准备了一系列简洁易懂的教程,帮助大家快速掌握采集技巧,轻松应对各类网站数据采集,请前往官网教程与帮助了解更多详情。

1、数据分析
①Numpy:NumPy是Python中最为常用的数值计算库之一,它提供了大量的数学函数和数据结构,支持多维数组和矩阵运算,是科学计算和数值分析的核心库之一。
②Pandas:Pandas提供了数据分析和数据操作的功能,可以读取和处理各种数据格式,如CSV、Excel、SQL等,同时也支持数据清洗、数据处理、数据合并等功能。
③Matplotlib:Matplotlib是Python中最常用的绘图库之一,它可以生成各种类型的统计图表,如折线图、散点图、柱状图等,支持各种格式的输出。
2、机器学习
①Scikit-learn:Scikit-learn是Python中最为常用的机器学习库之一,它提供了各种机器学习算法的实现和封装,包括分类、回归、聚类、降维等功能。
②TensorFlow:TensorFlow是由Google开发的机器学习框架,它支持各种深度学习算法的实现和封装,如卷积神经网络、循环神经网络等。
③PyTorch:PyTorch是Facebook开发的机器学习框架,它也支持各种深度学习算法的实现和封装,同时也提供了一些高层次的API,使得开发者可以更加轻松地使用PyTorch进行深度学习。
3、Web开发
①Flask:Flask是Python中最为常用的Web框架之一,它提供了轻量级的Web开发支持,同时也支持RESTful API的开发。
②Django:Django是Python中最为流行的Web框架之一,它提供了完整的Web开发支持,包括ORM、模板引擎、路由、中间件等功能。
③Tornado:Tornado是Python中的异步Web框架,它提供了高并发的Web开发支持,适用于高性能和高并发的Web应用开发。
4、网络爬虫
①Requests:Requests是Python中最为常用的HTTP库之一,它提供了简洁的API,使得开发者可以轻松地进行HTTP请求的发送和处理。
②Scrapy:Scrapy是Python中最为常用的爬虫框架之一,它提供了完整的爬虫开发支持,包括HTTP请求、数据解析、数据存储等功能。
③Beautiful Soup:Beautiful
Soup是Python中最为常用的HTML解析库之一,它可以将HTML文档解析为Python对象,使得开发者可以更加方便地进行数据解析和数据提取。

~

python标准库有哪些?这五个常用python标准库必要知道!
答:Python提供了高效的高级数据结构,还能简单有效地面向对象编程。而如果你是零基础想要自学Python的话,那么就建议你进行专业系统的视频课程学习!为帮助广大Python学习爱好者提升,精选到了几套专业优质的Python自学视频课程,学习就可以掌握Python编程技巧以及第三方库使用方法~五个常用python标准库:1、sys sys...

盘点Python常用的模块和包
答:访问:https://pypi.python.org/pypi/peewee torndb Tornado原装DB 访问:https://github.com/bdarnell/torndb Web pycurl URL处理工具 smtplib模块 发送电子邮件 其他库暂未分类 1.PyInstaller: 是一个十分有用的第三方库,它能够在Windows、Linux、 Mac OS X 等操作系统下将 Python 源文件打包,通过对源文件打包...

2017年10大流行Python库有哪些
答:imghdr – (Python 标准库)检测图片类型。mimetypes – (Python 标准库)将文件名映射为 MIME 类型。path.py – 对 os.path 进行封装的模块。pathlib – (Python3.4+ 标准库)跨平台的、面向对象的路径操作库。python-magic- 文件类型检测的第三方库 libmagic 的 Python 接口。Unipath- 用面向...

Python 常用的标准库以及第三方库有哪些
答:http://docs.python.org/library/argparse.html 写命令行脚本必备,可惜是2.7才添加的,得看具体环境了…http://docs.python.org/library/htmlparser.html 解析HTML DOM树,偶尔搞搞命令行自动表单提交用得上。感觉不好用但是毕竟是官方库 ===第三方库 http://pypi.python.org/pypi/sh 简直是系统...

python和哪个第三方库组合能处理Excel数据?
答:Python和第三方库组合处理Excel数据的有很多,常见的有:xlwings、xlsxwriter、openpyxl、xlwt、xlrd、xluntils、pyExcelerator等等。不同的库用法也有些不同,其实个人觉得首先还是需要把Excel本身用好,本身用好了,其他编程的用起来就会省事得多了。

pyinstaller是第三方库吗
答:是。根据太平洋科技网查询显示,pyInstaller能够在Windows、Linux、MacOSX等操作系统下将Python源文件打包,通过对源文件打包,pyinstaller是Python的第三方库。

pandas库是python内置函数库,可以直接使用而不需要
答:import来导入。因为Python自带的内置函数,函数无需导入,直接使用,因此pandas库是python内置函数库,可以直接使用而不需要import来导入。Pandas是python第三方库,提供高性能易用数据类型和分析工具。

random库是第三方库吗
答:是。random库是Python的一个强大的第三方库,random模块提供了各种生成随机数的函数,包括生成随机整数、浮点数、序列元素和随机字符串等功能。

Python 包管理工具
答:总的来说,pip的Python第三方库的大管家,搞懂它,会让你省很多事。从Python 3 >= Python 3.4 、Python2 >= Python2.7.9 版本开始,pip默认包含在Python的安装程序中,在安装Python时将会自动被安装,省事方便。   Python 的安装器中自带了 pip,所以你可以直接使用它,除非你安装的是更早版本的 Python。你...

谁用过python中的第三方库face recognition
答:在github上有相关的链接和API文档。在下方为提供的一些相关源码或是文档。当前库的版本是v0.2.0,点击docs可以查看API文档,我们可以查看一些函数相关的说明等。安装配置 安装配置很简单,按照github上的说明一步一步来就可以了。根据你的python版本输入指令:pip install face_recognition11 或者 pip3 ...