python 数据挖掘需要用哪些库和工具 学习数据挖掘一般要学哪些软件和工具
Numpy是Python科学计算的基础包，它提供了很多功能：快速高效的多维数组对象ndarray、用于对数组执行元素级计算以及直接对数组执行数学运算的函数、用于读写硬盘上基于数组的数据集的工具、线性代数运算、傅里叶变换以及随机数生成等。NumPy在数据分析方面还有另外一个主要作用，即作为在算法和库之间传递数据的容器。
2、Pandas
Pandas提供了快速便捷处理结构化数据的大量数据结构和函数。自从2010年出现以来，它助使Python成为强大而高效的数据分析环境。其中用得最多的Pandas对象是DataFrame，它是一个面向列的二维表结构，另一个是Series，一个一维的标签化数组对象。Pandas兼具Numpy高性能的数组计算功能以及电子表格和关系型数据库灵活的数据处理功能。还提供了复杂精细的索引功能，能更加便捷地完成重塑、切片和切块、聚合以及选取数据子集等操作。
3、matplotlib
matplotlib是最流行的用于绘制图表和其他二维数据可视化的Python库。它最初由John
D.Hunter(JDH)创建，目前由一个庞大的开发团队维护。它非常适合创建出版物上用的图表。虽然还有其他的Python可视化库，但matplotlib应用最为广泛。
4、SciPy
SciPy是一组专门解决科学计算中各种标准问题域的包的集合，它与Numpy结合使用，便形成了一个相当完备和成熟的计算平台，可以处理多种传统的科学计算问题。
5、scikit-learn
2010年诞生以来，scikit-learn成为了Python通用机器学习工具包。它的子模块包括：分类、回归、聚类、降维、选型、预处理等。与pandas、statsmodels和IPython一起，scikit-learn对于Python成为高效数据科学编程语言起到了关键作用。
6、statsmodels
statsmodels是一个统计分析包，起源于斯坦福大学统计学教授，他设计了多种流行于R语言的回归分析模型。Skipper Seabold和Josef
Perktold在2010年正式创建了statsmodels项目，随后汇聚了大量的使用者和贡献者。与scikit-learn比较，statsmodels包含经典统计学和经济计量学的算法。
这个常用的库就太多了！
主要分为以下几大类
第一 数据获取：request,BeautifulSoup
第二基本数学库：numpy，
第三 数据库出路 pymongo
第四 图形可视化 matplotlib
第五 树分析基本的库 pandas
未至科技显微镜是一款大数据文本挖掘工具，是指从文本数据中抽取有价值的信息和知识的计算机处理技术, 包括文本分类、文本聚类、信息抽取、实体识别、关键词标引、摘要等。基于Hadoop MapReduce的文本挖掘软件能够实现海量文本的挖掘分析。CKM的一个重要应用领域为智能比对, 在专利新颖性评价、科技查新、文档查重、版权保护、稿件溯源等领域都有着广泛的应用。
python数据挖掘常用工具有哪几种？~
python有强大的第三方库，广泛用于数据分析，数据挖掘、机器学习等领域，下面小编整理了python数据挖掘的一些常用库，希望对各位小伙伴学习python数据挖掘有所帮助。
1. Numpy
能够提供数组支持，进行矢量运算，并且高效地处理函数，线性代数处理等。提供真正的数组，比起python内置列表来说， Numpy速度更快。同时，Scipy、Matplotlib、Pandas等库都是源于 Numpy。因为 Numpy内置函数处理数据速度与C语言同一级别，建议使用时尽量用内置函数。
2.Scipy
基于Numpy,能够提供了真正的矩阵支持，以及大量基于矩阵的数值计算模块，包括：插值运算，线性代数、图像信号，快速傅里叶变换、优化处理、常微分方程求解等。
3. Pandas
源于NumPy，提供强大的数据读写功能，支持类似SQL的增删改查，数据处理函数非常丰富，并且支持时间序列分析功能，灵活地对数据进行分析与探索，是python数据挖掘，必不可少的工具。
Pandas基本数据结构是Series和DataFrame。Series是序列，类似一维数组，DataFrame相当于一张二维表格，类似二维数组，DataFrame的每一列都是一个Series。
4.Matplotlib
数据可视化最常用，也是醉好用的工具之一，python中著名的绘图库，主要用于2维作图，只需简单几行代码可以生成各式的图表，例如直方图，条形图，散点图等，也可以进行简单的3维绘图。
4.Scikit-Learn
Scikit-Learn源于NumPy、Scipy和Matplotlib，是一 款功能强大的机器学习python库，能够提供完整的学习工具箱(数据处理，回归，分类，聚类，预测，模型分析等)，使用起来简单。不足是没有提供神经网络，以及深度学习等模型。
5.Keras
基于Theano的一款深度学习python库，不仅能够用来搭建普通神经网络，还能建各种深度学习模型，例如：自编码器、循环神经网络、递归神经网络、卷积神经网络等，重要的是，运行速度几块，对搭建各种神经网络模型的步骤进行简化，能够允许普通用户，轻松地搭建几百个输入节点的深层神经网络，定制程度也非常高。
6.Genism
Genism主要用来处理语言方面的任务，如文本相似度计算、LDA、Word2Vec等。
7.TensorFlow
google开源的数值计算框架，采用数据流图的方式，可灵活搭建深度学习模型。
1.数据挖掘基本知识
这一部分主要是看书，先了解一个情况。至于用什么书。口碑比较好的有《数据挖掘：概念与技术（第3版）》。我买了，看了一大半，感觉不太适合初学者。有些概念直接给出，对于底子不好的人有些突兀，要是硬着头皮使劲看，还是很有收获的，适合入门以后反复看。推荐一本很老的书《数据仓库与数据挖掘》。这本书相对来说不那么厚，很多基础概念也有论述，对初学者来说很友好。
这一部分的学习是贯穿始终的，有经验的前辈们介绍，什么时候拿出来看看都是有收获的。
2.数学基础
这一部分也是不可或缺的，学一下未必能有感受。学好了，绝对收益无穷。我的计划是穿插在整个学习过程中。主要内容是：线性代数、离散数学。
（1）线性代数
已经学过的，没学过的都要认真学一下。国内的教材个人以为对概念没有深入说透。比如特征值和特征向量，到底干嘛用的。矩阵的乘法本质意义，也没说清楚。
（2）离散数学
这个大部分人（不是专业的）都没学过，听着就头痛。别急，不用全学，重点是图论、代数系统、命题（谓词和逻辑）、集合与关系。随便找一本薄一点的教材。这些内容其实之前高中本科都有接触，主要是一些逻辑符号，思维方式需要看懂。否则在一些地方看到一些莫名其妙的符号，不了解，看到一些简单的公式以为很复杂，得不偿失。
（3）运筹学
这个绝对是基础课，之所以放在后面是因为本人认真学了。推荐的教材《运筹学》教材编写组编写。一本大厚绿皮书。对策论等跟博弈论有关的不用看。有条件的可以把算法在跑一遍。绝对收获良多。
3.工具
这部分本人在网上查了很久，课题组问了几百遍。最终确认的这几个。很多人说有编程经验的人，学一个就一两周的事，无奈，我零基础。所以，这一部分绝对是个重点。先说本人确定的语言：MATLAB、Python、R。
（1）MATLAB
先说MATLAB，别说这个老，别说这个是学校搞学术才用的。不想挑起争论，主要理由——好上手。上手以后就可以跑一些算法，提高一些信心和学习的乐趣。教材我随便找一本厚厚的备查（从来没翻过）。我主要看的是官方手册的Primer。然后就开始写脚本和函数，如果有看不懂的直接百度、google或者help。写的都很清楚。这一部分主要是迅速上手，我已经略有收获了。
（2）Python和R
这两个放在一起，是因为网上关于这两个的争论太多了。本人也无数次迷失过。不争论优劣，确实是各有优势。我的顺序是首先学python，立志以这个作为自己的主要程序。其次再是R，从画图入手。R画出来的图真是好看。至于学习的思路：先找一本入门的书，越简单越好，学完之后找一本手册，然后练习。
首先python，先看《Head First Python》。挺好的。简单易懂，网上竟然还能下载到英文的PDF。然后是《利用Python进行数据分析》和《机器学习实战》。第一本书主要是利用Python做数据挖掘的，基本提到Python学习都会推荐这本。第二本是理解机器学习的佳作，书中用到的语言就是Python。一边学语言，一边理解机器学习。很好的顺序。
其次R，因为有了前面的一部分基础，学起来会容易一些。主要推荐教材是《R语言初学者指南》和《R语言实战》。这部分的学习我准备跳着看，早期主要利用R来画图。然后步步深入着学习。这样才能充分的练习，而不仅仅是纸上谈兵。
（3）Mysql
最后加一个，了解一点Mysql，由于零基础对数据的各种都不了解，强烈推荐一周读完《深入浅出Mysql》。难度不大，主要是入门。如果以后用得着，再深入研究。
再次重申一遍：这一阶段还是要找程序写。如果有工作或者项目，直接上，学的最快。如果没有，找篇不错的，感兴趣的博士论文，跑一遍里边的程序。这部分内容不是学出来的，绝对练出来的。
4.算法
算法太多了，常见的就那些。一方面要看明白，理解算法。另一方面用上面的语言跑出来。既能理解算法，也能很好的熟悉语言。
总结
整个入门阶段，千万不要抱着学完一个在学一个的思想。同时学！比如，语言入门了，就找算法实践。看到一个算法，一定要程序跑出来。中间累了，把数学基础补一补。
