python数据分析干什么

第一、检查数据表

Python中使用shape函数来查看数据表的维度，也就是行数以及列数。你可以使用info函数来查看数据表的整体信息，使用dtype函数来返回数据格式;lsnull是Python中检验空值的函数，可以对整个数据表进行检查，也可以单独对某一行进行空值检查，返回的结构是逻辑值，包含空值返回true，不包含则返回false。

第二、数据清洗

Python可以进行数据清洗，Python中处理空值的方法比较灵活，可以使用Dropna函数用来删除数据表中包含空值的数据，也可以使用fillna函数对空值进行填充;Python中dtype是查看数据格式的函数，与之对应的是astype函数，用来更改数据格式，Rename是更改列名称的函数，drop_duplicates函数删除重复值，replace函数实现数据替换。

第三、数据提取

进行数据提取时，主要使用三个函数：loc、iloc以及ix。Loc函数按标签进行提取，iloc按位置进行提取，ix可以同时按照标签和位置进行提取。除了按标签和位置提取数据之外，还可以按照具体的条件进行提取，比如使用loc和isin两个函数配合使用。

第四、数据筛选

Python数据分析还可以进行数据筛选，Python中使用loc函数配合筛选条件来完成筛选功能，配合sum和count函数还能实现Excel中sumif和countif函数的功能。使用的主要函数是groupby和pivot_table;groupby是进行分类汇总的函数，使用方法比较简单，groupby按列名称出现的顺序进行分组。

方法如下：

1、在Python中，x=90已经将90赋值给了变量x。这里不需要使用int函数进行类型转换，因为Python会自动将90转换为整型。

2、在Python中，变量的类型是根据其存储的值来确定的。当将一个整型数值赋给一个变量时，Python会自动将该变量视为整型。因此，当执行x=90时，Python会自动将90视为整型并将其赋值给变量x。

3、如果想将一个非整型的字符串转换为整型，可以使用int()函数。例如，如果有一个字符串s="90"，可以使用x=int(s)将其转换为整型并赋值给变量x。

在学习python的过程中，学会获取网站的内容是我们必须要掌握的知识和技能，今天就分享一下爬虫的基本流程，只有了解了过程，我们再慢慢一步步的去掌握它所包含的知识

Python网络爬虫大概需要以下几个步骤：

一、获取网站的地址

有些网站的网址十分的好获取，显而易见，但是有些网址需要我们在浏览器中经过分析得出

二、获取网站的地址

有些网站的网址十分的好获取，显而易见，但是有些网址需要我们在浏览器中经过分析得出

三、请求 url

主要是为了获取我们所需求的网址的源码，便于我们获取数据

四、获取响应

获取响应是十分重要的， 我们只有获取了响应才可以对网站的内容进行提取，必要的时候我们需要通过登录网址来获取cookie 来进行模拟登录操作

五、获取源码中的指定的数据

这就是我们所说的需求的数据内容，一个网址里面的内容多且杂，我们需要将我们需要的信息获取到，我目前主要用到的方法有3个分别是re(正则表达式) xpath 和 bs.4

六、处理数据和使数据美化

当我们将数据获取到了，有些数据会十分的杂乱，有许多必须要的空格和一些标签等，这时我们要将数据中的不需要的东西给去掉

七、保存

最后一步就是将我们所获取的数据进行保存，以便我们进行随时的查阅，一般有文件夹，文本文档，数据库，表格等方式