数据分析流程一般分以下几个步骤：

1、数据的获取
2、读取原数据
3、查看数据概况
4、查看异常数据
5、查看最大/小值or查看top/lastest值
6、查看相关性
7、可视化分析plotly

数据获取（来源）

读取数据

In [1]:

import pandas as pd path = r"D:\phpstudy_pro\WWW\ruchang\data.txt" data = pd.read_table(path,names=["sfz","step","room"]) #data.head() 					

查看数据概况

In [2]:

data.shape 					

Out[2]:

(542, 3)

In [3]:

data.info() 					

<class 'pandas.core.frame.DataFrame'>RangeIndex: 542 entries, 0 to 541Data columns (total 3 columns): #   Column  Non-Null Count  Dtype ---  ------  --------------  -----  0   sfz     541 non-null    object 1   step    542 non-null    object 2   room    542 non-null    objectdtypes: object(3)memory usage: 6.4+ KB

In [4]:

data.describe() 					

Out[4]:

	sfz	step	room
count	541	542	542
unique	541	1	18
top	34032119951231002x	,	第11候考室
freq	1	542	36

In [5]:

data['room'].value_counts() #按候考室统计人数 					

Out[5]:

第11候考室    36第15候考室    35第12候考室    35第03候考室    34第16候考室    34第08候考室    34第09候考室    34第13候考室    34第14候考室    34第10候考室    33第04候考室    33第06候考室    33第07候考室    33第02候考室    33第01候考室    32第05候考室    32第9候考室      2第8候考室      1Name: room, dtype: int64

查看异常数据

In [6]:

df = data[["sfz","room"]] #注意取多列时要使用列表，所以此处使用双中括号 df 					

Out[6]:

	sfz	room
0	260321199512310020	第01候考室
1	130702200004250737	第01候考室
2	230123199205227517	第01候考室
3	240581199712147412	第01候考室
4	310181199206165048	第01候考室
...	...	...
537	33042619710519572X	第16候考室
538	360100196708091517	第9候考室
539	320281199601054628	第13候考室
540	242921197906122649	第8候考室
541	NaN	第9候考室

542 rows × 2 columns

In [7]:

df.loc[df.room == 1] #找出room列中值为1的行 					

Out[7]:

	sfz	room

In [8]:

df.isnull().any() #查找有空值的列 df[df.isnull().T.any()] #注意需要转置，否则得不出想要的效果 					

Out[8]:

	sfz	room
541	NaN	第9候考室

In [9]:

df.duplicated().any() # 重复值  					

Out[9]:

False

In [10]:

df["age"] = df.sfz.str.slice(6,10) df 					

Out[10]:

	sfz	room	age
0	260321199512310020	第01候考室	1995
1	130702200004250737	第01候考室	2000
2	230123199205227517	第01候考室	1992
3	240581199712147412	第01候考室	1997
4	310181199206165048	第01候考室	1992
...	...	...	...
537	33042619710519572X	第16候考室	1971
538	360100196708091517	第9候考室	1967
539	320281199601054628	第13候考室	1996
540	242921197906122649	第8候考室	1979
541	NaN	第9候考室	NaN

542 rows × 3 columns

In [11]:

df = df.drop(index=541) #删除指定的index行 					

In [12]:

df['sfz'].is_unique 					

Out[12]:

True

查看最大/小值or查看top/lastest值

In [13]:

pd.to_numeric(df["age"]) #将seires\、list转化为number 					

Out[13]:

0      19951      20002      19923      19974      1992       ... 536    1999537    1971538    1967539    1996540    1979Name: age, Length: 541, dtype: int64

In [14]:

df["age"] = df['age'].astype('int') #转换数据类型 df 					

Out[14]:

	sfz	room	age
0	260321199512310020	第01候考室	1995
1	130702200004250737	第01候考室	2000
2	230123199205227517	第01候考室	1992
3	240581199712147412	第01候考室	1997
4	310181199206165048	第01候考室	1992
...	...	...	...
536	360035199908253021	第16候考室	1999
537	33042619710519572X	第16候考室	1971
538	360100196708091517	第9候考室	1967
539	320281199601054628	第13候考室	1996
540	242921197906122649	第8候考室	1979

541 rows × 3 colu