导入支持库¶
In [1020]:
import numpy as np
import matplotlib.pyplot as plt
import matplotlib as mpl
import pandas as pd
from pandas import Series, DataFrame
#在GUI中显示
# %matplotlib tk
#在行内显示(默认)
%matplotlib inline
mpl.rcParams['font.sans-serif'] = ['SimHei']
mpl.rcParams['axes.unicode_minus'] = False
载入数据 合并数据 data_obj¶
In [226]:
users_df = pd.read_csv('./data/users.dat', sep='::', engine='python', names=['UserID', 'Gender', 'Age', 'Occupation', 'Zip-code'])
movies_df = pd.read_csv('./data/movies.dat', sep='::', engine='python', names=['MovieID', 'Title', 'Genres'])
ratings_df = pd.read_csv('./data/ratings.dat', sep='::', engine='python', names=['UserID', 'MovieID', 'Rating', 'Timestamp'])
# print(users_df)
# print(movies_df)
# print(ratings_df)
combine_movies_ratings_df = pd.merge(movies_df, ratings_df, on='MovieID')
combine_movies_ratings_users_df = pd.merge(combine_movies_ratings_df, users_df, on='UserID')
data_obj = combine_movies_ratings_users_df
data_obj
Out[226]:
1.查看每部电影中两类性别的平均分¶
In [79]:
# a_movie = data_obj.groupby(['MovieID', 'Gender']).mean()
# out = DataFrame(a_movie['Rating'])
# out
out = DataFrame.pivot_table(data_obj, values='Rating', index='MovieID', columns='Gender', aggfunc='mean')
out
Out[79]:
2.查看每部电影中两类性别的均分差异最大的前3的电影¶
In [113]:
noNaN = out.dropna()
noNaN = noNaN.copy()
noNaN['|F-M|'] = abs(noNaN['F'] - noNaN['M'])
noNaN.sort_values("|F-M|",ascending=False)
noNaN.head(3)
Out[113]:
3.查找出热门电影热度榜单 （计算表中电影出现的次数，取前3）¶
In [275]:
ratings_df.groupby('MovieID').count().sort_values('UserID', ascending=False).head(3)
Out[275]:
4.每部电影的评分（平均分） 获取排名前10的高分榜单¶
In [141]:
DataFrame(ratings_df.groupby('MovieID').mean().sort_values('Rating', ascending=False)['Rating'].head(10))
Out[141]:
5.前十大热门电影__的评分¶
In [274]:
hot = ratings_df.groupby('MovieID').count().sort_values('UserID', ascending=False)['Rating']
DataFrame(hot.head(10))
Out[274]:
6.前20名高分电影的__热度 (使用第3.热度表)¶
In [276]:
height20 = ratings_df.groupby('MovieID').mean().sort_values('Rating', ascending=False)['Rating']
DataFrame(height20.head(20))
Out[276]:
In [277]:
DataFrame(height20[hot[hot>1000].head(20).index].sort_values(ascending=False))
Out[277]:
- - - - - - - - - - - - - - - - - - - - - - - - -¶
使用的数据集是美国人口普查的数据¶
In [286]:
census_df = pd.read_csv('./data/census.csv', engine='python')
census_df
Out[286]:
2010年中 以每个州(STNAME)人口中 最多的 3 个县的人口总和为这个州人口的衡量标准，问哪 3 个州对应的人口最多？¶
In [329]:
DataFrame(census_df.sort_values(['STNAME', 'POPESTIMATE2010'],ascending=[True,False]).groupby(['STNAME']).head(3).groupby('STNAME')['POPESTIMATE2010'].sum().sort_values(ascending=False).head(3))
Out[329]:
各个州、县 在 2010 年至 2012 年间人口平均量是怎么样的？¶
In [351]:
temp = census_df[["POPESTIMATE2010","POPESTIMATE2011","POPESTIMATE2012"]]
# census_df["three-year-total"] = temp.sum(axis=1) #axis 0为列，1为行
census_df["three-year-avg"] = temp.mean(axis=1)
# census_df[['STNAME', 'CTYNAME', 'three-year-total', 'three-year-avg']]
census_df[['STNAME', 'CTYNAME', 'three-year-avg']].head(10)
Out[351]:
在 2010 年至 2012 年间人口增加数量最多的是哪3个县？¶
In [352]:
census_df['Δ/➖'] = census_df['POPESTIMATE2012'] - census_df['POPESTIMATE2010']
DataFrame(census_df[['STNAME', 'CTYNAME', 'Δ/➖']].sort_values('Δ/➖', ascending=False).head(3))
Out[352]:
yuehui.163.com 数据分析¶
In [1041]:
girls_df = pd.read_csv('./data/girls', encoding='utf-8', sep='::', engine='python')
girls_df.head(10)
Out[1041]:
-1. 得到男女生数据总和¶
In [1042]:
sex_count = DataFrame(girls_df.groupby('性别').count()['会员ID'])
sex_count.rename(columns={'会员ID': '人数'}, inplace=True)
sex_count
Out[1042]:
0. 分析每个地区的男女生比例¶
In [1043]:
temp_copy = girls_df
# 改名
temp_copy['性别'] = girls_df['性别'].replace([0,1],['女','男'])
# 总和
total = temp_copy.groupby('省市')[['会员ID']].count()
# 人数 / 总和
province_sex = temp_copy.groupby(['省市', '性别'])[['会员ID']].count()
evey_province_sex_percent = province_sex / total
evey_province_sex_percent.rename(columns={'会员ID': '人数所占百分比'}, inplace=True)
evey_province_sex_percent
Out[1043]:
1. 查看那5个星座发布的交友信息最多¶
In [1044]:
# 计数
mostPostStart = DataFrame(girls_df.groupby('星座').count()['会员ID'])
# 改一下列名
mostPostStart.rename(columns={'会员ID': '发部次数'}, inplace=True)
# 输出前5
mostPostStart.sort_values(by='发部次数', ascending=False).head(5)
Out[1044]:
In [1045]:
# 过滤掉工资为 -1 的行 不统计
have_income = girls_df[~girls_df['工资'].isin([-1])]
# 省份人数总工资 / 计数
DataFrame(have_income.groupby('省市').sum()['工资'] / girls_df.groupby('省市').count()['会员ID'], columns=['平均薪资']).sort_values(by='平均薪资', ascending=False).head(10)
Out[1045]:
3. 查看哪10个年龄的交友需求比较多 (过滤掉所有无效数据)¶
In [1046]:
# 计数
mostPostAge = DataFrame(girls_df.groupby('年龄').count()['会员ID'].sort_values(ascending=False))
mostPostAge.rename(columns={'会员ID': '发布次数'}, inplace=True)
mostPostAge.head(10)
Out[1046]:
4. 得到各个年龄段的男女的人数¶
In [1047]:
# 创建副本
temp_copy = girls_df
temp_copy['性别']=temp_copy['性别'].replace([0,1],['女','男'])
# 按年龄 性别 计算数量
all_age_count = DataFrame(DataFrame(temp_copy.groupby(['年龄', '性别']).count())['会员ID'])
all_age_count.rename(columns={'会员ID': '人数'}, inplace=True)
all_age_count
Out[1047]:
5. 各个学历的占比¶
In [1076]:
# 合并 空 和 高中以下学历
# girls_df['学历']=girls_df['学历'].replace(['空'],['高中以下'])
# degree_percent.groupby(['学历']).count()
# temp_copy.groupby(['学历']).count()
# 计算 每个学历 对应的总数
degree_temp = DataFrame(DataFrame(temp_copy.groupby(['学历']).count())['会员ID'])
# degree_temp
# 换列名
degree_temp.rename(columns={'会员ID': '百分比'}, inplace=True)
# degree_temp
# degree_temp['学历']['高中以下'] + degree_temp['学历']['空']
# 按列计算每个元素所占百分比
DataFrame(degree_temp['百分比'].apply(lambda x :str((x/degree_temp['百分比'].sum()) * 100) + '%')).sort_values(by='百分比', ascending=False)
Out[1076]:
In [1049]:
degree_height = girls_df.groupby(['省市', '市区县']).mean().sort_values(by='学历转分数', ascending=False)[['学历转分数']]
# 换列名
degree_height.rename(columns={'学历转分数': '平均学历分数'}, inplace=True)
degree_height.head(10)
Out[1049]:
In [1067]:
body_thin = girls_df
# body_thin.copy()
# 过滤掉 身高 / 体重 为 0 的行 不统计
body_thin = body_thin[~body_thin['身高'].isin([0])]
body_thin = body_thin.copy()
body_thin['BMI'] = body_thin['体重'] / (body_thin['身高'] * body_thin['身高'] / 10000)
thin_filter = body_thin[(body_thin['BMI'] >= 18.5) & (body_thin['BMI'] <= 23.9)]
thin_temp = thin_filter.groupby('省市').count()[['会员ID']].sort_values(by='会员ID', ascending=False).head(10)
thin_temp
Out[1067]:
In [1051]:
temp = girls_df
temp = temp[(girls_df['身高'] < 240) & (girls_df['体重'] < 400)]
plt.scatter(temp['身高'], temp['体重'])
Out[1051]:
In [1052]:
# 过滤掉工资为 -1 的行 不统计
# 省份人数总工资 / 计数
income_10 = DataFrame(girls_df[~girls_df['工资'].isin([-1])].groupby('省市').sum()['工资'] / girls_df.groupby('省市').count()['会员ID'], columns=['平均薪资']).sort_values(by='平均薪资', ascending=False).head(10)
plt.bar(Series(income_10.index), income_10['平均薪资'], width=0.5)
plt.show()
In [1074]:
plt.bar(Series(thin_temp.index), thin_temp['会员ID'], width=0.5)
plt.show()
