Python数据分析基础介绍

描述性统计是理解数据集基本特征的第一步，它包括均值、中位数、标准差等统计量。

使用pandas库来计算数据集的描述性统计量。

importpandasaspd

# 创建一个数据集
data = {
'age': [25,30,35,40,45],
'income': [50000,60000,70000,80000,90000]
}
df = pd.data (data)

# 计算描述性统计量
desc_stats = df.describe()
print(desc_stats)

2. 数据可视化 (data visualization)

数据可视化是将数据以图形的方式展示出来，这有助于发现模式、趋势和异常。

使用matplotlib和seaborn库来创建图表。

importmatplotlib.pyplotasplt
importseabornassns

# 加载内置的数据集
tips = sns.load_dataset("tips")

# 创建散点图
plt.figure(figsize=(10,6))
sns.scatterplot(x="total_bill", y="tip", data=tips)
plt. ('total bill vs tip')
plt.show()

3. 探索性数据分析 (exploratory data analysis, eda)

eda 是在没有明确假设的情况下使用图表和其他统计方法来了解数据的过程。

使用pandas和matplotlib进行探索性数据分析。

# 加载内置的数据集
iris = sns.load_dataset("iris")

# 使用 pandas 探查数据
print(iris.head())
print(iris.info())
print(iris.describe())

# 使用 seaborn 绘制箱线图来观察不同种类鸢尾花的花瓣长度分布
sns.boxplot(x='species', y='petal_length', data=iris)
plt.show()

输出

sepal_length  sepal_width  petal_length  petal_width species
0           5.1          3.5           1.4          0.2  setosa
1           4.9          3.0           1.4          0.2  setosa
2           4.7          3.2           1.3          0.2  setosa
3           4.6          3.1           1.5          0.2  setosa
4           5.0          3.6           1.4          0.2  setosa
<class'pandas.core. .Data '>
RangeIndex: 150 entries, 0 to 149
Data columns (total 5 columns):
#   Column        Non-Null Count  Dtype
---  ------        --------------  -----
0   sepal_length  150 non-null    float64
1   sepal_width   150 non-null    float64
2   petal_length  150 non-null    float64
3   petal_width   150 non-null    float64
4   species       150 non-null     
dtypes: float64(4),  (1)
memory usage: 6.0+ KB
None
sepal_length  sepal_width  petal_length  petal_width
count    150.000000   150.000000    150.000000   150.000000
mean       5.843333     3.057333      3.758000     1.199333
std        0.828066     0.435866      1.765298     0.762238
min        4.300000     2.000000      1.000000     0.100000
25%        5.100000     2.800000      1.600000     0.300000
50%        5.800000     3.000000      4.350000     1.300000
75%        6.400000     3.300000      5.100000     1.800000
max        7.900000     4.400000      6.900000     2.500000

4. 假设检验 (hypothesis testing)

假设检验是确定数据中的模式是由随机变异还是实际效应引起的统计过程。

使用scipy来进行t检验。

fromscipyimportstats

# 两组样本数据
group1 = [1,2,3,4,5,12,3,4,3,4,4,12,3,4,4]
group2 = [2,3,4,5,6,13,5,6,5,5,5,15,4,3,2]

# 执行独立样本t检验
t_stat, p_val = stats.ttest_ind(group1, group2)
print(f"t-statistic:{t_stat}, p-value:{p_val}")

Python深度学习-意力机制、Transformer模型、生成式模型、目标检测算法、图神经网络、强化学习与可视化方法

Python数据分析实用技巧

importpandas as pd
# Create a sample Data data = {'old_name_1': [1,2,3],'old_name_2': [4,5,6]}df = pd.Data (data)# Rename columnsdf.rename(columns={'old_name_1':'new_name_1','old_name_2':'new_name_2'}, inplace=True)

# Filter rows where a condition is metfiltered_df = df[df['column_name'] >3]

# Drop rows with missing valuesdf.dropna()
# Fill missing values with a specific valuedf.fillna(0)

# Group by a columnandcalculate meanforeach groupgrouped = df.groupby('group_column')['value_column'].mean()

# Create a pivot tablepivot_table = df.pivot_table(values='value_column', index='row_column', columns='column_column', aggfunc='mean')

# Merge two Data smerged_df = pd.merge(df1, df2, on='common_column', how='inner')

#Apply a custom function to a columndefcustom_function(x):returnx * 2
df['new_column']= df['old_column'].apply(custom_function)

# Resample time series datadf['date_column'] = pd.to_datetime(df['date_column'])df.resample('D', on='date_column').mean()

# Convert categorical data to numericalusingone-hot encodingdf = pd.get_dummies(df, columns=['categorical_column'])

# Export Data  to CSVdf.to_csv('output.csv', index=False)

x = [1,2,3,4]
out = []
foriteminx:
out.append(item**2)
print(out)

[1,4,9,16]

# vs.

x = [1,2,3,4]
out = [item**2foriteminx]
print(out)

[1,4,9,16]

厌倦了定义用不了几次的函数？Lambda表达式是你的救星！Lambda表达式用于在Python中创建小型，一次性和匿名函数对象， 它能替你创建一个函数。

lambda表达式的基本语法是：

lambdaarguments:  

lambda arguments:

注意！只要有一个lambda表达式，就可以完成常规函数可以执行的任何操作。

你可以从下面的例子中，感受lambda表达式的强大功能：

double =lambdax: x *2
print(double(5))

10