Scikit-learn是Python中最流行的机器学习库之一，它提供了各种各样的函数和类用于数据处理和预处理。在本文中，我将介绍Scikit-learn中的一些常见数据预处理和清洗方法，并提供相应的示例。
缺失值填充
缺失值是指未知或不适用于特定数据记录的值。在许多情况下，我们需要填充缺失值才能进行进一步的数据分析或建模。Scikit-learn提供了Imputer类，可以用于填充缺失值。
示例：
假设我们有一个包含缺失值的DataFrame：
import pandas as pd
import numpy as np
df = pd.DataFrame({'A': [1, 2, np.nan, 4],
'B': [5, np.nan, np.nan, 8],
'C': [9, 10, 11, 12]})可以使用Imputer类从数据的平均值、中位数或最常见的值来填充缺失值：
from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='mean')
df_imputed = pd.DataFrame(imputer.fit_transform(df))特征缩放
特征缩放是指将特征值缩放到合适的范围。在某些情况下，特征的尺度之间的差异非常大，这可能会导致某些机器学习算法无法正常运作。常见的特征缩放方法包括标准化和最小-最大缩放。
标准化是指将数据缩放到均值为0，方差为1的分布：
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)最小-最大缩放是指将数据缩放到0到1之间的区间：
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_scaled = scaler.fit_transform(X)类别数据编码
许多机器学习算法只能处理数值数据，因此我们需要将类别数据编码为数值形式。Scikit-learn提供了LabelEncoder和OneHotEncoder两个类可以用于类别特征的编码。
LabelEncoder将类别标签编码为从0到n_classes-1的整数：
from sklearn.preprocessing import LabelEncoder
encoder = LabelEncoder()
y_encoded = encoder.fit_transform(y)OneHotEncoder将每个类别编码为二元数组。如果类别具有K个不同的值，则生成K列的数组，其中每列对应于K个可能的值之一。如果一个样本属于第i个类别，则第i个列为1，其余列为0：
from sklearn.preprocessing import OneHotEncoder
encoder = OneHotEncoder()
y_encoded = encoder.fit_transform(y.reshape(-1, 1)).toarray()特征选择
特征选择是指从数据集中选择最相关的特征用于建模。可以使用Scikit-learn中的特征选择类进行特征选择。
示例：
假设我们有一个包含10个特征的数据集：
from sklearn.datasets import make_classification
X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, random_state=42)可以使用SelectKBest类进行k个最佳特征的选择：
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import f_classif
selector = SelectKBest(score_func=f_classif, k=5)
X_selected = selector.fit_transform(X, y)以上就是Scikit-learn中常见的数据预处理和清洗方法的介绍和演示。当然，这还远远不是全部，Scikit-learn提供了丰富的功能和工具，可供探索、学习和使用。
本文链接：https://my.lmcjl.com/post/20276.html
4 评论