1. 简介 pandas虽然是个非常流行的数据分析利器，但很多朋友在使用pandas处理较大规模的数据集的时候经常会反映pandas运算“慢”，且内存开销“大”。 特别是很多学生党在使用自己性能一般的笔记本尝试处理大型数据集时，往往会被捉襟见肘的算力所劝退。但其实只要掌握一定的pandas使用技巧，配置一般的机器也有能力hold住大型数据集的分析。 图1 本文就将以真实数据集和运存16G 继续阅读

简介：pandas 中的to_dict 可以对DataFrame类型的数据进行转换 可以选择六种的转换类型，分别对应于参数 ‘dict', ‘list', ‘series', ‘split', ‘records', ‘index'，下面逐一介绍每种的用法 ? 继续阅读

一、列转行 1、背景描述 在日常处理数据过程中，你们可能会经常遇到这种类型的数据： 而我们用pandas进行统计分析时，往往需要将结果转换成以下类型的数据： 2.方法描述 准备数据 df = pd.DataFrame({'姓名': ['A','B','C'], '英语':[90,60,70], 继续阅读

背景介绍 Pandas的DataFrame和Series在Matplotlib基础上封装了一个简易的绘图函数，使得数据处理过程中方便可视化查看结果。 折线图 import pandas as pd import numpy as np import matplotlib.pyplot as plt data=np.random.randn(5,2)*10 df=pd.DataFrame(np.abs(data),index=[1,2,3 继续阅读

目录 前言 方法一：通过筛选列的方式，留存正常的列。 方法二：直接删除列。 pandas删除列名中包含某些字符的列 总结 前言 实际工作中，偶尔遇到如下情况，例如使用Pandas计算如下相关系数，并把结果写入Excel文件中。 ? 继续阅读

数据合并是数据处理过程中的必经环节，pandas作为数据分析的利器，提供了四种常用的数据合并方式，让我们看看如何使用这些方法吧！ 1.concat() concat() 可用于两个及多个 DataFrame 间行/列方向进行内联或外联拼接操作，默认对行(沿 y 轴)取并集。 使用方式 pd.concat( objs: Union[Iterable[~FrameOrSeries], Mapping[Union[Hashable, N 继续阅读

一文看懂pandas的透视表pivot_table 一、概述 1.1 什么是透视表？ 透视表是一种可以对数据动态排布并且分类汇总的表格格式。或许大多数人都在Excel使用过数据透视表，也体会到它的强大功能，而在pandas中它被称作pivot_table。 1.2 为什么要使用pivot_table？ 灵活性高，可以随意定制你的分析计算要求 脉络清晰易于理解数据 操作性强，报表神器 继续阅读

pandas是一个高效的数据分析工具。基于其高度抽象的数据结构DataFrame（点击这里了解DataFrame数据结构），几乎可以对数据进行任何你想要的操作。 由于现实世界中数据源的格式非常多，pandas也支持了不同数据格式的导入方法，本文介绍pandas如何从csv文件中导入数据。 数据导入到pandas 从上图可以看出，我们要做的工作就是把存储在csv格式中的数据读入并转换成DataFrame格式。 p 继续阅读

Python三大包指的是NumPy、Pandas和Matplotlib，它们是在Python中常用的数据科学和数据分析工具包。NumPy是用于科学计算的基础包，Pandas是用于数据处理和分析的库，而Matplotlib则是用于生成图形的标准数据可视化库。以下将从几个方面对这三个包做详细的阐述。 一、NumPy NumPy是Python数据科学和计算的基础包，它提供了高性能的多维数组对象以及对这些数组对象进行操作的工具。NumPy的特点在于其广泛的应用，包括线 继续阅读

目录 安装方法 使用说明 支持示例展示 水平条形图 垂直条形图比赛 条形图 饼图 多边形地理空间图 多个图表 总结 数据动画可视化制作在日常工作中是非常实用的一项技能。目前支持动画可视化 继续阅读

数组存储成CSV之类的区隔型文件： 下面代码给随机数生成器指定种子，并生成一个3*4的NumPy数组 将一个数组元素的值设为NaN: ? 1 2 3 4 5 6 继续阅读

选摘了一小部分，详细的参见上述原文 图片.png 《Python数据科学手册》是对以数据深度需求为中心的科学、研究以及针对计算和统计方法的参考书。本书共五章，每章介绍一到两个Python数据科学中的重点工具包。首先从IPython和Jupyter开始，它们提供了数据科学家需要的计算环境；第 2章讲解能提供ndarray对象的NumPy，它可以用Python高效地存储和操作大型数组；第3章主要涉及提供DataFr 继续阅读