python使用pandas从minio读取excel文件方式

哦啦哆啦 · 发表于 2024-11-25 09:16:43

安装依赖

要使用Pandas从MinIO读取Excel文件，你需要先使用MinIO Python SDK从MinIO存储桶中下载文件，然后使用Pandas读取该文件。
安装必要的库：

pip install pandas minio -i https://pypi.tuna.tsinghua.edu.cn/simple

复制代码

python 3 的方式

import pandas as pd
from minio import Minio
from io import BytesIO
# MinIO 连接配置
# MinIO 连接配置
minio_client = Minio(
"localhost:9000", # MinIO服务器地址
access_key="admin", # 访问密钥
secret_key="admin", # 秘钥
secure=False # 如果是https连接，设为True
)
bucket_name = "test-read" # 存储桶名称
file_path = "测试/test.xlsx" # 文件在 MinIO 中的路径
def read_csv_from_minio(minio_client,bucket_name, file_path):
"""
从 MinIO 中读取 CSV 文件并加载到 pandas DataFrame
:param bucket_name: 存储桶名称
:param file_path: MinIO 中的文件路径
:return: pandas DataFrame
"""
try:
# 从 MinIO 下载文件内容
response = minio_client.get_object(bucket_name, file_path)
# 使用 BytesIO 包装文件内容，以便 pandas 读取
# binary_data = response.read() # 将数据读取为字节
df = pd.read_excel(BytesIO(response.data), sheet_name=1)
return df
except Exception as e:
print(f"读取文件失败，错误信息: {e}")
return None
# 调用函数并查看数据框
df = read_csv_from_minio(bucket_name, file_path)
if df is not None:
print(df.head())

复制代码

python 2 的方式

import pandas as pd
from minio import Minio
from StringIO import StringIO
# MinIO 连接配置
# MinIO 连接配置
minio_client = Minio(
"localhost:9000", # MinIO服务器地址
access_key="admin", # 访问密钥
secret_key="admin", # 秘钥
secure=False # 如果是https连接，设为True
)
bucket_name = "test-read" # 存储桶名称
file_path = "测试/test.xlsx" # 文件在 MinIO 中的路径
def read_csv_from_minio(minio_client,bucket_name, file_path):
"""
从 MinIO 中读取 CSV 文件并加载到 pandas DataFrame
:param bucket_name: 存储桶名称
:param file_path: MinIO 中的文件路径
:return: pandas DataFrame
"""
try:
# 从 MinIO 下载文件内容
response = minio_client.get_object(bucket_name, file_path)
# 使用 BytesIO 包装文件内容，以便 pandas 读取
# binary_data = response.read() # 将数据读取为字节
df = pd.read_excel(StringIO(response.data), sheet_name=1)
return df
except Exception as e:
print(f"读取文件失败，错误信息: {e}")
return None
# 调用函数并查看数据框
df = read_csv_from_minio(bucket_name, file_path)
if df is not None:
print(df.head())

复制代码

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

来源:https://www.jb51.net/python/331116mr0.htm
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】我们会及时删除侵权内容，谢谢合作！