Insertion de données depuis Excel/CSV

VérifiéSûr

Lire un fichier Excel (.xlsx) ou CSV (.csv) et charger les données en masse dans la base de données PostgreSQL du projet Casas Comunales. Gère le mapping, la validation et les erreurs.

Spar Skills Guide Bot
Data & IAIntermédiaire
2024/07/2026
Claude Code
#excel-import#csv-import#postgresql#data-validation#bulk-insert

Recommandé pour

Notre avis

Lit un fichier Excel (.xlsx) ou CSV (.csv) et insère massivement les données dans la base PostgreSQL du projet Casas Comunales, avec mappage de colonnes, validation des doublons et rapport d'erreurs.

Points forts

  • Automatise l'importation de données à partir de fichiers courants (Excel, CSV).
  • Valide les données avant insertion pour minimiser les erreurs.
  • Gère les doublons et les champs obligatoires avec des rapports clairs.
  • Insère ligne par ligne, une erreur n'empêche pas les autres insertions.

Limites

  • Nécessite que l'utilisateur fournisse un fichier avec une structure compatible.
  • Ne gère que les tables spécifiques du projet (participants, casas, etc.).
  • Dépend de pandas et openpyxl, qui doivent être installés.
Quand l'utiliser

Utilisez cette compétence lorsque vous devez importer un fichier Excel ou CSV contenant des données structurées (participants, maisons, ateliers) dans la base de données du projet Casas Comunales.

Quand l'éviter

Ne l'utilisez pas pour des fichiers non tabulaires, des imports ponctuels d'une seule ligne, ou si le fichier contient des données non structurées comme du texte libre.

Analyse de sécurité

Sûr
Score qualité90/100

The skill performs legitimate database insertion operations with proper validation and user confirmation. It uses bash and Python for data processing and database connectivity, but no destructive or exfiltration actions are present. Credentials are read from a local .env file, which is standard.

Aucun point d'attention détecté

Exemples

Excel de participantes
Te paso un Excel con los datos de los participantes para cargar a la base de datos del proyecto Casas Comunales. El archivo está en C:\Users\KEVIN\Desktop\participantes.xlsx.
CSV de talleres
Tengo un archivo CSV con la lista de talleres. Quiero insertar esos datos masivamente en la tabla talleres del proyecto. La ruta es C:\data\talleres.csv.
Migración desde otro sistema
Necesito migrar los datos de casas comunales desde un Excel que generó el sistema antiguo. ¿Puedes cargarlos? El archivo está en C:\migracion\casas.xlsx.

name: insertar-excel description: Lee un archivo Excel (.xlsx) o CSV (.csv) y carga los datos masivamente a la base de datos PostgreSQL del proyecto Casas Comunales. Úsalo cuando el usuario diga "te paso un Excel", "tengo un archivo con datos", "quiero cargar datos masivos", "inserta desde Excel/CSV", "tengo una lista de participantes/casas/talleres en una hoja de cálculo", o cuando comparta una ruta a un archivo de datos. También úsalo cuando el usuario migre datos de otro sistema. Maneja automáticamente el mapeo de columnas, validaciones de duplicados y reporte de errores.

Insertar datos desde Excel/CSV — Casas Comunales

El proyecto está en c:\Users\KEVIN\Desktop\casas comunales. Credenciales de BD en .env.

El objetivo es hacer la carga de datos lo más segura posible: mostrar al usuario qué se encontró, validar antes de tocar la BD, e insertar solo lo que es válido.

Paso 1 — Verificar pandas

python -c "import pandas; import openpyxl; print('OK')"

Si falla: pip install pandas openpyxl

Paso 2 — Obtener información del usuario

Si el usuario no lo dijo, preguntar en un solo mensaje:

  1. ¿Ruta del archivo? (ej: C:/Users/KEVIN/Desktop/datos.xlsx)
  2. ¿Qué tipo de datos trae? (participantes / casas comunales / talleres / usuarios)

Si ya lo dijo, continuar directamente.

Paso 3 — Leer y previsualizar

import pandas as pd

ruta = "ruta/del/archivo"
df = pd.read_csv(ruta) if ruta.lower().endswith(".csv") else pd.read_excel(ruta)

# Limpiar nombres de columnas (espacios, mayúsculas)
df.columns = df.columns.str.strip()

print(f"Total filas: {len(df)}")
print(f"Columnas encontradas: {df.columns.tolist()}")
print(df.head(3).to_string())

Mostrar al usuario las columnas reales del archivo y proponer el mapeo. Confirmar antes de insertar.

Paso 4 — Mapeos de referencia

Ajustar según las columnas reales del archivo. Estos son los mapeos más comunes:

Participantes → tabla participantes | Columna Excel (posibles nombres) | Campo BD | |----------------------------------|----------| | Nombres, Nombre, NOMBRE | nombres (obligatorio) | | Apellidos, Apellido | apellidos (obligatorio) | | CI, Cédula, Cedula, C.I. | ci (obligatorio, único) | | Fecha Nac, FechaNacimiento, F. Nacimiento | fecha_nacimiento | | Género, Genero, Sexo | genero → normalizar a M/F/O | | Teléfono, Telefono, Cel | telefono | | Casa, Casa Comunal, CasaID | casa_comunal_id |

Casas Comunales → tabla casas_comunales | Columna Excel | Campo BD | |---------------|----------| | Nombre, Casa | nombre (obligatorio) | | Dirección, Direccion | direccion (obligatorio) | | Macrodistrito, Distrito | macrodistrito (obligatorio) | | Representante | representante_nombre | | Teléfono, Contacto | contacto_telefono |

Paso 5 — Validar antes de insertar

Usar el script de validación para no sorprender al usuario:

import psycopg2, os
from dotenv import load_dotenv
load_dotenv()

conn = psycopg2.connect(os.getenv("DATABASE_URL"))
cur = conn.cursor()

duplicados = []
nulos = []

for idx, row in df.iterrows():
    fila = idx + 2  # +2 porque idx empieza en 0 y hay cabecera
    
    # Verificar campos obligatorios
    if pd.isna(row.get("ci")) or str(row.get("ci", "")).strip() == "":
        nulos.append(f"Fila {fila}: CI vacía")
        continue
    
    # Verificar duplicados en BD
    cur.execute("SELECT id FROM participantes WHERE ci = %s", (str(row["ci"]).strip(),))
    if cur.fetchone():
        duplicados.append(f"Fila {fila}: CI {row['ci']} ya existe en BD")

conn.close()
print(f"Filas válidas para insertar: {len(df) - len(duplicados) - len(nulos)}")
print(f"Duplicados: {len(duplicados)}")
print(f"Nulos en campos obligatorios: {len(nulos)}")

Reportar al usuario y pedir confirmación para continuar.

Paso 6 — Insertar (solo los válidos)

Insertar fila por fila con manejo de errores individuales. Una fila que falla no cancela las demás:

insertados = 0
fallidos = []

for idx, row in df_validos.iterrows():
    try:
        cur.execute("""
            INSERT INTO participantes (nombres, apellidos, ci, genero, telefono, casa_comunal_id)
            VALUES (%s, %s, %s, %s, %s, %s)
        """, (
            str(row["nombres"]).strip(),
            str(row["apellidos"]).strip(),
            str(row["ci"]).strip(),
            str(row.get("genero", "")).strip().upper()[:1] or None,
            str(row.get("telefono", "")).strip() or None,
            int(row["casa_comunal_id"]) if pd.notna(row.get("casa_comunal_id")) else None,
        ))
        insertados += 1
    except Exception as e:
        conn.rollback()
        fallidos.append(f"Fila {idx+2}: {str(e)[:80]}")
    else:
        conn.commit()

cur.close()
conn.close()

Paso 7 — Reporte final

📊 RESULTADO DE INSERCIÓN
─────────────────────────
✅ Insertados correctamente:  N
⚠️  Omitidos (ya existían):   N
❌ Errores al insertar:       N

Detalle de errores (si hay):
  - Fila 5: valor de fecha_nacimiento inválido
  - Fila 12: casa_comunal_id 99 no existe
Skills similaires