Tema 10 · Streams & Buffers

10. Streams y Buffers: Procesamiento de Archivos Grandes sin Saturar la Memoria RAM

Comprende el manejo binario con Buffer y procesa gigabytes de datos en chunks continuos con Readable y Writable Streams utilizando la función pipeline.

¿Qué es un Buffer en Node.js?

JavaScript original no poseía un mecanismo para manipular datos binarios puros (bytes de imágenes, archivos PDF o paquetes TCP). Node.js introdujo la clase global Buffer: un espacio de memoria asignado fuera del heap del motor V8 que representa una secuencia fija de bytes.

// Conversión entre strings y bytes binarios
const buf = Buffer.from('Kilopolis', 'utf-8');
console.log(buf);                 // <Buffer 4b 69 6c 6f 70 6f 6c 69 73>
console.log(buf.toString('hex'));  // 4b696c6f706f6c6973

El Problema de Memoria al Leer Archivos Gigantes

Imagina que necesitas comprimir o servir a un usuario un archivo de video de 3 Gigabytes. Si utilizas fs.readFile(), Node.js intentará cargar los 3 GB completos en la memoria RAM antes de poder hacer algo con ellos. Si 3 usuarios solicitan el video a la vez, el servidor consumirá 9 GB de RAM y el sistema operativo lo matará por falta de memoria (Out Of Memory Error).

La Solución Maestra: Streams (Flujos de Datos)

Un Stream procesa la información en pequeños fragmentos continuos llamados chunks (de 64 KB por defecto), en lugar de esperar a que todo el archivo esté listo. Piensa en ver un video en YouTube: no necesitas esperar a que se descarguen las 2 horas de película para empezar a ver el primer segundo.

Readable

Origen de lectura de datos (ej. fs.createReadStream, req en HTTP).

Writable

Destino donde se escriben datos (ej. fs.createWriteStream, res en HTTP).

Duplex

Puede leer y escribir a la vez (ej. sockets de red TCP).

Transform

Modifica los datos mientras pasan (ej. compresión Gzip con zlib).

Tuberías Seguras con node:stream/promises (pipeline)

Antiguamente se utilizaba el método readable.pipe(writable), pero tenía el defecto de no limpiar los recursos si ocurría un error a mitad de camino. La forma moderna oficial es pipeline con async/await, que gestiona el flujo de retroalimentación (backpressure) y cierra todos los archivos automáticamente ante fallos.

⚡ Compresión de Archivos al Vuelo en Gzip con Streams y pipeline

Procesa archivos gigantescos en tiempo real manteniendo el consumo de memoria RAM por debajo de 25 MB:

stream-compress.js
Solo lectura
// stream-compress.js - Procesamiento Eficiente con Streams en Node.js
import fs from 'node:fs';
import zlib from 'node:zlib';
import { pipeline } from 'node:stream/promises';

async function comprimirArchivo(origen, destino) {
  console.log(`Iniciando compresión de: ${origen} ➔ ${destino}`);
  const inicio = performance.now();

  try {
    // 1. Stream de Lectura (chunks de 64 KB)
    const readStream = fs.createReadStream(origen);

    // 2. Stream de Transformación (comprime los chunks al vuelo con Gzip)
    const gzipStream = zlib.createGzip();

    // 3. Stream de Escritura en disco
    const writeStream = fs.createWriteStream(destino);

    // Conectamos los 3 streams con pipeline seguro de promesas
    await pipeline(readStream, gzipStream, writeStream);

    const duracion = ((performance.now() - inicio) / 1000).toFixed(2);
    console.log(`✅ Archivo comprimido con éxito en ${duracion}s sin saturar la memoria RAM.`);
  } catch (error) {
    console.error('❌ Error durante el pipeline de compresión:', error.message);
  }
}

// Ejemplo de llamada (descomentar para probar con un archivo real)
// await comprimirArchivo('backup-base-datos.sql', 'backup-base-datos.sql.gz');
console.log('Módulo de compresión con Streams listo para usar.');
🧠
Mini-Quiz de Retención
Comprueba tu comprensión antes de pasar a la siguiente lección
1 Pregunta
Pregunta 1
¿Cuál es la ventaja principal de utilizar Streams en lugar de fs.readFile al transferir o procesar archivos grandes en Node.js?
🦉
¿Tienes dudas con este tema?
Sócrates AI puede darte analogías y explicarte este código paso a paso.

🚀 ¿Quieres dominar Node.js & npm Profesional y crear proyectos reales?

Aprende arquitectura limpia, desarrollo web moderno, buenas prácticas y despliegue en producción con nuestro Bootcamp Fullstack Developer con mentorías en vivo.

🏛️ Autoría y Propiedad Intelectual: Obra educativa original de Juan Sebastián Amador para Kilopolis Academia, estructurada sobre las especificaciones y estándares abiertos del W3C, el estándar vivo de WHATWG y la documentación oficial de código abierto. © Todos los derechos reservados.