10. Streams y Buffers: Procesamiento de Archivos Grandes sin Saturar la Memoria RAM
Comprende el manejo binario con Buffer y procesa gigabytes de datos en chunks continuos con Readable y Writable Streams utilizando la función pipeline.
¿Qué es un Buffer en Node.js?
JavaScript original no poseía un mecanismo para manipular datos binarios puros (bytes de imágenes, archivos PDF o paquetes TCP). Node.js introdujo la clase global Buffer: un espacio de memoria asignado fuera del heap del motor V8 que representa una secuencia fija de bytes.
// Conversión entre strings y bytes binarios
const buf = Buffer.from('Kilopolis', 'utf-8');
console.log(buf); // <Buffer 4b 69 6c 6f 70 6f 6c 69 73>
console.log(buf.toString('hex')); // 4b696c6f706f6c6973
El Problema de Memoria al Leer Archivos Gigantes
Imagina que necesitas comprimir o servir a un usuario un archivo de video de 3 Gigabytes. Si utilizas fs.readFile(), Node.js intentará cargar los 3 GB completos en la memoria RAM antes de poder hacer algo con ellos. Si 3 usuarios solicitan el video a la vez, el servidor consumirá 9 GB de RAM y el sistema operativo lo matará por falta de memoria (Out Of Memory Error).
La Solución Maestra: Streams (Flujos de Datos)
Un Stream procesa la información en pequeños fragmentos continuos llamados chunks (de 64 KB por defecto), en lugar de esperar a que todo el archivo esté listo. Piensa en ver un video en YouTube: no necesitas esperar a que se descarguen las 2 horas de película para empezar a ver el primer segundo.
Readable
Origen de lectura de datos (ej. fs.createReadStream, req en HTTP).
Writable
Destino donde se escriben datos (ej. fs.createWriteStream, res en HTTP).
Duplex
Puede leer y escribir a la vez (ej. sockets de red TCP).
Transform
Modifica los datos mientras pasan (ej. compresión Gzip con zlib).
Tuberías Seguras con node:stream/promises (pipeline)
Antiguamente se utilizaba el método readable.pipe(writable), pero tenía el defecto de no limpiar los recursos si ocurría un error a mitad de camino. La forma moderna oficial es pipeline con async/await, que gestiona el flujo de retroalimentación (backpressure) y cierra todos los archivos automáticamente ante fallos.
⚡ Compresión de Archivos al Vuelo en Gzip con Streams y pipeline
Procesa archivos gigantescos en tiempo real manteniendo el consumo de memoria RAM por debajo de 25 MB:
// stream-compress.js - Procesamiento Eficiente con Streams en Node.js
import fs from 'node:fs';
import zlib from 'node:zlib';
import { pipeline } from 'node:stream/promises';
async function comprimirArchivo(origen, destino) {
console.log(`Iniciando compresión de: ${origen} ➔ ${destino}`);
const inicio = performance.now();
try {
// 1. Stream de Lectura (chunks de 64 KB)
const readStream = fs.createReadStream(origen);
// 2. Stream de Transformación (comprime los chunks al vuelo con Gzip)
const gzipStream = zlib.createGzip();
// 3. Stream de Escritura en disco
const writeStream = fs.createWriteStream(destino);
// Conectamos los 3 streams con pipeline seguro de promesas
await pipeline(readStream, gzipStream, writeStream);
const duracion = ((performance.now() - inicio) / 1000).toFixed(2);
console.log(`✅ Archivo comprimido con éxito en ${duracion}s sin saturar la memoria RAM.`);
} catch (error) {
console.error('❌ Error durante el pipeline de compresión:', error.message);
}
}
// Ejemplo de llamada (descomentar para probar con un archivo real)
// await comprimirArchivo('backup-base-datos.sql', 'backup-base-datos.sql.gz');
console.log('Módulo de compresión con Streams listo para usar.');
Mini-Quiz de Retención
Comprueba tu comprensión antes de pasar a la siguiente lección¿Cuál es la ventaja principal de utilizar Streams en lugar de fs.readFile al transferir o procesar archivos grandes en Node.js?
¿Tienes dudas con este tema?
Sócrates AI puede darte analogías y explicarte este código paso a paso.🚀 ¿Quieres dominar Node.js & npm Profesional y crear proyectos reales?
Aprende arquitectura limpia, desarrollo web moderno, buenas prácticas y despliegue en producción con nuestro Bootcamp Fullstack Developer con mentorías en vivo.