¿Cómo leer un archivo grande línea por línea?

Quiero leer un archivo línea por línea, pero sin cargarlo completamente en la memoria.

Mi archivo es demasiado grande para abrirlo en la memoria, y si trato de hacerlo, siempre me quedo sin errores de memoria.

El tamaño del archivo es de 1 GB.

Puede usar la fgets()función para leer el archivo línea por línea:

$handle = fopen("inputfile.txt", "r");
if ($handle) {
    while (($line = fgets($handle)) !== false) {
        // process the line read.
    }

    fclose($handle);
} else {
    // error opening the file.
} 

if ($file = fopen("file.txt", "r")) {
    while(!feof($file)) {
        $line = fgets($file);
        # do same stuff with the $line
    }
    fclose($file);
}

Puede usar una clase de interfaz orientada a objetos para un archivo: SplFileObject http://php.net/manual/en/splfileobject.fgets.php (PHP 5> = 5.1.0)

<?php

$file = new SplFileObject("file.txt");

// Loop until we reach the end of the file.
while (!$file->eof()) {
    // Echo one line from the file.
    echo $file->fgets();
}

// Unset the file to call __destruct(), closing the file handle.
$file = null;

Si está abriendo un archivo grande, probablemente quiera usar Generadores junto con fgets () para evitar cargar todo el archivo en la memoria:

/**
 * @return Generator
 */
$fileData = function() {
    $file = fopen(__DIR__ . '/file.txt', 'r');

    if (!$file)
        die('file does not exist or cannot be opened');

    while (($line = fgets($file)) !== false) {
        yield $line;
    }

    fclose($file);
};

Úselo así:

foreach ($fileData() as $line) {
    // $line contains current line
}

De esta forma, puede procesar líneas de archivo individuales dentro de foreach ().

Nota: los generadores requieren> = PHP 5.5

Use técnicas de almacenamiento en búfer para leer el archivo.

$filename = "test.txt";
$source_file = fopen( $filename, "r" ) or die("Couldn't open $filename");
while (!feof($source_file)) {
    $buffer = fread($source_file, 4096);  // use a buffer of 4KB
    $buffer = str_replace($old,$new,$buffer);
    ///
}

Hay una file()función que devuelve una matriz de líneas contenidas en el archivo.

foreach(file('myfile.txt') as $line) {
   echo $line. "\n";
}

foreach (new SplFileObject(__FILE__) as $line) {
    echo $line;
}

La respuesta obvia no estaba allí en todas las respuestas.
PHP tiene un analizador delimitador de transmisión ordenado disponible hecho exactamente para ese propósito.

$fp = fopen("/path/to/the/file", "r+");
while ($line = stream_get_line($fp, 1024 * 1024, "\n")) {
  echo $line;
}
fclose($fp);

Tenga cuidado con las cosas 'while (! Feof ... fgets ()', los fgets pueden obtener un error (returnfing false) y repetirse para siempre sin llegar al final del archivo. Codaddict estuvo más cerca de ser correcto pero cuando su 'while fgets' el ciclo termina, verifique feof; si no es cierto, entonces tuvo un error.

Así es como lo manejo con un archivo muy grande (probado con hasta 100G). Y es más rápido que fgets ()

$block =1024*1024;//1MB or counld be any higher than HDD block_size*2
if ($fh = fopen("file.txt", "r")) { 
    $left='';
    while (!feof($fh)) {// read the file
       $temp = fread($fh, $block);  
       $fgetslines = explode("\n",$temp);
       $fgetslines[0]=$left.$fgetslines[0];
       if(!feof($fh) )$left = array_pop($lines);           
       foreach ($fgetslines as $k => $line) {
           //do smth with $line
        }
     }
}
fclose($fh);

Una de las soluciones populares a esta pregunta tendrá problemas con el nuevo carácter de línea. Se puede arreglar bastante fácil con un simple str_replace.

$handle = fopen("some_file.txt", "r");
if ($handle) {
    while (($line = fgets($handle)) !== false) {
        $line = str_replace("\n", "", $line);
    }
    fclose($handle);
}

SplFileObject es útil cuando se trata de manejar archivos grandes.

function parse_file($filename)
{
    try {
        $file = new SplFileObject($filename);
    } catch (LogicException $exception) {
        die('SplFileObject : '.$exception->getMessage());
    }
    while ($file->valid()) {
        $line = $file->fgets();
        //do something with $line
    }

    //don't forget to free the file handle.
    $file = null;
}

<?php
echo '<meta charset="utf-8">';

$k= 1;
$f= 1;
$fp = fopen("texttranslate.txt", "r");
while(!feof($fp)) {
    $contents = '';
    for($i=1;$i<=1500;$i++){
        echo $k.' -- '. fgets($fp) .'<br>';$k++;
        $contents .= fgets($fp);
    }
    echo '<hr>';
    file_put_contents('Split/new_file_'.$f.'.txt', $contents);$f++;
}
?>

Función para leer con retorno de matriz

function read_file($filename = ''){
    $buffer = array();
    $source_file = fopen( $filename, "r" ) or die("Couldn't open $filename");
    while (!feof($source_file)) {
        $buffer[] = fread($source_file, 4096);  // use a buffer of 4KB
    }
    return $buffer;
}