原生PHP，MySQL需要导出的数据有5万条

在PHP中处理大量数据（如从MySQL中导出5万条数据）需要谨慎考虑，以确保脚本高效运行且不会耗尽服务器资源。以下是详细的步骤和注意事项：

1. 设置PHP环境

确保你的PHP配置允许长时间运行和大内存使用：

ini
复制代码
; 在php.ini中配置
max_execution_time = 300   ; 最大执行时间，单位为秒
memory_limit = 512M       ; 内存限制

或者在脚本中动态设置：

php
复制代码
ini_set('max_execution_time', 300);  // 300秒，即5分钟
ini_set('memory_limit', '512M');    // 512MB内存

2. 数据库连接

使用PDO或MySQLi连接数据库，并确保以高效的方式提取数据：

php
复制代码
$host = 'localhost';
$db = 'your_database';
$user = 'your_user';
$pass = 'your_password';
$charset = 'utf8mb4';

// 使用PDO连接数据库
$dsn = "mysql:host=$host;dbname=$db;charset=$charset";
$options = [
    PDO::ATTR_ERRMODE            => PDO::ERRMODE_EXCEPTION,
    PDO::ATTR_DEFAULT_FETCH_MODE => PDO::FETCH_ASSOC,
    PDO::ATTR_EMULATE_PREPARES   => false,
];

try {
    $pdo = new PDO($dsn, $user, $pass, $options);
} catch (\PDOException $e) {
    throw new \PDOException($e->getMessage(), (int)$e->getCode());
}

3. 查询数据

使用PDO的query方法查询大量数据，并使用分页或流式处理以避免内存溢出：

php
复制代码
$limit = 1000;  // 每次提取的记录数
$offset = 0;    // 起始记录位置

while (true) {
    $stmt = $pdo->prepare('SELECT * FROM your_table LIMIT :limit OFFSET :offset');
    $stmt->bindValue(':limit', $limit, PDO::PARAM_INT);
    $stmt->bindValue(':offset', $offset, PDO::PARAM_INT);
    $stmt->execute();
    $rows = $stmt->fetchAll();

    if (count($rows) === 0) {
        break;  // 没有更多数据时退出循环
    }

    foreach ($rows as $row) {
        // 处理每条记录，例如将其写入文件
        // 例如：fputcsv($file, $row);
    }

    $offset += $limit;  // 更新偏移量
}

4. 导出数据

可以将数据导出到CSV文件：

php
复制代码
$file = fopen('export.csv', 'w');

// 写入CSV头
fputcsv($file, array_keys($rows[0]));

while (true) {
    $stmt = $pdo->prepare('SELECT * FROM your_table LIMIT :limit OFFSET :offset');
    $stmt->bindValue(':limit', $limit, PDO::PARAM_INT);
    $stmt->bindValue(':offset', $offset, PDO::PARAM_INT);
    $stmt->execute();
    $rows = $stmt->fetchAll();

    if (count($rows) === 0) {
        break;  // 没有更多数据时退出循环
    }

    foreach ($rows as $row) {
        fputcsv($file, $row);
    }

    $offset += $limit;  // 更新偏移量
}

fclose($file);

5. 提高性能的建议

• 索引优化：确保查询使用了合适的索引，提升查询效率。
• 批量处理：通过分页逐步提取数据，避免一次性加载所有数据到内存。
• 临时表：如果需要处理复杂查询，可以使用临时表简化处理过程。
• 数据缓存：如有可能，使用Redis等缓存机制减少数据库压力。

6. 完整示例

以下是一个完整的示例脚本，展示了从MySQL数据库导出5万条数据到CSV文件的过程：

php
复制代码
<?php
ini_set('max_execution_time', 300);
ini_set('memory_limit', '512M');

$host = 'localhost';
$db = 'your_database';
$user = 'your_user';
$pass = 'your_password';
$charset = 'utf8mb4';

$dsn = "mysql:host=$host;dbname=$db;charset=$charset";
$options = [
    PDO::ATTR_ERRMODE            => PDO::ERRMODE_EXCEPTION,
    PDO::ATTR_DEFAULT_FETCH_MODE => PDO::FETCH_ASSOC,
    PDO::ATTR_EMULATE_PREPARES   => false,
];

try {
    $pdo = new PDO($dsn, $user, $pass, $options);
} catch (\PDOException $e) {
    throw new \PDOException($e->getMessage(), (int)$e->getCode());
}

$file = fopen('export.csv', 'w');

$limit = 1000;
$offset = 0;

$stmt = $pdo->prepare('SELECT * FROM your_table LIMIT :limit OFFSET :offset');
$stmt->bindValue(':limit', $limit, PDO::PARAM_INT);
$stmt->bindValue(':offset', $offset, PDO::PARAM_INT);
$stmt->execute();
$rows = $stmt->fetchAll();

if (count($rows) > 0) {
    fputcsv($file, array_keys($rows[0]));
}

while (count($rows) > 0) {
    foreach ($rows as $row) {
        fputcsv($file, $row);
    }

    $offset += $limit;

    $stmt->bindValue(':offset', $offset, PDO::PARAM_INT);
    $stmt->execute();
    $rows = $stmt->fetchAll();
}

fclose($file);

以上方法确保脚本在处理大数据集时保持高效和稳定。