$t) {
// par defaut tout est coche sauf les tables dans $exclude
if (is_null($post)) {
$check = (in_array($t, $exclude) ? false : true);
} // mais si on a poste une selection, la reprendre
else {
$check = in_array($t, $post);
}
$res[$k] = "\n"
. ""
. " ("
. sinon(singulier_ou_pluriel(sql_countsel($t, '', '', '', $serveur), 'dump:une_donnee', 'dump:nb_donnees'),
_T('dump:aucune_donnee'))
. ")";
}
return $res;
}
/**
* Lister les tables non exportables par defaut
* (liste completable par le pipeline lister_tables_noexport
*
* @staticvar array $EXPORT_tables_noexport
* @return array
*/
function lister_tables_noexport() {
// par defaut tout est exporte sauf les tables ci-dessous
static $EXPORT_tables_noexport = null;
if (!is_null($EXPORT_tables_noexport)) {
return $EXPORT_tables_noexport;
}
$EXPORT_tables_noexport = array(
'spip_caches', // plugin invalideur
'spip_resultats', // resultats de recherche ... c'est un cache !
'spip_test', // c'est un test !
#'spip_referers',
#'spip_referers_articles',
#'spip_visites',
#'spip_visites_articles',
#'spip_versions',
#'spip_versions_fragments'
);
$EXPORT_tables_noexport = pipeline('lister_tables_noexport', $EXPORT_tables_noexport);
return $EXPORT_tables_noexport;
}
/**
* Lister les tables non importables par defaut
* (liste completable par le pipeline lister_tables_noimport
*
* @staticvar array $IMPORT_tables_noimport
* @return array
*/
function lister_tables_noimport() {
static $IMPORT_tables_noimport = null;
if (!is_null($IMPORT_tables_noimport)) {
return $IMPORT_tables_noimport;
}
$IMPORT_tables_noimport = array();
// par defaut tout est importe sauf les tables ci-dessous
// possibiliter de definir cela tables via la meta
// compatibilite
if (isset($GLOBALS['meta']['IMPORT_tables_noimport'])) {
$IMPORT_tables_noimport = unserialize($GLOBALS['meta']['IMPORT_tables_noimport']);
if (!is_array($IMPORT_tables_noimport)) {
include_spip('inc/meta');
effacer_meta('IMPORT_tables_noimport');
}
}
$IMPORT_tables_noimport = pipeline('lister_tables_noimport', $IMPORT_tables_noimport);
return $IMPORT_tables_noimport;
}
/**
* Lister les tables a ne pas effacer
* (liste completable par le pipeline lister_tables_noerase
*
* @staticvar array $IMPORT_tables_noerase
* @return array
*/
function lister_tables_noerase() {
static $IMPORT_tables_noerase = null;
if (!is_null($IMPORT_tables_noerase)) {
return $IMPORT_tables_noerase;
}
$IMPORT_tables_noerase = array(
'spip_meta',
// par defaut on ne vide pas les stats, car elles ne figurent pas dans les dump
// et le cas echeant, un bouton dans l'admin permet de les vider a la main...
'spip_referers',
'spip_referers_articles',
'spip_visites',
'spip_visites_articles'
);
$IMPORT_tables_noerase = pipeline('lister_tables_noerase', $IMPORT_tables_noerase);
return $IMPORT_tables_noerase;
}
/**
* construction de la liste des tables pour le dump :
* toutes les tables principales
* + toutes les tables auxiliaires hors relations
* + les tables relations dont les deux tables liees sont dans la liste
*
* @param array $exclude_tables
* @return array
*/
function base_liste_table_for_dump($exclude_tables = array()) {
$tables_for_dump = array();
$tables_pointees = array();
$tables = array();
$tables_principales = $GLOBALS['tables_principales'];
$tables_auxiliaires = $GLOBALS['tables_auxiliaires'];
$tables_jointures = $GLOBALS['tables_jointures'];
if (include_spip('base/objets')
and function_exists('lister_tables_objets_sql')
) {
$tables = lister_tables_objets_sql();
foreach ($tables as $t => $infos) {
if ($infos['principale'] and !isset($tables_principales[$t])) {
$tables_principales[$t] = true;
}
if (!$infos['principale'] and !isset($tables_auxiliaires[$t])) {
$tables_auxiliaires[$t] = true;
}
if (count($infos['tables_jointures'])) {
$tables_jointures[$t] = array_merge(isset($tables_jointures[$t]) ? $tables_jointures[$t] : array(),
$infos['tables_jointures']);
}
}
}
// on construit un index des tables de liens
// pour les ajouter SI les deux tables qu'ils connectent sont sauvegardees
$tables_for_link = array();
foreach ($tables_jointures as $table => $liste_relations) {
if (is_array($liste_relations)) {
$nom = $table;
if (!isset($tables_auxiliaires[$nom]) && !isset($tables_principales[$nom])) {
$nom = "spip_$table";
}
if (isset($tables_auxiliaires[$nom]) || isset($tables_principales[$nom])) {
foreach ($liste_relations as $link_table) {
if (isset($tables_auxiliaires[$link_table])/*||isset($tables_principales[$link_table])*/) {
$tables_for_link[$link_table][] = $nom;
} else {
if (isset($tables_auxiliaires["spip_$link_table"])/*||isset($tables_principales["spip_$link_table"])*/) {
$tables_for_link["spip_$link_table"][] = $nom;
}
}
}
}
}
}
$liste_tables = array_merge(array_keys($tables_principales), array_keys($tables_auxiliaires), array_keys($tables));
foreach ($liste_tables as $table) {
// $name = preg_replace("{^spip_}","",$table);
if (!isset($tables_pointees[$table])
&& !in_array($table, $exclude_tables)
&& !isset($tables_for_link[$table])
) {
$tables_for_dump[] = $table;
$tables_pointees[$table] = 1;
}
}
foreach ($tables_for_link as $link_table => $liste) {
$connecte = true;
foreach ($liste as $connect_table) {
if (!in_array($connect_table, $tables_for_dump)) {
$connecte = false;
}
}
if ($connecte)
# on ajoute les liaisons en premier
# si une restauration est interrompue,
# cela se verra mieux si il manque des objets
# que des liens
{
array_unshift($tables_for_dump, $link_table);
}
}
return array($tables_for_dump, $tables_for_link);
}
/**
* Vider les tables de la base de destination
* pour la copie dans une base
*
* peut etre utilise pour l'import depuis xml,
* ou la copie de base a base (mysql<->sqlite par exemple)
*
* @param array $tables
* @param array $exclure_tables
* @param string $serveur
*/
function base_vider_tables_destination_copie($tables, $exclure_tables = array(), $serveur = '') {
$trouver_table = charger_fonction('trouver_table', 'base');
spip_log('Vider ' . count($tables) . " tables sur serveur '$serveur' : " . join(', ', $tables),
'base.' . _LOG_INFO_IMPORTANTE);
foreach ($tables as $table) {
if (!in_array($table, $exclure_tables)) {
// sur le serveur principal, il ne faut pas supprimer l'auteur loge !
if (($table != 'spip_auteurs') or $serveur != '') {
// regarder si il y a au moins un champ impt='non'
$desc = $trouver_table($table, $serveur);
if (isset($desc['field']['impt'])) {
sql_delete($table, "impt='oui'", $serveur);
} else {
sql_delete($table, "", $serveur);
}
}
}
}
// sur le serveur principal, il ne faut pas supprimer l'auteur loge !
// Bidouille pour garder l'acces admin actuel pendant toute la restauration
if ($serveur == ''
and in_array('spip_auteurs', $tables)
and !in_array('spip_auteurs', $exclure_tables)
) {
base_conserver_copieur(true, $serveur);
sql_delete("spip_auteurs", "id_auteur>0", $serveur);
}
}
/**
* Conserver le copieur si besoin
*
* @param bool $move
* @param string $serveur
* @return void
*/
function base_conserver_copieur($move = true, $serveur = '') {
// s'asurer qu'on a pas deja fait la manip !
if ($GLOBALS['visiteur_session']['id_auteur'] > 0 and sql_countsel("spip_auteurs", "id_auteur>0")) {
spip_log('Conserver copieur dans id_auteur=' . $GLOBALS['visiteur_session']['id_auteur'] . " pour le serveur '$serveur'",
'dump.' . _LOG_INFO_IMPORTANTE);
sql_delete("spip_auteurs", "id_auteur<0", $serveur);
if ($move) {
sql_updateq('spip_auteurs', array('id_auteur' => -$GLOBALS['visiteur_session']['id_auteur']),
"id_auteur=" . intval($GLOBALS['visiteur_session']['id_auteur']), array(), $serveur);
} else {
$row = sql_fetsel('*', 'spip_auteurs', 'id_auteur=' . $GLOBALS['visiteur_session']['id_auteur'], '', '', '', '',
$serveur);
$row['id_auteur'] = -$GLOBALS['visiteur_session']['id_auteur'];
sql_insertq('spip_auteurs', $row, array(), $serveur);
}
}
}
/**
* Effacement de la bidouille ci-dessus
* Toutefois si la table des auteurs ne contient plus qu'elle
* c'est que la copie etait incomplete et on restaure le compte
* pour garder la connection au site
*
* (mais il doit pas etre bien beau
* et ca ne marche que si l'id_auteur est sur moins de 3 chiffres)
*
* @param string $serveur
*/
function base_detruire_copieur_si_besoin($serveur = '') {
// rien a faire si ce n'est pas le serveur principal !
if ($serveur == '') {
if (sql_countsel("spip_auteurs", "id_auteur>0")) {
spip_log("Detruire copieur id_auteur<0 pour le serveur '$serveur'", 'dump.' . _LOG_INFO_IMPORTANTE);
sql_delete("spip_auteurs", "id_auteur<0", $serveur);
} else {
spip_log("Restaurer copieur id_auteur<0 pour le serveur '$serveur' (aucun autre auteur en base)",
'dump.' . _LOG_INFO_IMPORTANTE);
sql_update('spip_auteurs', array('id_auteur' => '-id_auteur'), "id_auteur<0");
}
} else {
spip_log("Pas de destruction copieur sur serveur '$serveur'", 'dump.' . _LOG_INFO_IMPORTANTE);
}
}
/**
* Preparer la table dans la base de destination :
* la droper si elle existe (sauf si auteurs ou meta sur le serveur principal)
* la creer si necessaire, ou ajouter simplement les champs manquants
*
* @param string $table
* @param array $desc
* @param string $serveur_dest
* @param bool $init
* @return array
*/
function base_preparer_table_dest($table, $desc, $serveur_dest, $init = false) {
$upgrade = false;
// si la table existe et qu'on est a l'init, la dropper
if ($desc_dest = sql_showtable($table, true, $serveur_dest) and $init) {
if ($serveur_dest == '' and in_array($table, array('spip_meta', 'spip_auteurs'))) {
// ne pas dropper auteurs et meta sur le serveur principal
// faire un simple upgrade a la place
// pour ajouter les champs manquants
$upgrade = true;
// coherence avec le drop sur les autres tables
base_vider_tables_destination_copie(array($table), array(), $serveur_dest);
if ($table == 'spip_meta') {
// virer les version base qui vont venir avec l'import
sql_delete($table, "nom like '%_base_version'", $serveur_dest);
// hum casse la base si pas version_installee a l'import ...
sql_delete($table, "nom='version_installee'", $serveur_dest);
}
} else {
sql_drop_table($table, '', $serveur_dest);
spip_log("drop table '$table' sur serveur '$serveur_dest'", 'dump.' . _LOG_INFO_IMPORTANTE);
}
$desc_dest = false;
}
// si la table n'existe pas dans la destination, la creer a l'identique !
if (!$desc_dest) {
spip_log("creation '$table' sur serveur '$serveur_dest'", 'dump.' . _LOG_INFO_IMPORTANTE);
include_spip('base/create');
creer_ou_upgrader_table($table, $desc, 'auto', $upgrade, $serveur_dest);
$desc_dest = sql_showtable($table, true, $serveur_dest);
}
if (!$desc_dest) {
spip_log("Erreur creation '$table' sur serveur '$serveur_dest'" . var_export($desc, 1), 'dump.' . _LOG_ERREUR);
}
return $desc_dest;
}
/**
* Copier de base a base
*
* @param string $status_file
* nom avec chemin complet du fichier ou est stocke le status courant
* @param array $tables
* liste des tables a copier
* @param string $serveur_source
* @param string $serveur_dest
* @param array $options
* parametres optionnels sous forme de tableau :
* param string $callback_progression
* fonction a appeler pour afficher la progression, avec les arguments (compteur,total,table)
* param int $max_time
* limite de temps au dela de laquelle sortir de la fonction proprement (de la forme time()+15)
* param bool $drop_source
* vider les tables sources apres copie
* param array $no_erase_dest
* liste des tables a ne pas vider systematiquement (ne seront videes que si existent dans la base source)
* param array $where
* liste optionnelle de condition where de selection des donnees pour chaque table
* param string $racine_fonctions_dest
* racine utilisee pour charger_fonction() des operations elementaires sur la base de destination.
* Permet de deleguer vers une autre voie de communication.
* Par defaut on utilise 'base', ce qui route vers les fonctions de ce fichier. Concerne :
* - vider_tables_destination_copie
* - preparer_table_dest
* - detruire_copieur_si_besoin
* - inserer_copie
* param array $fonction_base_inserer
* fonction d'insertion en base. Par defaut "inserer_copie" qui fait un insertq a l'identique.
* Attention, la fonction appelee est prefixee par $racine_fonctions_dest via un charger_fonction()
* Peut etre personalisee pour filtrer, renumeroter....
* param array $desc_tables_dest
* description des tables de destination a utiliser de preference a la description de la table source
* param int data_pool
* nombre de ko de donnees a envoyer d'un coup en insertion dans la table cible (par defaut 1)
* permet des envois groupes pour plus de rapidite, notamment si l'insertion est distante
*
* @return bool
*/
function base_copier_tables($status_file, $tables, $serveur_source, $serveur_dest, $options = array()) {
$callback_progression = isset($options['callback_progression']) ? $options['callback_progression'] : '';
$max_time = isset($options['max_time']) ? $options['max_time'] : 0;
$drop_source = isset($options['drop_source']) ? $options['drop_source'] : false;
$no_erase_dest = isset($options['no_erase_dest']) ? $options['no_erase_dest'] : array();
$where = isset($options['where']) ? $options['where'] : array();
$fonction_base_inserer = isset($options['fonction_base_inserer']) ? $options['fonction_base_inserer'] : 'inserer_copie';
$desc_tables_dest = isset($options['desc_tables_dest']) ? $options['desc_tables_dest'] : array();
$racine_fonctions = (isset($options['racine_fonctions_dest']) ? $options['racine_fonctions_dest'] : 'base');
$data_pool = (isset($options['data_pool']) ? $options['data_pool'] : 50 * 1024);
spip_log("Copier " . count($tables) . " tables de '$serveur_source' vers '$serveur_dest'",
'dump.' . _LOG_INFO_IMPORTANTE);
if (!$inserer_copie = charger_fonction($fonction_base_inserer, $racine_fonctions, true)) {
spip_log("Fonction '{$racine_fonctions}_$fonction_base_inserer' inconnue. Abandon", 'dump.' . _LOG_INFO_IMPORTANTE);
return true; // echec mais on a fini, donc true
}
if (!$preparer_table_dest = charger_fonction('preparer_table_dest', $racine_fonctions, true)) {
spip_log("Fonction '{$racine_fonctions}_$preparer_table_dest' inconnue. Abandon", 'dump.' . _LOG_INFO_IMPORTANTE);
return true; // echec mais on a fini, donc true
}
if (!lire_fichier($status_file, $status)
or !$status = unserialize($status)
) {
$status = array();
}
$status['etape'] = 'basecopie';
// puis relister les tables a importer
// et les vider si besoin, au moment du premier passage ici
$initialisation_copie = (!isset($status["dump_status_copie"])) ? 0 : $status["dump_status_copie"];
// si init pas encore faite, vider les tables du serveur destination
if (!$initialisation_copie) {
if (!$vider_tables_destination_copie = charger_fonction('vider_tables_destination_copie', $racine_fonctions,
true)
) {
spip_log("Fonction '{$racine_fonctions}_vider_tables_destination_copie' inconnue. Abandon",
'dump.' . _LOG_INFO_IMPORTANTE);
return true; // echec mais on a fini, donc true
}
$vider_tables_destination_copie($tables, $no_erase_dest, $serveur_dest);
$status["dump_status_copie"] = 'ok';
ecrire_fichier($status_file, serialize($status));
}
// les tables auteurs et meta doivent etre copiees en dernier !
if (in_array('spip_auteurs', $tables)) {
$tables = array_diff($tables, array('spip_auteurs'));
$tables[] = 'spip_auteurs';
}
if (in_array('spip_meta', $tables)) {
$tables = array_diff($tables, array('spip_meta'));
$tables[] = 'spip_meta';
}
spip_log("Tables a copier :" . implode(", ", $tables), 'dump.' . _LOG_INFO);
$trouver_table = charger_fonction('trouver_table', 'base');
foreach ($tables as $table) {
// si table commence par spip_ c'est une table SPIP, renommer le prefixe si besoin
// sinon chercher la vraie table
$desc_source = false;
if (strncmp($table, "spip_", 5) == 0) {
$desc_source = $trouver_table(preg_replace(",^spip_,", "", $table), $serveur_source, true);
}
if (!$desc_source or !isset($desc_source['exist']) or !$desc_source['exist']) {
$desc_source = $trouver_table($table, $serveur_source, false);
}
// verifier que la table est presente dans la base source
if ($desc_source) {
// $status['tables_copiees'][$table] contient l'avancement
// de la copie pour la $table : 0 a N et -N quand elle est finie (-1 si vide et finie...)
if (!isset($status['tables_copiees'][$table])) {
$status['tables_copiees'][$table] = 0;
}
if (is_numeric($status['tables_copiees'][$table])
and $status['tables_copiees'][$table] >= 0
and $desc_dest = $preparer_table_dest(
$table,
isset($desc_tables_dest[$table]) ? $desc_tables_dest[$table] : $desc_source,
$serveur_dest,
$status['tables_copiees'][$table] == 0)
) {
if ($callback_progression) {
$callback_progression($status['tables_copiees'][$table], 0, $table);
}
while (true) {
$n = intval($status['tables_copiees'][$table]);
// on copie par lot de 400
$res = sql_select('*', $table, isset($where[$table]) ? $where[$table] : '', '', '', "$n,400", '',
$serveur_source);
while ($row = sql_fetch($res, $serveur_source)) {
$rows = array($row);
// lire un groupe de donnees si demande en option
// (permet un envoi par lot vers la destination)
if ($data_pool > 0) {
$s = strlen(serialize($row));
while ($s < $data_pool and $row = sql_fetch($res, $serveur_source)) {
$s += strlen(serialize($row));
$rows[] = $row;
}
}
// si l'enregistrement est deja en base, ca fera un echec ou un doublon
// mais si ca renvoie false c'est une erreur fatale => abandon
if ($inserer_copie($table, $rows, $desc_dest, $serveur_dest) === false) {
// forcer la sortie, charge a l'appelant de gerer l'echec
spip_log("Erreur fatale dans $inserer_copie table $table", "dump" . _LOG_ERREUR);
$status['errors'][] = "Erreur fatale lors de la copie de la table $table";
ecrire_fichier($status_file, serialize($status));
// copie finie
return true;
}
$status['tables_copiees'][$table] += count($rows);
if ($max_time and time() > $max_time) {
break;
}
}
if ($n == $status['tables_copiees'][$table]) {
break;
}
spip_log("recopie $table " . $status['tables_copiees'][$table], 'dump.' . _LOG_INFO_IMPORTANTE);
if ($callback_progression) {
$callback_progression($status['tables_copiees'][$table], 0, $table);
}
ecrire_fichier($status_file, serialize($status));
if ($max_time and time() > $max_time) {
return false;
} // on a pas fini, mais le temps imparti est ecoule
}
if ($drop_source) {
sql_drop_table($table, '', $serveur_source);
spip_log("drop $table sur serveur source '$serveur_source'", 'dump.' . _LOG_INFO_IMPORTANTE);
}
$status['tables_copiees'][$table] = ($status['tables_copiees'][$table] ? -$status['tables_copiees'][$table] : "zero");
ecrire_fichier($status_file, serialize($status));
spip_log("tables_recopiees " . implode(',', array_keys($status['tables_copiees'])), 'dump.' . _LOG_INFO);
if ($callback_progression) {
$callback_progression($status['tables_copiees'][$table], $status['tables_copiees'][$table], $table);
}
} else {
if ($status['tables_copiees'][$table] < 0) {
spip_log("Table $table deja copiee : " . $status['tables_copiees'][$table], "dump." . _LOG_INFO);
}
if ($callback_progression) {
$callback_progression(0, $status['tables_copiees'][$table],
"$table" . ((is_numeric($status['tables_copiees'][$table]) and $status['tables_copiees'][$table] >= 0) ? "[Echec]" : ""));
}
}
} else {
$status['errors'][] = "Impossible de lire la description de la table $table";
ecrire_fichier($status_file, serialize($status));
spip_log("Impossible de lire la description de la table $table", "dump." . _LOG_ERREUR);
}
}
// si le nombre de tables envoyees n'est pas egal au nombre de tables demandees
// abandonner
if (count($status['tables_copiees']) < count($tables)) {
spip_log("Nombre de tables copiees incorrect : " . count($status['tables_copiees']) . "/" . count($tables),
"dump." . _LOG_ERREUR);
$status['errors'][] = "Nombre de tables copiees incorrect : " . count($status['tables_copiees']) . "/" . count($tables);
ecrire_fichier($status_file, serialize($status));
}
if ($detruire_copieur_si_besoin = charger_fonction('detruire_copieur_si_besoin', $racine_fonctions, true)) {
$detruire_copieur_si_besoin($serveur_dest);
} else {
spip_log("Fonction '{$racine_fonctions}_detruire_copieur_si_besoin' inconnue.", 'dump.' . _LOG_INFO_IMPORTANTE);
}
// OK, copie complete
return true;
}
/**
* fonction d'insertion en base lors de la copie de base a base
*
* @param string $table
* @param array $rows
* @param array $desc_dest
* @param string $serveur_dest
* @return int/bool
*/
function base_inserer_copie($table, $rows, $desc_dest, $serveur_dest) {
// verifier le nombre d'insertion
$nb1 = sql_countsel($table, '', '', '', $serveur_dest);
// si l'enregistrement est deja en base, ca fera un echec ou un doublon
$r = sql_insertq_multi($table, $rows, $desc_dest, $serveur_dest);
$nb = sql_countsel($table, '', '', '', $serveur_dest);
if ($nb - $nb1 < count($rows)) {
spip_log("base_inserer_copie : " . ($nb - $nb1) . " insertions au lieu de " . count($rows) . ". On retente 1 par 1",
"dump" . _LOG_INFO_IMPORTANTE);
foreach ($rows as $row) {
// si l'enregistrement est deja en base, ca fera un echec ou un doublon
$r = sql_insertq($table, $row, $desc_dest, $serveur_dest);
}
// on reverifie le total
$r = 0;
$nb = sql_countsel($table, '', '', '', $serveur_dest);
if ($nb - $nb1 < count($rows)) {
spip_log("base_inserer_copie : " . ($nb - $nb1) . " insertions au lieu de " . count($rows) . " apres insertion 1 par 1",
"dump" . _LOG_ERREUR);
$r = false;
}
}
return $r;
}