Changeset aafb30d

Timestamp:

08/23/10 14:17:27 (21 months ago)

Author:

Benoit Grégoire <benoitg@…>

Branches:

('master', '8434b8322dd6f8ff37c17bd45b94e7a826f86b53')('vitrine', 'afe109c61a407808bd54d88bcccb1cde726a010a')

Children:

f4e524f46ba145b3a6938dad4e9babdcfac160bf

Parents:

e0e292f0315a09d924cdb2910962574fdaef290e

git-author:

Benoit Grégoire <benoitg@coeus.ca>2010-08-23 14:17:27-04:00

git-committer:

Benoit Grégoire <benoitg@coeus.ca>2010-08-23 14:17:27-04:00

Message:

MUCH faster vocabulary import code

Location:

html

Files:

• admin/vocabulary_admin.php (modified) (1 diff)
• classes/Langstring.php (modified) (6 diffs)
• classes/Vocabulary.php (modified) (8 diffs)
• classes/VocabularyTerm.php (modified) (13 diffs)

html/admin/vocabulary_admin.php

@@ -278 +278 @@
 
                     $vocabulary = new Vocabulary('NEW');
-                    $num_imported_terms = $vocabulary->import($dom, $format);
-                    if ($num_imported_terms == 0)
+                    $importResults = $vocabulary->import($dom, $format);
+                    if ($importResults === false)
                     {
 
-                        echo _("No terms imported, importation failed; Erasing the vocabulary<br/>");
+                        echo _("Importation failed; Erasing the vocabulary<br/>");
                         $vocabulary->delete();
                     }
                     else
                     {
-                        echo sprintf(ngettext("%d vocabulary term has been added.", "%d vocabulary terms have been added.", $num_imported_terms), $num_imported_terms)."<br/>";
+                        echo sprintf(ngettext("%d new vocabulary term has been added (%d updated).", "%d new vocabulary terms have been added  (%d updated).",$importResults['new']), $importResults['new'], $importResults['updated'])."<br/>";
                     }
                 }

html/classes/Langstring.php

@@ -30 +30 @@
 define('LANGSTRING_BUTTON_ADD_NEW_VALUE', 'Ajouter une chaîne supplémentaire');
 
-/** Représente un Langstring en particulier, ne créez pas un objet langstrings si wous n'en avez pas spécifiquement besoin 
+/** Représente un Langstring en particulier, ne créez pas un objet langstrings si wous n'en avez pas spécifiquement besoin
  */
 class Langstring extends GenericDataObject
@@ -36 +36 @@
 
     /** Returns the cached string in the class-wide cache, or null in no cached value exists
-     * @param $langstring_id The id of the langstring for which we ask a cached
+     * @param $langstring_id int The id of the langstring for which we ask a cached
      * value */
     static private function getCachedString($langstring_id, $locale)
@@ -89 +89 @@
 
     /**Constructeur
-     @param id Clef maitresse du langstring ou "NEW" pour créer un nouveau LangString dans la base de donnée.  
+     @param id Clef maitresse du langstring ou "NEW" pour créer un nouveau LangString dans la base de donnée.
      */
     function __construct($id = null)
@@ -217 +217 @@
             $string = $this->mBd->EscapeString($string);
             $this->mBd->execSqlUpdate("INSERT INTO langstring_entries (langstrings_id, locales_id, value) VALUES ('$this->mId', $id , '$string')", false);
+            $this->dirtyCachedString();
             $retval = true;
         }
@@ -248 +249 @@
             try
             {
-                $this->mBd->executerSqlResUnique("SELECT * FROM langstring_entries WHERE  locales_id {$equality_operator} {$id} AND langstrings_id = '$this->mId'", $row, false);
-                if ($row != null)
-                {
-                    $string = $this->mBd->EscapeString($string);
-                    $this->mBd->execSqlUpdate("UPDATE langstring_entries SET value = '$string' WHERE langstrings_id = '$this->mId' AND locales_id = $id", false);
+                    $this->mBd->executerSqlResUnique("SELECT * FROM langstring_entries WHERE  locales_id {$equality_operator} {$id} AND langstrings_id = '$this->mId'", $row, false);
+                    if ($row != null) {
+                        if ($row['value'] != $string) {
+                            $string = $this->mBd->EscapeString($string);
+                            $this->mBd->execSqlUpdate("UPDATE langstring_entries SET value = '$string' WHERE langstrings_id = '$this->mId' AND locales_id = $id", false);
+                        }
+                        $this->dirtyCachedString();
+                    }
+                    else             {
+                        $this->addString($string, $locale);
+                    }
                     $retval = true;
-                }
-                else
-                {
-                    $this->addString($string, $locale);
-                    $retval = true;
-
-                }
             }
             catch (Exception $e)
@@ -273 +273 @@
     /**Affiche l'interface d'administration de l'objet
      @param type_interface SIMPLE pour éditer un seul champ, COMPLETE pour voir toutes les chaînes, LARGE pour avoir un textarea.
-     @param num_nouveau Nombre de champ à afficher pour entrer de nouvelles chaîne en une seule opération.  Si 0, il n'y aura un nouveau 
+     @param num_nouveau Nombre de champ à afficher pour entrer de nouvelles chaîne en une seule opération.  Si 0, il n'y aura un nouveau
      champ que s'il n'y a pas déjà une sous-chaîne.
      */

html/classes/Vocabulary.php

@@ -461 +461 @@
 var termsArray = new Array($termsCount+1);
 termsArray[0]='---';
-$jsTerms
+                $jsTerms
                                 //alert("New length: " + termsArray.length)
 </script>
 EOT;
-echo $script;
-
-foreach ($vocabulary_terms_result as $vocabulary_terms_row)
-{
-    $term = VocabularyTerm::getObject(array ($vocabulary_terms_row['vdex_6_1_identifier'], $this->mId));
-    $term->displayAdminUI();
-}
+                echo $script;
+
+                foreach ($vocabulary_terms_result as $vocabulary_terms_row)
+                {
+                    $term = VocabularyTerm::getObject(array ($vocabulary_terms_row['vdex_6_1_identifier'], $this->mId));
+                    $term->displayAdminUI();
+                }
             }
 
@@ -729 +729 @@
      format VDEX : DOMDocument object
      @param $format string either CSV_array or VDEX
-     @return Le nombre d'entrées (terme) ajoutées dans la base de donnée
+     @return array array('new'=>$inserted_terms, 'updated'=>$updated_terms) Le nombre d'entrées (terme) ajoutées dans la base de donnée, ===false if failed
      */
     function import($data, $format, $debug = false)
     {
         //$debug=true;
-        $inserted_terms = 0;
+        $retval = array('new'=>0, 'updated'=>0);
         if ($format == 'CSV_array')
         {
@@ -753 +753 @@
                     pretty_print_r($pk);
                     $this->mBd->execSqlUpdate("INSERT INTO vocabulary_terms (vdex_4_vocabulary_identifier, caption ,identifier) VALUES (".$this->getSqlId().", ".$langstring->getId().", $pk)", false);
-                    $inserted_terms ++;
+                    $retval['new']++;
                 }
             }
@@ -930 +930 @@
 
                 // Création du nouveau vocabulaire
-                // Note: la source à l'importation est une copîe de vdex_4_vocabulary_identifier
+                // Note: la source à l'importation est une copie de vdex_4_vocabulary_identifier
                 $this->mBd->ExecuterSqlResUnique("INSERT INTO vocabularies (vdex_1_order_significant, vdex_2_profile_type, vdex_3_vocabulary_name, vdex_4_vocabulary_identifier, vdex_4_1_registration_status, vdex_5_default_language, vocabulary_source, is_system_vocabulary, is_relationship_vocabulary)
                                                                                                                                 VALUES ($vdex_1_order_significant, $vdex_2_profile_type, $vdex_3_vocabulary_name, '$vdex_4_vocabulary_identifier', $vdex_4_1_registration_status, $vdex_5_default_language, '$vocabulary_source', $is_system_vocabulary, $is_relationship_vocabulary);
@@ -946 +946 @@
             foreach ($terms_list as $term)
             {
-                $inserted_terms ++;
                 $node_list = $xpath->query("dns:termIdentifier", $term);
                 foreach ($node_list as $node)
@@ -967 +966 @@
                         echo "The term $vdex_6_1_identifier is missing, importing it !<br/>";
                         $vocabulary_term = new VocabularyTerm(array ('0' => 'NEW', '1' => $this->mId), $vdex_6_1_identifier, null);
-                        $vocabulary_term->import($term, $format, $data, $debug);
+                        $retval['new']++; //For the term itself
                     }
                     else
                     {
-                        // Update this term
+                        // Update the term
                         if ($debug)
                         echo "The term $vdex_6_1_identifier already exists, updating it !<br/>";
                         $vocabulary_term = VocabularyTerm::getObject(array ('0' => $vdex_6_1_identifier, '1' => $this->mId));
-                        $vocabulary_term->import($term, $format, $data, $debug);
+                        $retval['updated']++; //For the term itself
                     }
                 }
@@ -981 +980 @@
                 {
                     $vocabulary_term = new VocabularyTerm(array ('0' => 'NEW', '1' => $this->mId), $vdex_6_1_identifier, null);
-                    $vocabulary_term->import($term, $format, $data, $debug);
-                }
+                    $retval['new']++; //For the term itself
+                }
+                $importResult = $vocabulary_term->import($term, $format, $data, $debug);
+                if($importResult===false){
+                    throw new Exception ("Failed importing a term");
+                }
+                $retval['new']+=$importResult['new'];
+                $retval['updated']+=$importResult['updated'];
             }
 
             /* 7 Relationship :: 0 - n*/
             $relationships_list = $xpath->query("//dns:vdex/dns:relationship");
+            $currentRelationshipsIdArray=array();
             if($debug){
                 echo "\n Found {$relationships_list->length} relationship(s)";
@@ -1046 +1052 @@
         else {
             echo '<h1>ERROR: Vocabulary::import(); $format = '.$format.' Format inconnu!</h1>';
-        }
-        return $inserted_terms;
+            $retval=false;
+        }
+        return $retval;
     }
 

html/classes/VocabularyTerm.php

@@ -108 +108 @@
 
     /** Constructeur
-    @param $id_array An array:  $id_array[0]=vdex_6_1_identifier ou NEW pour ajouter une nouvelle entrée
+    @param $id_array array:  $id_array[0]=vdex_6_1_identifier ou NEW pour ajouter une nouvelle entrée
     $id_array[1]=vdex_4_vocabulary_identifier (l'identifiant du vocabulaire auquel le terme appartient)
     or
     $id_array[1]=array(vdex_4_vocabulary_identifier, vdex_4_vocabulary_identifier, ...) to look for the term in more than one voc
-    @param $id_new If $id_array[0]='NEW', must contain the specific id of the new term
+    @param $id_new string If $id_array[0]='NEW', must contain the specific id of the new term
     @param $parent_id DEPRECATED and ignored
     @param $allow_vdex_update, Allow automatic VDEX download for update
@@ -285 +285 @@
     }
 
-    /** Indique si la clef primaire de l'objet  est une chaîne de caractÚre. 
+    /** Indique si la clef primaire de l'objet  est une chaîne de caractÚre.
      */
     static function primaryKeyIsString()
@@ -314 +314 @@
     {
         return Langstring::getObject($this->mRow['vdex_6_3_caption']);
+    }
+
+    /**
+     * @return boolean
+     */
+    public function getIsValidIndex() {
+        return $this->mRow['vdex_6_2_valid_index']=='t'?true:false;
+    }
+
+    /**
+     * @return boolean
+     */
+    public function getIsOrderSignificant() {
+        return $this->mRow['vdex_6_6_order_significant']=='t'?true:false;
     }
 
@@ -474 +488 @@
     }
 
-    /** Retourne le thÚme parent de celui-ci 
+    /** Retourne le thÚme parent de celui-ci
      * @return Retourne le parent, un objet de même type que celui qui a été
      * instancié ou null si le terme est à la racine
@@ -497 +511 @@
     }
 
-    /* Retourne la hiérarchie de termes au dessus de celui-ci, en commençant pas la racine 
+    /* Retourne la hiérarchie de termes au dessus de celui-ci, en commençant pas la racine
      * @param = $include_self=false
      * @return array de VocabularyTerm représentant le chemin d'accÚs de cet entré thésaurus
@@ -1045 +1059 @@
      @param $export_format format de la sortie:  LOM ou VDEX
      @param $document Le document auquel la sortie doit être ajouté.  Le type peut varier
-     @param $parent Le parent de l'élément à ajouter.  Le type peut varier   
+     @param $parent Le parent de l'élément à ajouter.  Le type peut varier
      @param $entree ID de l'entree de Vocabulary
      */
@@ -1156 +1170 @@
      @param $document DOMDocument where the node comes from
      @debug activate debug
-     @return true si résussi 
+     @return  array array('new'=>$inserted_terms, 'updated'=>$updated_terms) number of new inserted or updated >subterms< (could be 0).  ===false if failed
      */
     function import($data, $format, $document, $debug = false)
@@ -1162 +1176 @@
         $sql = "SELECT * FROM vocabulary_terms NATURAL JOIN vocabularies WHERE vdex_6_1_identifier=".$this->getSqlId()."";
         $this->mBd->executerSqlResUnique($sql, $vocabulary_terms_row, false);
-
+        $retval = array('new'=>0, 'updated'=>0);
+        $sqlUpdatesArray = array();
         if ($vocabulary_terms_row != null)
         {
@@ -1174 +1189 @@
                 if ($debug)
                 echo "{$attr->nodeName}={$attr->nodeValue}<br/>";
-                $vdex_6_2_valid_index = $this->mBd->EscapeString($attr->nodeValue);
-                $sql = "UPDATE vocabulary_terms SET vdex_6_2_valid_index = $vdex_6_2_valid_index WHERE  vdex_6_1_identifier=".$this->getSqlId().";\n";
-                $this->mBd->execSqlUpdate($sql, false);
+                $value = $attr->nodeValue=='true'?true:false;
+                $sqlValue = $this->mBd->EscapeString($attr->nodeValue);
+                if($this->getIsValidIndex()!=$value) {
+                    $sqlUpdatesArray[] = "vdex_6_2_valid_index = $sqlValue";
+                }
             }
 
@@ -1253 +1270 @@
                 if ($debug)
                 echo "{$attr->nodeName}={$attr->nodeValue}<br/>";
-                $vdex_6_6_order_significant = $this->mBd->EscapeString($attr->nodeValue);
-                $sql = "UPDATE vocabulary_terms SET vdex_6_6_order_significant = $vdex_6_6_order_significant WHERE  vdex_6_1_identifier=".$this->getSqlId().";\n";
-                $this->mBd->execSqlUpdate($sql, false);
+                $value = $attr->nodeValue=='true'?true:false;
+                $sqlValue = $this->mBd->EscapeString($attr->nodeValue);
+                if($this->getIsOrderSignificant()!=$value) {
+                    $sqlUpdatesArray[] = "vdex_6_6_order_significant = $sqlValue";
+                }
             }
 
@@ -1283 +1302 @@
                     echo "The term $vdex_6_1_identifier is missing, importing it !<br/>";
                     $vocabulary_term = new VocabularyTerm(array ('0' => 'NEW', '1' => $this->mId[1]), $vdex_6_1_identifier, array ('0' => $this->mId[0], '1' => $this->mId[1]));
-                    $vocabulary_term->import($term, $format, $document, $debug);
+                    $retval['new']++;
                 }
                 else
@@ -1291 +1310 @@
                     echo "The term $vdex_6_1_identifier already exists, updating it !<br/>";
                     $vocabulary_term = VocabularyTerm::getObject(array ('0' => $vdex_6_1_identifier, '1' => $this->mId[1]));
-                    $vocabulary_term->import($term, $format, $document, $debug);
-                }
-
-            }
-            return true;
+                    $retval['updated']++;
+                }
+                $importResult = $vocabulary_term->import($term, $format, $document, $debug);
+                if($importResult===false){
+                    throw new Exception ("Failed importing a term");
+                }
+                $retval['new']+=$importResult['new'];
+                $retval['updated']+=$importResult['updated'];
+            }
+            if (!empty($sqlUpdatesArray)){
+                $updates = implode(", ", $sqlUpdatesArray);
+                $sql = "UPDATE vocabulary_terms SET $updates WHERE  vdex_6_1_identifier=".$this->getSqlId().";\n";
+                $this->mBd->execSqlUpdate($sql, false);
+                $this->refresh();
+            }
+            return $retval;
         }
         else
@@ -1339 +1369 @@
     {
         $this->DeleteTree();
+    }
+    /**Met à jour les attributs de l'objet à partir de la base de donnée
+     */
+    function refresh()
+    {
+        $this->__construct($this->mId);
     }