Merge branch 'dev-refactor' into 'master'

Dev refactor

See merge request !3

.gitignore

 content/
 attachments/
 .idea
+venv/
 __pycache__/
+.vscode/
+.pytest_cache/
 *.log
 spip_calcul.yml
 spip_yml

.gitlab-ci.yml

+# This file is a template, and might need editing before it works on your project.
+# Official language image. Look for the different tagged releases at:
+# https://hub.docker.com/r/library/python/tags/
+image: python:latest
+
+# Change pip's cache directory to be inside the project directory since we can
+# only cache local items.
+variables:
+  PIP_CACHE_DIR: "$CI_PROJECT_DIR/.cache/pip"
+
+# Pip's cache doesn't store the python packages
+# https://pip.pypa.io/en/stable/reference/pip_install/#caching
+#
+# If you want to also cache the installed packages, you have to install
+# them in a virtualenv and cache it as well.
+cache:
+  paths:
+    - .cache/pip
+    - venv/
+
+before_script:
+  - python -V  # Print out python version for debugging
+  - pip install virtualenv
+  - virtualenv venv
+  - source venv/bin/activate
+  - pip install -r requirements.txt
+
+test:
+  tags:
+    - docker
+  script:
+    - python -m pytest -sv
+

requirements.txt

@@ -5,3 +5,5 @@ colorlog
 ftfy
 pypandoc
 ruamel.yaml
+pytest
+fastcache
\ No newline at end of file

test/config.yml

+site_url: http://calcul.math.cnrs.fr
+work_dir: test
+spip_dir: spip_yml_clean
+default_author: Webmaster
+attachments_prefix: attachments/spip/
+categories:
+    articles:
+        # These spip articles will fall into categories below
+        evt_sci:
+            - 9  # Mini-symposium "Calcul Scientifique pour la médecine" au congrès SMAI 2007
+            - 7  # Session spéciale au CANUM 2004
+            - 8  # Session spéciale au congrès SMAI 2005
+            - 82  # 1ères journées du GDR Calcul : 9-10 novembre 2009
+            - 219  # 10 ans du Groupe Calcul : "Histoire du Calcul"
+            - 252  # Journée problème de Poisson
+            - 177  # Journées du GDR Calcul : 5 et 6 juillet 2011
+            - 287  # Journée Python et Data Science à Rennes
+            - 157  # Journées du GDR et du réseau Calcul, 9 et 10 novembre 2010
+            - 135  # Journée GNR MOMAS / GDR Calcul, 5 mai 2010, Paris
+            - 258  # Méthode de Galerkin discontinue et ses  applications
+            - 267  # Multirésolution adaptative pour la simulation de problème multi-échelles et parallélisme
+            - 294  # JCAD, Journées Calcul Données
+            - 233  # Ecole "optimisation"
+            - 240  # École Optimisation 2014
+            - 274  # ANF "Boîtes à outil éléments finis open source"
+            - 291  # École Thématique GEOMDATA
+            - 295  # JCAD, Journées Calcul Données, du 24 au 26 octobre 2018, Lyon
+            - 76  # Mini-symposium "Méthodes Multirésolutions", SMAI 2009
+            - 148  # Mini-symposium CANUM 2010 "Modélisation et calcul scientifique : les enjeux en génération d'images"
+            - 165  # Journée en l'honneur des soixante ans de Thierry Dumont
+            - 228  # SMAI 2013: session commune GDR-MASCOT NUM et GDR Calcul
+            - 268  # Mini symposium "Recherche reproductible" - CANUM 2016
+        evt_tech:
+            - 2  # Licences et gestion de projets, 14 octobre 2004
+            - 3  # Compilateurs, architectures et performances des codes, 24 mars 2005
+            - 4  # C++ avancé, STL et librairies scientifiques, 2 décembre 2005
+            - 5  # Python en calcul scientifique
+            - 6  # Journée Méso-centres, 13 février 2008
+            - 74  # 2ème journée mésocentres, 24 septembre 2009
+            - 263  # 8èmes journées méso-centre
+            - 130  # "Méso-centres : quels outils pour aujourd'hui et pour demain ?", 10 juin 2010
+            - 149  # 3ème journée mésocentre, 21 septembre 2010
+            - 181  # 4èmes journées mésocentres - 20/21 sept 2011
+            - 214  # 5ème journées mésocentres 
+            - 229  # 6èmes journées mésocentres
+            - 242  # 7èmes journées mésocentres
+            - 270  # 9èmes journées méso-centres
+            - 275  # Journée Runtime
+            - 285  # 10èmes journées méso-centres
+            - 292  # Journées GPGPU
+            - 293  # Campagnes de calcul reproductibles
+            - 10  # Réunion d'information et de concertation à propos des grilles de calcul 
+            - 150  # Workshop "Masse de données : I/O, format de fichier, visualisation et archivage"
+            - 211  # Mini-symposium CANUM 2012 "Le GPU est-il l'avenir du calcul scientifique ?"
+            - 75  # Mini-symposium "Architectures émergentes pour le calcul", SMAI 2009
+            - 239  # CANUM 2014 : "A nouvelles machines, nouveaux algorithmes"
+        skip:
+            - 78  # Config
+            - 182  # Notification d'inscription aux journées mésocentres 2011
+            - 232  # Liste des inscrits - journée mésocentres 2013
+            - 226  # Liste des inscrits - Journée du 9/04/2013
+            - 78  # Notification d'inscription aux journées du GDR Calcul 2011
+            - 85  # Participants - 2ème journée mésocentre - 24/09/2009
+            - 158  # Liste des inscrits - Journée Mésocentres du 21 septembre 2010
+            - 161  # Liste des inscrits : Journées du Groupe Calcul, 9 et 10 nov 2010
+            - 249  # inscrits à la 7ème journée mésocentres
+            - 151  # Validation d'inscription
+            - 160  # Liste des inscrits : Workshop "Masse de données : I/O, format de fichier, visualisation et archivage", 13 janvier 2011
+            - 138  # Confirmation d'inscription
+    rubriques:
+        # spip rubriques and spip articles that are not listed above will fall into categories below
+        evt_sci:
+            - 77  # Ecole Thématique du GDR Calcul, 2010 : "Méthodes multirésolution et méthodes de raffinement adaptatif de maillage"
+            - 93  # Ecole Thématique du GDR Calcul, 2011 : "Méthodes de décomposition de domaine : de la théorie à la pratique"
+            - 106 # Ecole thématique sur les méthodes multigrilles
+            - 107 # Ecole Thématique PRECIS 2017 [6]
+            - 88  # ANGD "Calcul parallèle et application aux plasmas froids"
+            - 98  # Ecole "précision et reproductibilité en calcul numérique"
+            - 90  # CEMRACS 2012
+        evt_tech:
+            - 39  # 6. Formations / Ecoles
+        paysage:
+            - 6  # 3. Mésocentres
+            - 10  # 5. Formations
+            - 14  # 4. Autres moyens de calcul en France
+        groupe: 2  # 1. Présentation du Groupe Calcul
+        skip: 
+            - 10  # Formations organisées par les méso-centres
+            - 38  # 2. Offres d'emploi
+    breves:
+        paysage:
+            - 1
+            - 2

test/spip_yml_clean/spip_articles_clean.yml

+-
+  id_article: 3
+  titre: 'Compilateurs, architectures et performances des codes, 24 mars 2005'
+  id_rubrique: 4
+  descriptif: 
+  texte: |-
+    Le {Groupe Calcul} et l'Unité de Service {CODICIEL} s'associent pour proposer une journée de formation destinée aux acteurs du calcul scientifique et portant sur la compréhension des outils utilisés pour le développement des codes de calcul, en particulier des compilateurs. 
+    Cette journée est organisée avec le soutien de la [Fédération Lyonnaise de Calcul Haute Performance->http://flchp.univ-lyon1.fr/]
+    
+    {{{Programme}}}
+    
+    ----
+    
+    -* {{10h00}} : {Accueil. Café.} 
+    
+    ----
+    
+    -* {{10h30}} : {{Alain Lichnewsky}}, Professeur, Laboratoire de Mathématique, Université Paris-Sud : {Le compilateur : un outil mystérieux du calcul scientifique.}
+    
+    -** {{Résumé}} Les calculateurs utilisés dans les grands problèmes du calcul scientifique ont atteint des degrés élevés de parallélisme. D'autre part les applications deviennent très sophistiquées, que ce soit en raison de leur algorithmique
+    interne ou en raison de la nécessité d'exposer un parallélisme de plus en plus massif.
+            Les langages de programmation offrent une aide importante  à la mise en oeuvre de programmes. Nous essaierons dans cet exposé de donner une idée des concepts et des technologies sous-jacents, en particulier concernant la phase de
+    ``compilation'' destinée à obtenir du code machine.
+            Notre propos est surtout d'aider à la construction de grandes applications en facilitant la compréhension d'ensemble du processus de construction applicative.
+    
+    -** {{Plan}}
+    -*** Notions sur les langages de programmation
+    -*** Notions de sémantique
+    -*** Le processus de traduction
+    -*** Les représentations intermédiaires
+    -*** Traduction vers une représentation de haut niveau
+    -*** Transformations à haut niveau
+    -*** Traduction vers une représentation de bas niveau
+    -*** Génération de code
+    -*** Optimisation des ressources
+    -*** Ordonnancement
+    
+    -** [Support->Documents/Journees/mars2005/compilateur.pdf]
+    
+    ----
+    
+    -* {{12h30}} : {Repas.} 
+    
+    ----
+    
+    -* {{14h00}} : {{François BODIN}}, Professeur IRISA, Université Rennes 1 : {"Code tuning" : Structures des programmes, architectures et performances.}
+    
+    -** {{Résumé}} L'accroissement de performance des microprocesseurs réside dans l'augmentation de la fréquence d'horloge des processeurs et dans l'utilisation du parallélisme entre instructions (les architectures superscalaires telles que le Pentium d'Intel, ...). Cependant, à mesure que la performance crête augmente la structure des codes influe de plus en plus sur leurs temps d'exécution.
+    Dans cette présentation nous abordons l'ensemble des notions nécessaires à la compréhension des performances des codes. D'un côté, nous rappelons les principaux mécanismes architecturaux influençant les performances des programmes (pipeline, parallélisme entre instructions, hiérarchie mémoire, etc.). De l'autre côté, nous montrons au travers de transformations de code l'impact de la structure des programmes sur les performances.
+    
+    -** [Support->Documents/Journees/mars2005/CodeTuning.pdf]
+    
+    ----
+    
+    -* {{16h00}} : {Discussion, Débat, Questions aux intervenants} - {Autour du développement de logiciels pour le calcul scientifique.}
+    
+    ----
+    
+    {{{Date et Lieu}}}
+    
+    
+    - {{Date}} : Le Jeudi 24 mars 2005
+    - {{Lieu}} : Université Lyon 1, amphi du Bâtiment Dirac.
+    
+    
+  ps: 
+  date: 2008-02-07 09:24:27
+  statut: publie
+  id_secteur: 2
+  popularite: 0.907296313756637
+  lang: fr
+-
+  id_article: 209
+  titre: 'État des lieux de mésos-centres en 2012'
+  id_rubrique: 13
+  descriptif: 
+  texte: |-
+    Ce rapport a été écrit sur la base de la mise à jour des [données des mésocentres->rub7] par leurs responsables et d'un sondage effectué en 2012 auprès de ces mêmes responsables.
+    
+    {Rédacteurs} : {{Mark Asch, Emmanuel Chaljub, Romaric David }}.
+    
+    [Télécharger le rapport sur l'état des lieux des structures de type mésocentres 
+    en France (Juin 2012)->doc73]
+  ps: 
+  date: 2012-06-07 09:05:45
+  statut: publie
+  id_secteur: 6
+  popularite: 0.908745215988163
+  lang: fr

test/spip_yml_clean/spip_auteurs_clean.yml

+-
+  id_auteur: 1
+  nom: Webmaster
+  bio: 
+  email: Violaine.Louvet@univ-grenoble-alpes.fr
+  login: admin
+  pass: a05eb303e4ac23a8c63d3fc171e4e9ff495c3421ef838cb171cab1847bd4e16b
+  low_sec: TLxMFR88
+  statut: 0minirezo
+  pgp: 
+  htpass: $1$zbhiaL8G$dqrNtsMwdmy3oMTuarX9T0
+  en_ligne: 2018-11-21 10:24:40
+  imessage: 
+  messagerie: 
+  alea_actuel: 11240972905beab63fe6fc94.21530289
+  alea_futur: 12170183715bf2b4cb0bb1d0.84015863
+  prefs: a:6:{s:3:"cnx";s:5:"perma";s:7:"options";s:8:"avancees";s:7:"couleur";i:1;s:7:"display";i:2;s:18:"display_navigation";s:22:"navigation_avec_icones";s:14:"display_outils";s:3:"oui";}
+  cookie_oubli: 
+  source: spip
+  lang: fr
+  webmestre: oui
+-
+  id_auteur: 3
+  nom: Romaric David
+  bio: 
+  email: david@unistra.fr
+  login: rdavid
+  pass: 3d826af54cf9dc38e7d1d3f6ecedb16b7bb6ae552bd787eda50fad6bcec79fc1
+  low_sec: pLqLiqWz
+  statut: 0minirezo
+  pgp: 
+  htpass: $1$oL5GC6LZ$TwyjJW3IlIYce4FAmagoo/
+  en_ligne: 2017-09-07 11:27:00
+  imessage: oui
+  messagerie: 
+  alea_actuel: 2186229525946e5f52d54a3.66798894
+  alea_futur: 192218665059b110e4b4df61.98282562
+  prefs: a:5:{s:3:"cnx";s:5:"perma";s:7:"couleur";i:1;s:7:"display";i:2;s:18:"display_navigation";s:22:"navigation_avec_icones";s:14:"display_outils";s:3:"oui";}
+  cookie_oubli: 
+  source: spip
+  lang: 
+  webmestre: non

test/spip_yml_clean/spip_auteurs_liens_clean.yml

+-
+  id_auteur: 1
+  id_objet: 3
+  objet: article
+  vu: non
+-
+  id_auteur: 3
+  id_objet: 209
+  objet: article
+  vu: non

test/spip_yml_clean/spip_breves_clean.yml

+-
+  id_breve: 1
+  date_heure: 2012-12-14 00:00:00
+  titre: '1/2 journée inaugurale du réseau LyonCalcul'
+  texte: 'L’initiative LyonCalcul propose de profiter de la proximité géographique pour organiser un réseau de contacts et une structure légère d’animation scientifique et technologique.'
+  lien_titre: Site du réseau LyonCalcul
+  lien_url: http://lyoncalcul.univ-lyon1.fr
+  statut: publie
+  id_rubrique: 4
+  lang: fr
+-
+  id_breve: 2
+  date_heure: 2012-12-03 00:00:00
+  titre: 'École "Datacentres : exploiter sans gaspiller"'
+  texte: |-
+    Du 3 au 7 Décembre à Villard de Lans aura lieu l'école "Datacentres : exploiter sans gaspiller". Cette école est organisée par le Groupe de Services [Ecoinfo->http://www.ecoinfo.cnrs.fr/], en collaboration avec le Groupe Calcul.
+    
+  lien_titre: Site web d'ecoinfo
+  lien_url: http://www.ecoinfo.cnrs.fr/
+  statut: publie
+  id_rubrique: 13
+  lang: fr

test/spip_yml_clean/spip_documents_clean.yml

+-
+  id_document: 73
+  id_vignette: 0
+  titre: ''
+  date: 2012-06-07 09:04:19
+  descriptif: 
+  fichier: pdf/2012_rapport_meso-2.pdf
+  taille: 3394058
+  largeur: 0
+  hauteur: 0
+  mode: document
+  distant: non
+  extension: pdf
+  statut: publie
+  date_publication: 1970-01-01 01:00:00
+  brise: 0
+  credits: 
+  media: file

test/spip_yml_clean/spip_rubriques_clean.yml

+-
+  id_rubrique: 4
+  id_parent: 2
+  titre: '5. Journées du Groupe Calcul'
+  descriptif: 
+  texte: |-
+    Le Groupe Calcul organise des journées de formation et d'informations autour du développement d’applications scientifiques, et de l'environnement scientifique lié au calcul.
+    
+    - Le {27 novembre 2018} : [{Interopérabilité et pérennisation des données de la recherche : comment FAIR En pratique ?} -> art297] à Paris
+    
+    - Les {24, 25 et 26 octobre 2018} : [{JCAD, Journées Calcul Données } ->art294] à Lyon
+    
+    - Le {23 octobre 2018} : [{Comment réaliser des campagnes de calcul reproductibles ?} ->art293] à Lyon
+    
+    - Le {19 décembre 2017} : [Python et Data Science  à Rennes->art287]
+    
+    - Les {11, 12 et 13 décembre 2017} : [Visualisation In Situ à Toulouse->art288]
+    
+    - Les {26 et 27 septembre 2017} : [10èmes journées mésocentres->art285]
+    
+    - Le {20 janvier 2017} : [journée Runtime->art275]
+    
+    - Les {23 et 24 novembre 2016}: [journées SUCCES->https://succes2016.sciencesconf.org/]
+    
+    - Les {11 et 12 octobre 2016} : [9èmes journées mésocentres->art270]
+    
+    - Le {30 mai 2016} : [Multirésolution adaptative pour la simulation de problème multi-échelles et parallélisme->art267]
+    
+    - Le 6 Octobre 2015 : [8ème journée mésocentres->art263]
+    
+    - Le {19 juin 2015}, [méthode de Galerkin discontinue et ses applications->art258]
+    
+    - Le {26 janvier 2015}, [journée problème de Poisson->art252]
+    
+    - Le {7 octobre 2014}, [7ème journée mésocentres->art242]
+    
+    - Les {13 et 14 Novembre 2013}, [journées SUCCES->http://succes2013.sciencesconf.org]
+    
+    - Le {19 Septembre 2013}, [6èmes journées mésocentres->229]
+    
+    - Le {9 avril 2013}, [10 ans du Groupe Calcul "Histoire du Calcul"->art219]
+    
+    - les {1,2,3 octobre 2012}, [5èmes journées mésocentres->art214], co-localisées avec les journées scientifiques France Grilles
+    
+    - les {20 et 21 septembre 2011}, [{{4ème journées mésocentres}}->art181] (également en [Webcast le 21/9/11->http://webcast.in2p3.fr/live/journee_mesocentres])
+    
+    - les {5 et 6 juillet 2011}, [{{troisièmes journées annuelles du GDR Calcul}}->art177]
+    
+    - les {9 et 10 novembre 2010}, [{{deuxièmes journées annuelles du Groupe Calcul}}->art157]
+    
+    - le {21 septembre 2010}, [{{3ème journée mésocentres}}->art149]
+    
+    - le {10 juin 2010}, [{{Mésocentres : quels outils pour aujourd’hui et pour demain ?}}->art130]
+    
+    - le {5 mai 2010}, [{{Journée GNR MOMAS / GDR Calcul}}->art135]
+    
+    - les {9 et 10 novembre 2009}, [{{premières journées du GDR Calcul}}->art82]
+    
+    - le {24 septembre 2009}, [{{2ème journée mésocentres}}->art74]
+    
+    - le {17 mars 2009}, [{{journée sur l"Impact de l’informatique sur l’environnement"}}->http://www.eco-info.org/spip.php?article96] co-organisée avec le groupe de travail [EcoInfo->http://www.ecoinfo.cnrs.fr/]
+    
+    - le {13 février 2008}, [{{journée dédiée aux méso-centres de calcul}}->art6], co-organisée avec le réseau [ResInfo->http://www.resinfo.cnrs.fr/]
+    
+    - le {13 septembre 2007}, [JoSy : {{gestion des serveurs de calcul}}->http://www.resinfo.cnrs.fr/spip.php?article1], co-organisée avec le réseau [ResInfo->http://www.resinfo.cnrs.fr/]
+    
+    - le {14 décembre 2006}, [{{Python en calcul scientifique}}->art5]
+    
+    - le {2 décembre 2005}, [{{C++ avancé : design patterns, STL et librairies scientifiques}}->art4]
+    
+    - le {24 mars 2005}, [{{Compilateurs, architectures et performances des codes}}->art3]
+    
+    - le {14 octobre 2004}, [{{Licence et gestion de projet}}->art2]
+    
+  id_secteur: 2
+  statut: publie
+  date: 2018-09-28 17:41:31
+  lang: fr
+  statut_tmp: publie
+  date_tmp: 2011-06-16 12:38:45
+  profondeur: 1
+-
+  id_rubrique: 13
+  id_parent: 11
+  titre: 'Rapports et documents'
+  descriptif: 
+  texte: |-
+    Cette rubrique regroupe les rapports et documents en lien avec les méso-centres :
+    
+    - [L'état des lieux des mésocentres en France en avril 2014->art241]
+    - [L'état des lieux des mésocentres en France en juin 2012->art209]
+    - [L'état des lieux des mésocentres en France en février 2011->art178]
+    - [L'état des lieux des mésocentres en France en septembre 2009->art86].
+    - [L'état des lieux des mésocentres en France en février 2008->art14].
+  id_secteur: 6
+  statut: publie
+  date: 2014-04-17 18:24:49
+  lang: fr
+  statut_tmp: publie
+  date_tmp: 2012-01-23 22:37:00
+  profondeur: 2

test/test_article.py

+from spip2pelican import Website
+
+
+def test_website():
+
+    Website(config_file="test/config.yml")
+
+
+def test_read_spip():
+
+    website = Website(ml_type='md', include_breves=True,
+                      config_file="test/config.yml")
+    website.read_spip()
+
+
+def test_export():
+    website = Website(ml_type='md', config_file="test/config.yml")
+    website.read_spip()
+    website.export_to_pelican()