diff options
author | ramon <ramongomez@us.es> | 2018-02-22 13:08:39 +0000 |
---|---|---|
committer | ramon <ramongomez@us.es> | 2018-02-22 13:08:39 +0000 |
commit | f37adcd1c0240361a38438a6349b09e1b81a729a (patch) | |
tree | 91a36c35b1efed0e4398049df4bd7dce48b1da0b /repoman | |
parent | 96f39d04c96256fcb5368bca55d93d504300dd1e (diff) |
#730: Integrar versión OpenGnsys 1.1.0 en rama principal.
git-svn-id: https://opengnsys.es/svn/trunk@5606 a21b9725-9963-47de-94b9-378ad31fedc9
Diffstat (limited to 'repoman')
-rw-r--r-- | repoman/README.es.txt | 4 | ||||
-rwxr-xr-x | repoman/bin/checkrepo | 230 | ||||
-rwxr-xr-x | repoman/bin/createfileimage | 65 | ||||
-rwxr-xr-x | repoman/bin/deleteimage | 19 | ||||
-rwxr-xr-x | repoman/bin/deletepreimage | 66 | ||||
-rwxr-xr-x | repoman/bin/mountimage | 71 | ||||
-rwxr-xr-x | repoman/bin/opengnsys.cron | 4 | ||||
-rwxr-xr-x | repoman/bin/partclone2sync | 178 | ||||
-rwxr-xr-x | repoman/bin/reduceimage | 58 | ||||
-rwxr-xr-x | repoman/bin/torrent-creator | 4 | ||||
-rwxr-xr-x | repoman/bin/unmountimage | 52 |
11 files changed, 698 insertions, 53 deletions
diff --git a/repoman/README.es.txt b/repoman/README.es.txt index c71a23d2..12630cc2 100644 --- a/repoman/README.es.txt +++ b/repoman/README.es.txt @@ -1,8 +1,8 @@ -OpenGnSys Repository Manager RREADME +OpenGnsys Repository Manager RREADME ======================================= -Este directorio contiene la estructura de datos del repositorio de datos de OpenGnSys. +Este directorio contiene la estructura de datos del repositorio de datos de OpenGnsys. - bin binarios y scripts de gestión del repositorio. - etc ficheros o plantillas de configuración del repositorio. diff --git a/repoman/bin/checkrepo b/repoman/bin/checkrepo new file mode 100755 index 00000000..b38a689b --- /dev/null +++ b/repoman/bin/checkrepo @@ -0,0 +1,230 @@ +#!/bin/bash + +#/** +# checkrepo +#@file checkrepo +#@brief Generate repository information in a JSON file. +#@warning This script uses "jq" command. +#@version 1.1.0 - Initial version. +#@author Ramón M. Gómez - ETSII Univ. Sevilla +#@date 2017-09-27 +#*/ ## + + +# Global constants definition. +PROG=$(basename "$(realpath "$0")") +OPENGNSYS=/opt/opengnsys +IMAGESDIR=$OPENGNSYS/images +INFOFILE=$OPENGNSYS/etc/repoinfo.json + + +# Auxiliar functions. + +# Metafunction to check if JSON result exists. +function jq() { + local OUTPUT + OUTPUT=$($JQ "$@") || return $? + [[ "$OUTPUT" = "null" ]] && return 1 + echo "$OUTPUT" +} + +# Create/edit JSON file about installed ogLive clients. +function addToJson() { + # Parameters and variables. + local IMAGENAME="$1" IMAGETYPE="$2" DATA="$3" JSON i j n m OUNAME OUIND IMGIND + local CLONATOR COMPRESSOR FSTYPE DATASIZE CLIENT + IFS=":" read -r CLONATOR COMPRESSOR FSTYPE DATASIZE CLIENT <<<"$DATA" + # Check if image is restricted to an OU (subdir). + if [[ $IMAGENAME =~ / ]]; then + OUNAME="${IMAGENAME%/*}" + IMAGENAME="${IMAGENAME##*/}" + fi + # Data size must be numeric (in KB). + [[ $DATASIZE =~ ^[0-9]*$ ]] || DATASIZE=0 + # JSON-formatted new entry. + JSON=$(cat << EOT | jq . +{ + "name":"$IMAGENAME", + "type":"${IMAGETYPE,,}", + "clientname":"$CLIENT", + "clonator":"${CLONATOR,,}", + "compressor":"${COMPRESSOR,,}", + "filesystem":"${FSTYPE^^}", + "datasize":$[ DATASIZE * 1024] +} +EOT + ) + # Check JSON file consistency. + if [ "$(jq -c keys $INFOFILE 2>/dev/null)" == '["directory","images","ous"]' ]; then + # Common image. + if [ -z "$OUNAME" ]; then + # Check if the image is defined into JSON file. + n=$(jq ".images | length" $INFOFILE) + for ((i=0; i<n; i++)); do + [ "$(jq ".check=$JSON | .check.name==.images[$i].name" $INFOFILE)" == "true" ] && IMGIND=$i + done + # Check if it needs to update or insert data. + if [ -n "$IMGIND" ]; then + # Update if image data changes and info file exists. + [ -n "$3" -a "$(jq ".check=$JSON | .check==.images[$IMGIND]" $INFOFILE)" == "false" ] && jq ".images[$IMGIND]=$JSON" $INFOFILE | sponge $INFOFILE + else + # Append a new entry. + jq ".images |= (. + [$JSON])" $INFOFILE | sponge $INFOFILE + fi + else # OU image. + # Append a new OU entry if it does not exist. + if [ -z "$(jq -r ".ous[].subdir" $INFOFILE | grep "^$OUNAME$")" ]; then + JSON=$(cat << EOT | jq . +{ + "subdir": "$OUNAME", + "images": [ $JSON ] +} +EOT + ) + jq ".ous |= (. + [$JSON])" $INFOFILE | sponge $INFOFILE + else + # Check if the image is defined in some OU. + m=$(jq ".ous | length" $INFOFILE) + for ((j=0; j<m; j++)); do + n=$(jq ".ous[$j].images | length" $INFOFILE) + for ((i=0; i<n; i++)); do + [ "$(jq ".check=$JSON | .check.name==.ous[$j].images[$i].name" $INFOFILE)" == "true" ] && OUIND=$j && IMGIND=$i + done + done + # Check if it needs to update or insert data. + if [ -n "$IMGIND" ]; then + # Update if image data changes and info file exists. + [ $# -gt 2 -a "$(jq ".check=$JSON | .check==.ous[$OUIND].images[$IMGIND]" $INFOFILE)" == "false" ] && jq ".ous[$OUIND].images[$IMGIND]=$JSON" $INFOFILE | sponge $INFOFILE + else + # Append a new entry. + jq ".ous[$OUIND].images |= (. + [$JSON])" $INFOFILE | sponge $INFOFILE + fi + fi + fi + else + # Create new JSON file. + if [ -z "$OUNAME" ]; then + cat << EOT | jq . > $INFOFILE +{"directory":"$IMAGESDIR","images":[$JSON],"ous":[]} +EOT + else + cat << EOT | jq . > $INFOFILE +{"directory":"$IMAGESDIR","images":[],"ous":[{"subdir":"$OUNAME","images":[$JSON]}]} +EOT + fi + fi +} + +# Show an error message. +function raiseError() { + case "$1" in + usage) + echo "$PROG: Usage error: Type \"$PROG help\"" >&2 + exit 1 ;; + notfound) + echo "$PROG: Resource not found: $2" >&2 + exit 2 ;; + access) + echo "$PROG: Access error: $2" >&2 + exit 3 ;; + *) + echo "$PROG: Unknown error" >&2 + exit 1 ;; + esac +} + +# Command functions. + +# Show help message. +function help() { + cat << EOT +$PROG: maintain the repository information. +Usage: $PROG +EOT +} + +# Check for file-based images to update the repository configuration file. +function checkfiles() { + local IMAGES IMG INFO DATA + + # File-stored images. + IMAGES=$(find $IMAGESDIR -maxdepth 2 -type f \( -name "*.img" -o -name "*.dsk" \) -print) + for IMG in $IMAGES; do + # Skip locked images. + [ -e "$IMG.lock" ] && continue + # Retrieve image creation data and delete temporary file. + INFO="$IMG.info" + [ -e "$INFO" -a "$INFO" -ot "$IMG" ] && rm -f "$INFO" && echo "Warning: Deleted outdated file $INFO" + DATA="" + [ -r "$INFO" ] && DATA=$(cat "$INFO") + # Add data to configuration file (name, type and data) and remove image info file. + IMG=${IMG#$IMAGESDIR/} + addToJson "${IMG%.*}" "${IMG##*.}" "$DATA" && rm -f "$INFO" + done +} + +# Check for directory-based images to update the repository configuration file. +function checkdirs() { + local IMAGES IMG INFO DATA + + # Directory-based images. + IMAGES=$(find $IMAGESDIR -maxdepth 3 -type f -name ogimg.info -print) + for INFO in $IMAGES; do + IMG="$(dirname "${INFO#$IMAGESDIR/}")" + # Skip repository root directory and locked images. + [ "$IMG" == "$IMAGESDIR" -o -e "$IMG.lock" ] && continue + DATA=$(awk -F= '$1=="# fstype" {fs=$2} $1=="# sizedata" {sz=$2} END {printf "rsync::%s:%s:",fs,sz}' "$INFO") + # Add data to configuration file (name, type and data). + addToJson "$IMG" "dir" "$DATA" + done +} + +# Check if images are removed to update the repository configuration file. +function checkremoved() { + local IMG TYPE OU i j n m + [ ! -w "$INFOFILE" ] && raiseError access "$INFOFILE" + + # Check if global images are defined into JSON file. + n=$(jq ".images | length" $INFOFILE) + for ((i=0; i<n; i++)); do + # Image name and type. + IMG="$(jq -r ".images[$i].name" $INFOFILE)" + TYPE="$(jq -r ".images[$i].type" $INFOFILE)" + [ "$TYPE" != "dir" ] && IMG="$IMG.$TYPE" + # Delete entry if image does not exist and it's not locked. + [ ! -e "$IMAGESDIR/$IMG" -a ! -e "$IMAGESDIR/$IMG.lock" ] && jq "del(.images[$i])" $INFOFILE | sponge $INFOFILE + done + # Check if OU images are defined into JSON file. + m=$(jq ".ous | length" $INFOFILE) + for ((j=0; j<m; j++)); do + # OU subdir. + OU="$(jq -r ".ous[$j].subdir" $INFOFILE)" + # Delete OU's entries if its subdir does not exist. + if [ ! -e "$IMAGESDIR/$OU" ]; then + jq "del(.ous[$j])" $INFOFILE | sponge $INFOFILE + else + n=$(jq ".images | length" $INFOFILE) + for ((i=0; i<n; i++)); do + # Image name and type. + IMG="$(jq -r ".ous[$j].images[$i].name" $INFOFILE)" + TYPE="$(jq -r ".ous[$j].images[$i].type" $INFOFILE)" + [ "$TYPE" != "dir" ] && IMG="$IMG.$TYPE" + # Delete entry if image does not exist and it's not locked. + [ ! -e "$IMAGESDIR/$OU/$IMG" -a ! -e "$IMAGESDIR/$OU/$IMG.lock" ] && jq "del(.ous[$j].images[$i])" $INFOFILE | sponge $INFOFILE + done + fi + done +} + + +# Main progrram. + +# Check dependencies. +[ ! -w "$(dirname "$INFOFILE")" ] && raiseError access "$INFOFILE" +JQ=$(which jq 2>/dev/null) || raiseError notfound "Need to install \"jq\"." +which sponge &>/dev/null || raiseError notfound "Need to install \"moreutils\"." + +checkfiles +checkdirs +checkremoved + diff --git a/repoman/bin/createfileimage b/repoman/bin/createfileimage new file mode 100755 index 00000000..4fcd7d9d --- /dev/null +++ b/repoman/bin/createfileimage @@ -0,0 +1,65 @@ +#!/bin/bash +#/** +# createtimage +#@brief Crea o redimensiona el archivo de la imagen. +#@param 1 imagen +#@param 2 extension [ img|diff ] +#@param 3 tamaño de la imagen en kb. +#@return +#@exception OG_ERR_FORMAT # 1 formato incorrecto. +#@exception OG_ERR_DONTSYNC_IMAGE #71 Imagen no sincronizable (es monolitica) +#@version 1.0 - Montar imagen sincronizable +#@author Irina Gomez +#@date 2013-05-23 +#*/ ## +BASEDIR=/opt/opengnsys +REPODIR="$BASEDIR/images" +REPOLOG=$BASEDIR/log/ogAdmRepo.log +# Cargamos los mensajes en el idioma del sistema. +# Comprobamos que el fichero de idioma existe. Si no "es_ES" por defecto. +ls $BASEDIR/client/etc/lang.$LANG.conf &>/dev/null +[ $? -eq 0 ] || LANG="es_ES" +source $BASEDIR/client/etc/lang.$LANG.conf + +PROG="$(basename $0)" +# Si se solicita, mostrar ayuda. +if [ "$*" == "help" ]; then + echo -e " $PROG: $MSG_HELP_ogCreateFileImage \n" \ + "$MSG_FORMAT: $PROG image [ img|diff ] size_kb \n" \ + "base -> $PROG Windows7 img 3900000 \n" \ + "diff -> $PROG Ubuntu12 diff 450000" + exit 0 +fi + +[ $# -lt 3 ] && echo -e "$PROG: Error: $MSG_ERR_FORMAT \n $MSG_FORMAT: $PROG image [ img | diff ] size_Kb " && exit 1 + +if [ "$USER" != "root" ]; then + echo "$PROG: Error: solo ejecutable por root" >&2 + exit 1 +fi + +IMGEXT="$2" + +# Si existe imagen, Comprobamos que no esta bloqueada y que es sincronizable +IMGFILE="$REPODIR/$1.$IMGEXT" +if [ -f $IMGFILE ]; then + [ -f $IMGFILE.lock ] && echo "$PROG: Error: $MSG_ERR_LOCKED $1 $IMGEXT" && exit 4 + + + if ! file $IMGFILE | grep -i -e " BTRFS Filesystem " -e " ext4 filesystem " >/dev/null ; then + echo "$PROG: Error: $MSG_ERR_DONTSYNC_IMAGE $1 $2" + exit 71 + fi +fi + +touch $IMGFILE.lock + +# El tamaño minimo de la imagen es 300000 para poder formatear en fs btrfs. +SIZEREQUIRED=$3 +[ $SIZEREQUIRED -lt 300000 ] && SIZEREQUIRED=300000 + +echo CREATE_IMAGE "$1" $IMGEXT $SIZEREQUIRED +echo -ne CREATE_IMAGE "$1" $IMGEXT $SIZEREQUIRED| /opt/opengnsys/sbin/ogAdmRepoAux || exit $? +echo "Los resultado se registran en $REPOLOG. " + +rm $IMGFILE.lock diff --git a/repoman/bin/deleteimage b/repoman/bin/deleteimage index 7741177f..2da477e4 100755 --- a/repoman/bin/deleteimage +++ b/repoman/bin/deleteimage @@ -1,10 +1,11 @@ #!/bin/bash -# deleteimage [ -b | -r ] str_image +# deleteimage [ -b | -r ] [ str_image | str_dir/str_image ] #@file deleteimage #@brief Borra del repositorio los ficheros de una imagen. #@param -b Elimina también la copia de seguridad de la imagen (opcional). #@param -r Recupera la copia de seguridad de la imagen (opcional). -#@param str_image Nombre canónico de la imagen, sin extensión. +#@param str_image Nombre canónico de la imagen, sin extensión. Permite directorio. +#@exception 1 Error de formato #@version 1.0 - Versión inicial. #@date 2012-10-14 #@author Ramón Gómez, ETSII Univ. Sevilla @@ -19,7 +20,6 @@ #@author Irina Gómez, ETSII Univ. Sevilla #*/ ## - PROG=$(basename $0) OPENGNSYS=${OPENGNSYS:-"/opt/opengnsys"} OGIMG=$OPENGNSYS/images @@ -31,10 +31,11 @@ DIFFEXT="diff" if [ "$*" == "help" ]; then cat << EOT $PROG: Borra los ficheros de una imagen del repositorio. -Formato: $PROG [ -b | -r ] str_image +Formato: $PROG [ -b | -r ] [ str_image | str_dir/str_image ] -b Elimina también la copia de seguridad de la imagen. -r Recupera la copia de seguridad de la imagen. Ejemplo: $PROG imagen1 + $PROG -r dir2/imagen2 EOT exit 0 fi @@ -49,17 +50,17 @@ while getopts br OPTION; do done [ -n "$DELETEBACKUP" ] && [ -n "$RECOVERBACKUP" ] && ERR=1 if [ $# != 1 -o -n "$ERR" ]; then - echo "$PROG Error: Formato: $PROG [ -b | -r ] str_image" + echo "$PROG Error: Formato: $PROG [ -b | -r ] [ str_image | str_dir/str_image ]" exit 1 fi -# Eliminar ficheros de imagen monolítica o sincronizada básica. +# Eliminar ficheros de imagen monolítica o sincronizada. for IMG in "$OGIMG/$1.$IMGEXT" "$OGIMG/$1.$IMGEXT.$DIFFEXT" "$OGIMG/$1"; do # Borro la imagen si existe if [ -r $IMG ] ; then IMGPATH=$IMG echo "Borrando imagen $IMGPATH" - rm -f $IMGPATH{,.sum,.full.sum,.torrent} + rm -f $IMGPATH{,.sum,.full.sum,.torrent} break fi # Compruebo si existe copia de seguridad @@ -67,7 +68,6 @@ for IMG in "$OGIMG/$1.$IMGEXT" "$OGIMG/$1.$IMGEXT.$DIFFEXT" "$OGIMG/$1"; do done [ "_${IMGPATH}_" == "__" ] && IMGPATH=$OLDPATH - # Recuperar copia de seguridad de la imagen. if [ -n "$RECOVERBACKUP" ]; then [ -e $IMGPATH.$BAKEXT ] && echo "Recuperando copia $IMGPATH.$BAKEXT" @@ -79,7 +79,6 @@ fi # Borrar copia de seguridad de la imagen. if [ -n "$DELETEBACKUP" ]; then - [ -e $IMGPATH ] && echo "Eliminando copia $IMGPATH.$BAKEXT" + [ -e $IMGPATH.$BAKEXT ] && echo "Eliminando copia $IMGPATH.$BAKEXT" rm -f $IMGPATH.$BAKEXT && rm -f $IMGPATH.{sum,full.sum,torrent}.$BAKEXT fi - diff --git a/repoman/bin/deletepreimage b/repoman/bin/deletepreimage index 39077483..19d6f2c7 100755 --- a/repoman/bin/deletepreimage +++ b/repoman/bin/deletepreimage @@ -1,9 +1,10 @@ #!/bin/bash -# Eliminar las imagenees del repositiro seg�raca de la consola web .img -#Version 0.3 Ejecuci�n desde cron cada minuto. +# Eliminar las imágenees del repositiro seg�raca de la consola web. +#Version 0.3 Ejecución desde cron cada minuto. #echo "* * * * * root /opt/opengnsys/bin/image-delete" > /etc/cron.d/imagedelete +# Version 1.1.0 - Llamar a script "checkrepo". -# Comprobar si el proceso ya est� en ejecuci�n.on. +# Comprobar si el proceso ya está en ejecución. PROG=$(basename $0) [ "$(pgrep "$PROG")" != "$$" ] && exit @@ -14,49 +15,40 @@ OGIMG="$OPENGNSYS/images" REPOCFG="$OPENGNSYS/etc/ogAdmRepo.cfg" LOGFILE="$OPENGNSYS/log/$PROG.log" -# Error si no est� bien configurado el repositorio de im�genes.nes. +# Error si no está bien configurado el repositorio de imágenes. [ -d $OGIMG -a -f $REPOCFG ] || exit 1 -# Procesar ficheros de im�genes.s. +# Procesar ficheros de imágenes. trap 'echo "`date` : Proceso interrumpido" >> $LOGFILE; exit ' 1 2 3 6 9 15 -#TODO en LOCAL: si existe algun fichero *.delete lo movemos al repositorio -ls /opt/opengnsys/www/tmp/*.delete &>/dev/null || exit -#[ -f /opt/opengnsys/www/tmp/*.delete ] && -mv /opt/opengnsys/www/tmp/*.* /opt/opengnsys/images/ +#TODO en LOCAL: si existe algún fichero *.delete lo movemos al repositorio +ls $OPENGNSYS/www/tmp/*.delete &>/dev/null || (checkrepo; exit) +mv $OPENGNSYS/www/tmp/*.* $OGIMG #TODO: iniciar blucle siempre y cuando haya algun delete ls /opt/opengnsys/images/*.delete &>/dev/null || exit +for IMG in `ls $OGIMG/*.delete`; do + # Obtenemos el nombre de la imagen + DELETEIMAGE=$(echo ${IMG%%.*} | awk -F"$OGIMG/" '{print $2}') -for IMG in `ls /opt/opengnsys/images/*.delete`; do - ## Obtenemos el nombre de la imagen - DELETEIMAGE=$(echo $IMG | awk -F"." '{print $1}' | awk -F"/opt/opengnsys/images/" '{print $2}') + # Borramos marca .delete para que el próximo cron no trabaje sobre este conjunto. + [ -f $IMG ] && rm $IMG - # Borramos marca .delete para que el proximo cron no trabaje sobre este conjunto. - [ -f $IMG ] && rm $IMG - - ## Comprobamos si es un Directorio .delete - DELETEdir=$(echo $IMG | awk -F"." '{print $2}') ## .delete + ## Comprobamos si es una imagen de backup DELETEant=$(echo $IMG | awk -F"." '{print $3}') ## .ant - DELETEdiff=$(echo $IMG | awk -F"." '{print $3}') ## .diff - ## Si NO es ninguno es un img - ## se llama al escript de borrado de imagen. - ## Si es un Directorio Borramos - if [[ $DELETEdir == "delete" ]]; then - /opt/opengnsys/bin/deleteimage $DELETEIMAGE - - # Si es un Imagen Backup Borramos - elif [[ $DELETEant == "ant" ]]; then - DELETEIMAGE=$DELETEIMAGE".ant" - /opt/opengnsys/bin/deleteimage $DELETEIMAGE - - # Si es un Imagen diff Borramos - elif [[ $DELETEdiff == "diff" ]]; then - /opt/opengnsys/bin/deleteimage $DELETEIMAGE - - # Si no es una de las anteriores lo que queda es img - else - /opt/opengnsys/bin/deleteimage $DELETEIMAGE + ## Si la imagen es un backup se añade la extensión ant + if [[ $DELETEant == "ant" ]]; then + DELETEIMAGE=$DELETEIMAGE".ant" fi -done
\ No newline at end of file + ## si directorio:imagen cambiamos : por / + DELETEIMAGE=$(echo $DELETEIMAGE|tr : /) + + ## se llama al escript de borrado de imagen. + deleteimage $DELETEIMAGE + +done + +# Actualizar información del repositorio. +checkrepo + diff --git a/repoman/bin/mountimage b/repoman/bin/mountimage new file mode 100755 index 00000000..fa059fd7 --- /dev/null +++ b/repoman/bin/mountimage @@ -0,0 +1,71 @@ +#!/bin/bash +#/** +# mountimage +#@brief Monta imagen sincronizable en el repositorio con permisos de escritura +#@param 1 imagen +#@param 2 extension [ img|diff ] opcional, por defecto img +#@return Directorio de montaje de la imagen. +#@exception OG_ERR_FORMAT # 1 formato incorrecto. +#@exception OG_ERR_NOTFOUND # 2 Fichero o dispositivo no encontrado +#@exception OG_ERR_DONTSYNC_IMAGE #71 Imagen no sincronizable (es monolitica) +#@exception OG_ERR_DONTMOUNT_IMAGE # 70 Error al montar una imagen sincronizada +#@version 1.0 - Montar imagen sincronizable +#@author Irina Gomez +#@date 2013-05-23 +#*/ ## +BASEDIR=/opt/opengnsys +REPODIR="$BASEDIR/images" +# Cargamos los mensajes en el idioma del sistema. +# Comprobamos que el fichero de idioma existe. Si no "es_ES" por defecto. +ls $BASEDIR/client/etc/lang.$LANG.conf &>/dev/null +[ $? -eq 0 ] || LANG="es_ES" +source $BASEDIR/client/etc/lang.$LANG.conf + + +PROG="$(basename $0)" +# Si se solicita, mostrar ayuda. +if [ "$*" == "help" ]; then + echo -e " $PROG: $MSG_HELP_ogMountImage \n" \ + "$MSG_FORMAT: $PROG nombre_image [ img|diff ] \n" \ + "base -> $PROG Windows7 \n" \ + "diff -> $PROG Ubuntu12 diff" + exit 0 +fi + +[ $# -lt 1 ] && echo -e "$PROG: Error: $MSG_ERR_FORMAT \n $MSG_FORMAT: $PROG image [ img | diff ]" && exit 1 + +if [ "$USER" != "root" ]; then + echo "$PROG: Error: solo ejecutable por root" >&2 + exit 1 +fi + +[ "$2" == "" -o "$2" == "img" ] && IMGEXT="img" || IMGEXT="img.diff" + +# Comprobamos que existe imagen +IMGFILE="$REPODIR/$1.$IMGEXT" +[ ! -f $IMGFILE ] && echo "$PROG: Error: $MSG_ERR_NOTFOUND $1 $IMGEXT" && exit 2 + + +# Comprobar que la imagen es sincronizable +file $IMGFILE | grep -i -e " BTRFS Filesystem " >/dev/null && IMGFS=BTRFS +file $IMGFILE | grep -i -e " ext4 filesystem " >/dev/null && IMGFS=EXT4 +if [ "$IMGFS" != "BTRFS" -a "$IMGFS" != "EXT4" ] ; then + echo "$PROG: Error: $MSG_ERR_DONTSYNC_IMAGE $1 $2" + exit 71 +fi + +MOUNTDIR="$REPODIR/mount/$1" +[ "$IMGEXT" == "img.diff" ] && MOUNTDIR="$MOUNTDIR.${IMGEXT#*\.}" +mkdir -p "$MOUNTDIR" + +# Comprobamos si la imagen esta montada y si es así nos salimos. +df |grep "$MOUNTDIR$" 2>&1 >/dev/null && echo "$MOUNTDIR" && exit 0 + +if [ "$IMGFS" == "EXT4" ] ; then + mount -t ext4 "$IMGFILE" "$MOUNTDIR" +else + mount -o compress=lzo "$IMGFILE" "$MOUNTDIR" +fi +[ $? -eq 0 ] || ( echo "$MSG_ERR_DONTMOUNT_IMAGE $1 $2" ; exit 70) +echo "$MOUNTDIR" + diff --git a/repoman/bin/opengnsys.cron b/repoman/bin/opengnsys.cron index be5a0508..78f01db5 100755 --- a/repoman/bin/opengnsys.cron +++ b/repoman/bin/opengnsys.cron @@ -1,5 +1,5 @@ #!/bin/bash -# opengnsys.cron - Script para comprobar si los servicios de OpenGnSys están levantados +# opengnsys.cron - Script para comprobar si los servicios de OpenGnsys están levantados # e iniciarlos automáticamente. # Nota: este script debe ser lanzado por Cron cada minuto. @@ -16,7 +16,7 @@ typeset -i OGCPU # % uso CPU # Salir si no se debe ejecutar la revisión en el cron. [ "$RUN_CRONJOB" == "no" ] && exit -# Comprobar si está activo el servidor OpenGnSys. +# Comprobar si está activo el servidor OpenGnsys. if [ "$RUN_OGADMSERVER" == "yes" ]; then # Parar procesos ogAdmServer si consume más de 90% de CPU. OGPID=$(pgrep ogAdmServer) diff --git a/repoman/bin/partclone2sync b/repoman/bin/partclone2sync new file mode 100755 index 00000000..0b66fa55 --- /dev/null +++ b/repoman/bin/partclone2sync @@ -0,0 +1,178 @@ +#!/bin/bash +#/** +# partclone2sync +#@brief Convierte imagen de partclone en imagen sincronizable. +#@param 1 imagen partclone. +#@param 2 imagen sincronizable. +#@param 3 tipo de sincronización y formato de la imagen SYNC1 (directorio) y SYNC2 (fichero) +#@exception OG_ERR_FORMAT # 1 formato incorrecto. +#@exception OG_ERR_NOTFOUND # 2 Fichero o dispositivo no encontrado +#@exception OG_ERR_LOCKED # 4 Imagen de partclone bloqueada. +#@exception OG_ERR_IMAGE # 5 Error al crear la imagen. +#@exception OG_CACHESIZE # 16 No hay espacio suficiente en el disco. +#@note Necesita tener instalado partclone-utils y lzop +#@version 1.0 - +#@author Irina Gomez +#@date 2014-01-22 +#*/ ## +trap "onexit \"$1\" \"$2\" $3" 0 5 16 9 15 + +function onexit() { + local exit_status=$? + # Desmontamos el cliente de opengnsys y la imagen temporal. + umount $OGCLIENTDIR/ogclientmount $AUXDIR + rm -rf $IMGINFO $FILEHEAD $TMPLOG + + # Borramos los ficheros de bloqueo de las imagenes nuevas. + rm -rf $RSYNCIMG.img.lock $AUXIMG.lock + # Borramos los ficheros de bloqueo dela imagen de partclone si no estaba bloqueada. + [ $exit_status -eq 4 ] || rm -rf $PARTCLONEIMG.lock + + # Borramos las imagenes y directorios temporales. + rm $AUXIMG + rmdir $AUXDIR $OGCLIENTDIR/ogclientmount + + exit $exit_status +} + +TIME1=$SECONDS + +BASEDIR=/opt/opengnsys +REPODIR="$BASEDIR/images" +BINDIR="$BASEDIR/bin" +PROG="$(basename $0)" +# Cargamos los mensajes en el idioma del sistema. +# Comprobamos que el fichero de idioma existe. Si no "es_ES" por defecto. +ls $BASEDIR/client/etc/lang.$LANG.conf &>/dev/null +[ $? -eq 0 ] || LANG="es_ES" + +source $BASEDIR/client/etc/lang.$LANG.conf + +# Sistema de fichero de la imagen según kernel, menor que 3.7 EXT4. comparamos revision +[ $(uname -r|cut -d. -f2) -lt 7 ] && IMGFS="EXT4" || IMGFS="BTRFS" + +# Mostrar ayuda: Si se solicita, si faltan parametros o $3 no es SYNC1 o SYNC2. +if [ "$*" == "help" -o $# -lt 3 ] && ! [[ "$3" == SYNC[1,2] ]]; then + echo -e "$PROG: $MSG_HELP_partclone2sync \n" \ + "$MSG_FORMAT: $PROG image_partclone image_rsync [ SYNC1 | SYNC2 ] \n" \ + " $PROG Windows7 Windows72013 SYNC1 " + exit 0 +fi + +if [ "$USER" != "root" ]; then + echo "$PROG: Error: solo ejecutable por root" >&2 + exit 1 +fi + + +PARTCLONEIMG="$REPODIR/$1.img" +RSYNCIMG="$REPODIR/$2" +AUXIMG="$REPODIR/$1.tmp.img" +AUXDIR="/tmp/partclone2rsync$$" +TYPE="$3" +TMPLOG=/tmp/rsync$$.sal + +# Comprobamos que exista la imagen. +! [ -f $PARTCLONEIMG ] && echo "$MSG_ERR_NOTFOUND: $1" && exit 2 + +# Comprobamos que la imagen no este bloqueada. +[ -f $PARTCLONEIMG.lock ] && echo "$MSG_ERR_LOCKED: $1" && exit 4 + +# Usamos el partclone del ogclient. +OGCLIENTDIR=$BASEDIR/tftpboot/ogclient +[ -d $OGCLIENTDIR/ogclientmount ] || mkdir $OGCLIENTDIR/ogclientmount +mount $OGCLIENTDIR/ogclient.sqfs $OGCLIENTDIR/ogclientmount +PATHPARTCLONE=$OGCLIENTDIR/ogclientmount/usr/sbin + +# Creamos fichero de bloqueo +touch $PARTCLONEIMG.lock $AUXIMG.lock + + +# Datos imagen. +echo [10] Obtenemos datos del partclone. +FILEHEAD=/tmp/$(basename $PARTCLONEIMG).infohead +COMPRESSOR=`file $PARTCLONEIMG | awk '{print $2}'` +$COMPRESSOR -dc $PARTCLONEIMG 2>/dev/null | head > $FILEHEAD +PARTCLONEINFO=$(LC_ALL=C partclone.info $FILEHEAD 2>&1) +if `echo $PARTCLONEINFO | grep size > /dev/null` +then + FS=$(echo $PARTCLONEINFO | awk '{gsub(/\: /,"\n"); print toupper($8);}') + echo $PARTCLONEINFO | grep GB > /dev/null && SIZEFACTOR=1000000 || SIZEFACTOR=1024 + IMGSIZE=$(echo $PARTCLONEINFO | awk -v FACTOR=$SIZEFACTOR '{gsub(/\: /,"\n"); printf "%d\n", $11*FACTOR;}') +else + echo "Error: partclone.info no detecta la imagen" + exit 5 +fi +[ "$FS" == "NTFS" ] && echo "Error: Todavia no podemos convertir imagenes de Windows" && exit 6 + +# Calculamos el espacio disponible en la particion de opengnsys. +echo -n "[20]$MSG_SCRIPTS_CREATE_SIZE " +for DIR in "/" "/opt" "/opt/opengnsys" "/opt/opengnsys/images" +do + AUXSIZE=$(df|grep $DIR$|awk '{print $3}') + [ "$AUXSIZE" != "" ] && PARTSIZE=$AUXSIZE +done +let REQUIRESIZE=2*$IMGSIZE +if [ $PARTSIZE -lt $REQUIRESIZE ]; then + echo "No hay espacio suficiente para descomprimir y crear la imagen: $REQUIRESIZE." + exit 16 +fi +echo "$REQUIRESIZE $PARTSIZE" + +# Descomprimimos la imagen de partclone. +echo [30] Descomprimimos la imagen de partclone. +$COMPRESSOR -dc $PARTCLONEIMG | $PATHPARTCLONE/partclone.restore -C -s - -O $AUXIMG + +TIME2=$[SECONDS-TIME1] +echo " $MSG_SCRIPTS_TASK_END: $MSG_SCRIPTS_TIME_PARTIAL: $[TIME2/60]m $[TIME2%60]s" + +# Montamos la imagen: +mkdir -p $AUXDIR +mount $AUXIMG $AUXDIR + +# Sincronizamos de la imagen del partclone a la del rsync. +echo "[60] Sincronizamos desde la imagen de partclone a la de rsync." +if [ "$TYPE" == "SYNC1" ]; then + mkdir -p $RSYNCIMG + echo " * Log temporal en: $TMPLOG" + echo rsync -aHAX $AUXDIR/ $RSYNCIMG --- log: $TMPLOG + rsync -aHAXv $AUXDIR/ $RSYNCIMG >> $TMPLOG +TIME3=$[SECONDS-TIME2] +echo " $MSG_SCRIPTS_TASK_END: $MSG_SCRIPTS_TIME_PARTIAL: $[TIME3/60]m $[TIME3%60]s" +else + IMGINFO="/tmp/ogimg.info$$" + IMGDIR="$REPODIR/mount/$(basename $RSYNCIMG)" + # Calculamos el tamaño de la imagen + SIZE=$(df -k|awk -v P="$AUXDIR" '{if ($6==P) print $3}') + # Creo fichero de informacion de la imagen + echo "#$FSIMG:LZO:$FS:$SIZE" > $IMGINFO + # Factor de compresion de la imagen + [ "$FS" == "NTFS" ] && ZFACTOR=120 || ZFACTOR=110 + [ "$FSIMG" == "BTRFS" ] && let ZFACTOR=$ZFACTOR-30 + let SIZE=$SIZE*$ZFACTOR/100 + + # Creamos el fichero de la imagen vacio (queda montado) + echo " * $MSG_HELP_ogCreateFileImage" + $BINDIR/createfileimage $(basename $RSYNCIMG) img $SIZE || exit 5 + touch $RSYNCIMG.img.lock + TIME3=$[SECONDS-TIME2] + echo " $MSG_SCRIPTS_TASK_END: $MSG_SCRIPTS_TIME_PARTIAL: $[TIME3/60]m $[TIME3%60]s" + + # Sincronizo las imagenes antigua y nueva. + echo " * Sincroniza las imagenes antigua y nueva. log temporal en: $TMPLOG" + echo rsync -aHAX $AUXDIR/ $IMGDIR + rsync -aHAXv $AUXDIR/ $IMGDIR >> $TMPLOG + TIME4=$[SECONDS-TIME3] + echo " $MSG_SCRIPTS_TASK_END: $MSG_SCRIPTS_TIME_PARTIAL: $[TIME4/60]m $[TIME4%60]s" + # copiamos el fichero de informacion dentro de la imagen. + mv $IMGINFO $IMGDIR/ogimg.info + # Desmontamos la imagen y la reducimos al minimo. + $BINDIR/unmountimage $(basename $RSYNCIMG) img + echo " * $MSG_HELP_ogReduceImage." + rm $RSYNCIMG.img.lock + $BINDIR/reduceimage $(basename $RSYNCIMG) img + +fi + +TIME=$[SECONDS-TIME1] +echo " $MSG_SCRIPTS_END: $MSG_SCRIPTS_TIME_TOTAL: $[TIME/60]m $[TIME%60]s" diff --git a/repoman/bin/reduceimage b/repoman/bin/reduceimage new file mode 100755 index 00000000..c83f2d50 --- /dev/null +++ b/repoman/bin/reduceimage @@ -0,0 +1,58 @@ +#!/bin/bash +#/** +# reduceimage +#@brief Reduce el archivo de la imagen a tamaño datos + 500M +#@param 1 imagen +#@param 2 extension [ img|diff ] opcional, por defecto img +#@return +#@exception OG_ERR_FORMAT # 1 formato incorrecto. +#@exception OG_ERR_NOTFOUND # 2 Fichero o dispositivo no encontrado +#@exception OG_ERR_LOCKED # 4 Partición o fichero bloqueado +#@exception OG_ERR_DONTSYNC_IMAGE #71 Imagen no sincronizable (es monolitica) +#@version 1.0 - Reducir tamaño imagen sincronizable +#@author Irina Gomez +#@date 2013-05-23 +#*/ ## +BASEDIR=/opt/opengnsys +REPODIR="$BASEDIR/images" +REPOLOG=$BASEDIR/log/ogAdmRepo.log +# Cargamos los mensajes en el idioma del sistema. +# Comprobamos que el fichero de idioma existe. Si no "es_ES" por defecto. +ls $BASEDIR/client/etc/lang.$LANG.conf &>/dev/null +[ $? -eq 0 ] || LANG="es_ES" +source $BASEDIR/client/etc/lang.$LANG.conf + +PROG="$(basename $0)" +# Si se solicita, mostrar ayuda. +if [ "$*" == "help" ]; then + echo -e " $PROG: $MSG_HELP_ogReduceImage \n" \ + "$MSG_FORMAT: $PROG nombre_image [ img|diff ] \n" \ + "base -> $PROG Windows7 \n" \ + "diff -> $PROG Ubuntu12 diff" + exit 0 +fi + +[ $# -lt 1 ] && echo -e "$PROG: Error: $MSG_ERR_FORMAT \n $MSG_FORMAT: $PROG image [ img | diff ]" && exit 1 + +if [ "$USER" != "root" ]; then + echo "$PROG: Error: solo ejecutable por root" >&2 + exit 1 +fi + +[ "$2" == "" -o "$2" == "img" ] && IMGEXT="img" || IMGEXT="img.diff" +# Comprobamos que existe imagen y que no este bloqueada +IMGFILE="$REPODIR/$1.$IMGEXT" +[ ! -f $IMGFILE ] && echo "$PROG: Error: $MSG_ERR_NOTFOUND $1 $IMGEXT" && exit 2 +[ -f $IMGFILE.lock ] && echo "$PROG: Error: $MSG_ERR_LOCKED $1 $IMGEXT" && exit 4 + +# Comprobar que la imagen es sincronizable +if ! file $IMGFILE | grep -i -e " BTRFS Filesystem " -e " ext4 filesystem " >/dev/null ; then + echo "$PROG: Error: $MSG_ERR_DONTSYNC_IMAGE $1 $2" + exit 71 +fi + +touch $IMGFILE.lock +echo -ne REDUCE_IMAGE "$1" ${IMGEXT#*\.} | /opt/opengnsys/sbin/ogAdmRepoAux +echo "Los resultado se registran en $REPOLOG. " + +rm $IMGFILE.lock diff --git a/repoman/bin/torrent-creator b/repoman/bin/torrent-creator index 1ede98c5..958683ed 100755 --- a/repoman/bin/torrent-creator +++ b/repoman/bin/torrent-creator @@ -25,7 +25,7 @@ pushd $OGIMG >/dev/null # Procesar ficheros de imágenes. trap 'echo "`date` : Proceso interrumpido" >> $LOGFILE; exit ' 1 2 3 6 9 15 -for IMG in *.{img,pgz,diff}; do +for IMG in *.{img,pgz,diff,dsk} */*.{img,pgz,diff,dsk} ; do # Saltar al siguiente si la imagen está bloqueada o si no existe el fichero. LOCKFILE="$IMG.lock" if [ -f "$LOCKFILE" -o ! -f "$IMG" ]; then @@ -62,6 +62,6 @@ for IMG in *.{img,pgz,diff}; do # Modificación realizada en la corrección temporal de la incidencia #535 break done - + popd >/dev/null diff --git a/repoman/bin/unmountimage b/repoman/bin/unmountimage new file mode 100755 index 00000000..031ae9ee --- /dev/null +++ b/repoman/bin/unmountimage @@ -0,0 +1,52 @@ +#!/bin/bash +#/** +# unmountimage +#@brief Desmonta imagen sincronizable +#@param 1 imagen +#@param 2 extension [ img|diff ] opcional, por defecto img +#@return +#@exception OG_ERR_FORMAT # 1 formato incorrecto. +#@version 1.0 - Desmontar imagen sincronizable +#@author Irina Gomez +#@date 2013-05-23 +#*/ ## +BASEDIR=/opt/opengnsys +REPODIR="$BASEDIR/images" +REPOLOG=$BASEDIR/log/ogAdmRepo.log +# Cargamos los mensajes en el idioma del sistema. +# Comprobamos que el fichero de idioma existe. Si no "es_ES" por defecto. +ls $BASEDIR/client/etc/lang.$LANG.conf &>/dev/null +[ $? -eq 0 ] || LANG="es_ES" + +source $BASEDIR/client/etc/lang.$LANG.conf + +PROG="$(basename $0)" +# Si se solicita, mostrar ayuda. +if [ "$*" == "help" ]; then + echo -e " $PROG: $MSG_HELP_ogUnmountImage \n" \ + "$MSG_FORMAT: $PROG nombre_image [ img|diff ] \n" \ + "base -> $PROG Windows7 \n" \ + "diff -> $PROG Ubuntu12 diff" + exit 0 +fi + +[ $# -lt 1 ] && echo -e "$PROG: Error: $MSG_ERR_FORMAT \n $MSG_FORMAT: $PROG image [ img | diff ]" && exit 1 + +if [ "$USER" != "root" ]; then + echo "$PROG: Error: solo ejecutable por root" >&2 + exit 1 +fi + +# Comprobamos que imagen la imagen esta montada +MOUNTDIR="$REPODIR/mount/$1" +if [ "$2" == "diff" ]; then + IMGEXT="diff" + MOUNTDIR="$MOUNTDIR.diff" +else + IMGEXT="img" +fi +# Si la imaen no está montada me salgo +df |grep "$MOUNTDIR$" 2>&1 >/dev/null || exit 0 + +echo -ne UMOUNT_IMAGE "$1" $IMGEXT | /opt/opengnsys/sbin/ogAdmRepoAux +echo "Los resultado se registran en $REPOLOG. " |