#!/bin/bash #/** # updateCache #@brief Actualiza la cache del cliente con imagen o fichero iso. #@param 1 REPO Origen del fichero. -accesible por nfs-samba- #@param 2 str_fichero nombre del fichero a actualizar. #@param 3 str_protoco. TORRENT | MULTICAST | UNICAST. #@param 4 str_opcionesprotocolo #@param 4 str_opcionesupdatecache #@ejemplo: oneRemoteFromMaster 172.17.36.11 CACHE /imagen1 9000:full-duplex:239.194.17.36:70M:50:100 1 1 partclone lzop #@return #@exception OG_ERR_FORMAT formato incorrecto. #@exception OG_ERR_NOTCACHE No existe cache -15- #@exception $OG_ERR_CACHESIZE Tamaño de la paticion menor al archivo a descargar -16- #@exception $OG_ERR_MCASTRECEIVERFILE Error en la recepción Multicast de un fichero -57- #@exception $OG_ERR_PROTOCOLJOINMASTER Error en la conexión de una sesión Unicast|Multicast con el Master -60- #@note #@todo: #@version 0.9.1 - integracion EAC #@author Antonio J. Doblas Viso. Universidad de Malaga. #@date 2008/03/17 #@version 0.9.2 - integracion OpenGnsys #@author Antonio J. Doblas Viso. Universidad de Malaga. #@date 2010/07/27 #@version 1.0.1 - Control de espacio requerido #@author Antonio J.Doblas Viso #@date 2011-05-10 #@version 2.0.1 - Imagenes sincronizadas #@date 2013-02-20 #@version 1.0.5 - uso de md5 full para las transferencias torrent, en la llamada => ogUpdateCacheIsNecesary #@date 2014-07-09 #@version 1.1 - Cambio de repositorio para el recurso remoto images si es necesario #@author Irina Gomez, ETSII Universidad de Sevilla #@date 2015-06-16 #@version 1.1 - Control de errores en transferencia multicast (ticket #781) #@author Irina Gomez, ETSII Universidad de Sevilla #@date 2017/04/20 #*/ ## PROG="$(basename $0)" if [ $# -lt 3 ]; then ogRaiseError session $OG_ERR_FORMAT "$MSG_FORMAT: $PROG str_REPO _str_Relative_Path_OGIMG_with_/ PROTOCOLO OPCIONES_PROTOCOLO OPCIONES_UPDATECACHE" exit $? fi #Carga del configurador del engine [ -z $OGENGINECONFIGURATE ] && source /opt/opengnsys/etc/engine.cfg # Clear temporary file used as log track by httpdlog # Limpia los ficheros temporales usados como log de seguimiento para httpdlog echo " " > $OGLOGCOMMAND if ! [ "$(ogGetCaller)" == "deployImage" -o "$(ogGetCaller)" == "restoreBaseImage" -o "$(ogGetCaller)" == "restoreDiffImage" ]; then echo -n "" > $OGLOGSESSION; # Registro de inicio de ejecución ogEcho log session "[1] $MSG_SCRIPTS_START $0 $*" fi REPOSITORIO="${1^^}" PROTOCOLO="${3^^}" OPTPROTOCOLO="$4" # Si MCASTWAIT menos que tiempo de espera del servidor lo aumento if [ "${PROTOCOLO%-*}" == "MULTICAST" ] && [[ ${OPTPROTOCOLO##*:} =~ ^-?[0-9]+$ ]]; then [ ${MCASTWAIT:0} -lt ${OPTPROTOCOLO##*:} ] && let MCASTWAIT=${OPTPROTOCOLO##*:}+5 fi # Unidad organizativa. [ "$ogunit" != "" ] && OGUNIT="$ogunit/" # Si es una ip y es distinta a la del recurso samba cambiamos de REPO. ogCheckIpAddress $REPOSITORIO if [ $? == 0 -o $REPOSITORIO == "REPO" ] ; then # Si falla el cambio -> salimos con error repositorio no valido ogChangeRepo $REPOSITORIO $OGUNIT || exit $(ogRaiseError $OG_ERR_NOTFOUND $REPOSITORIO; echo $?) REPOSITORIO="REPO" fi REPOIP=$(ogGetRepoIp) ogEcho log session $REPOSITORIO $REPOIP $PROTOCOLO $OPTPROTOCOLO # Si el repositorio local CACHE no existe error 15. if ! $(ogFindCache >/dev/null); then ogRaiseError session $OG_ERR_NOTCACHE "CACHE" exit $? fi # comprobar si la imagen existe (.img, .img.diff o directorio) REPOFILE=$(ogGetPath "REPO" "/$2") [ -n "$REPOFILE" ] || exit $(ogRaiseError session $OG_ERR_NOTFOUND "REPO /$2"; echo $?) ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_DOUPDATE" # Distingo si es monolitica o sincronizable file "$REPOFILE" | grep -i -e " BTRFS Filesystem " -e " ext4 filesystem " -e " directory" 2>&1 > /dev/null if [ $? == 0 ]; then IMGSYNC=TRUE # Para imagen sincronizada, si hay imagen en cache siempre protocolo = rsync. CACHEFILE="$(ogGetPath "CACHE" "/$2")" [ -n "$CACHEFILE" ] && PROTOCOLO="RSYNC" # Si es sincronizada tipo directorio siempre protocolo = rsync. [ -d $REPOFILE ] && PROTOCOLO="RSYNC" && IMGTYPE="dir" # Si es imagen sincronizada siempre da distinto md5. No podemos comprobar -> actualizamos. RETVAL=0 else # Si la imagen es monolitica y ha elegido protocolo = RSYNC salimos con error. [ $PROTOCOLO == "RSYNC" ] && exit $(ogRaiseError session $OG_ERR_DONTSYNC_IMAGE "REPO $2"; echo $?) IMGSYNC=FALSE ogUpdateCacheIsNecesary "$REPOSITORIO" "$2" "$PROTOCOLO" RETVAL=$? fi # si RETVAL=0 => actualizamos si RETVAL=1 no actaulizasmo-exit 0 || si RETVAL>2 exit 1 [ "$RETVAL" == "1" ] && exit 0 [ "$RETVAL" -gt "1" ] && exit $OG_ERR_UPDATECACHE ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_CHECKSIZECACHE" CACHESIZE=$(ogGetCacheSize) CACHESIZEFREE=$(ogGetFreeSize `ogFindCache`) FILESIZE=$(ls -sk $(ogGetPath $REPOSITORIO "$2") | cut -f1 -d" ") if [ "$IMGTYPE" == "dir" ]; then ogEcho log session " * $MSG_SCRIPTS_UPDATECACHE_CHECKSIZEDIR" ogEcho log session " du -sk $REPOFILE" REALFILESIZE=$(du -sk "$REPOFILE"|awk '{print $1}') else REALFILESIZE=$(ls -l --block-size=1024 $REPOFILE | cut -f5 -d" ") fi # La sincronizada, si existe la imagen en cache el espacio necesario # es la nueva menos lo que ocupa la que ya hay. if [ "$PROTOCOLO" == "RSYNC" ]; then if [ "$CACHEFILE" == "" ]; then CACHEFILESIZE=0 else if [ "$IMGTYPE" == "dir" ]; then ogEcho log session " * $MSG_SCRIPTS_UPDATECACHE_CHECKSIZEDIR $CACHEFILESIZE" ogEcho log session " du -sk $CACHEFILE" CACHEFILESIZE=$(du -sk $CACHEFILE |awk '{print $1}') else CACHEFILESIZE=$(ls -l --block-size=1024 "$CACHEFILE" | cut -f5 -d" ") fi fi let SIZEREQUIRED=$REALFILESIZE-$CACHEFILESIZE [ $SIZEREQUIRED -lt 0 ] && SIZEREQUIRED=0 else SIZEREQUIRED=$FILESIZE fi #ERROR CACHESIZE 16 (tamanyo de la CACHE insuficiente) if [ "$SIZEREQUIRED" -ge "$CACHESIZE" ] then ogEcho log session "$MSG_WARNING: $MSG_ERR_CACHESIZE: $2 = $SIZEREQUIRED > CACHE = $CACHESIZE" ogRaiseError session $OG_ERR_CACHESIZE "CACHE" exit $? fi #ERROR CACHESIZE 16 (Espacio libre en CACHE insuficiente) if [ "$SIZEREQUIRED" -ge "$CACHESIZEFREE" ] then ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_IFNOTCACHEDO: ACTIONCACHEFULL=$ACTIONCACHEFULL" case "$ACTIONCACHEFULL" in NONE) ogEcho log session "$MSG_WARNING: $MSG_ERR_CACHESIZE: $2 = $SIZEREQUIRED > FREE SPACE CACHE = $CACHESIZEFREE" ogRaiseError session $OG_ERR_CACHESIZE "CACHE FULL, NO SPACE FREE" exit $? ;; FORMAT) ogEcho log session "[51] $MSG_HELP_ogFormatCache " ogUnmountCache ogFormatCache ogMountCache NEXTOPERATION=REPEAT ;; DELETE) ogEcho log session "[51] #MSG_HELP_ogDeleteTree $OGCAC$OGIMG/* " rm -fr $OGCAC$OGIMG/* NEXOPERATION=REPEAT ;; *) ogEcho log session "$MSG_WARNING: $MSG_ERR_CACHESIZE: $2 = $FILESIZE > CACHE = $CACHESIZEFREE" ogRaiseError session $OG_ERR_CACHESIZE "CACHE" exit $? ;; esac fi # Comprobamos que imagen cache igual a la del repo. Si sincronizada no podemos comprobar. [ "$IMGSYNC" == "TRUE" ] || ogUpdateCacheIsNecesary $REPOSITORIO "$2" "$PROTOCOLO" RETVAL=$? # si RETVAL=0 => actualizamos si RETVAL=1 no actaulizasmo-exit 0 || si RETVAL>2 exit 1 [ "$RETVAL" == "1" ] && exit 0 [ "$RETVAL" -gt "1" ] && exit $OG_ERR_UPDATECACHE ogMountCache >/dev/null ## Si no existe, crear subdirectorio para el fichero en la cache. IMGDIR=$(ogGetParentPath CACHE "/$2") if [ $? != 0 ]; then ogEcho log session "[5] $MSG_HELP_ogMakeDir \"$2 $(dirname "$2")." ogMakeDir CACHE $(dirname "/$2") IMGDIR=$(ogGetParentPath CACHE "/$2") || exit $? fi TIME1=$SECONDS case "$PROTOCOLO" in TORRENT) ogEcho log session "ogCopyFile $REPOSITORIO $2.torrent absolute $OGCAC/$OGIMG" # tiempos timewait=$(expr $(printf '%d\n' 0x$(ogGetMacAddress | awk -F: '{print $5$6}')) \* 120 / 65535) ogExecAndLog command ogCopyFile $REPOSITORIO "$2.torrent" "$IMGDIR" #TODO: comprobar que el tracker definido en el fichero es correcto. #TODO comprobar que el fichero torrent está en cache # retardamos el inicio -aleatorio de 0 a 120 segundos- al tracker para gestionar mas de +-40 equipos P2PWAIT=$[ ( $RANDOM % 120 ) + 1 ] ogEcho log session " [ ] $MSG_SCRIPTS_TASK_SLEEP : $P2PWAIT seconds" sleep $P2PWAIT ogEcho log session " [ ] $MSG_SCRIPTS_TASK_START: ogTorrentStart CACHE $2.torrent $4" ogExecAndLog command ogTorrentStart CACHE "$2.torrent" $4 RESUMEUPDATECACHE=$(grep -m 1 -B1 "Download" $OGLOGCOMMAND) RESUMEUPDATECACHEbf=$(grep -m 1 "Download" $OGLOGCOMMAND) if [ "$RESUMEUPDATECACHEbf" == "Download complete." ]; then rm -f $IMGDIR$2".torrent.bf" fi ;; MULTICAST) ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_CHECKMCASTSESSION : $REPOIP:$PORTAUX:$PORT" #TODO: ticket 379 NUMBER=$[ ( $RANDOM % 30 ) + 1 ] sleep $NUMBER #FIN TODO ogEcho log session ogMcastRequest "$2" $OPTPROTOCOLO ogExecAndLog command ogMcastRequest "$2" $OPTPROTOCOLO || exit $? ogEcho log session ogMcastReceiverFile ${OPTPROTOCOLO%%:*} CACHE "$2" ogExecAndLog command ogMcastReceiverFile ${OPTPROTOCOLO%%:*} CACHE "$2" || exit $? RESUMEUPDATECACHE=$(grep -m 1 -B1 "Transfer complete" $OGLOGCOMMAND.tmp) ;; UNICAST) #ogEcho log session "unicast" ogExecAndLog command ogCopyFile $REPOSITORIO "$2" "$IMGDIR" sleep 5 RESUMEUPDATECACHE=$(grep -m 1 "100%" $OGLOGCOMMAND.tmp) ;; RSYNC) # Si parametro de protocolo no era rsync, mensaje de cambio protocolo [ "${3^^}" == "RSYNC" ] || ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_RSYNCPROTOCOLCHANGE" # Opciones de rsync USERRSYNC="opengnsys" PASSWORD=" --password-file=/scripts/passrsync " OPTRSYNC=" --delete --progress " [ "$ogrsyncz" == "true" ] && OPTRSYNC="z $OPTRSYNC" [ "$ogrsyncw" == "true" ] && OPTRSYNC="w$OPTRSYNC" if [ -d $REPOFILE ]; then # Si es sincronizada tipo directorio. [ -d "$OGCAC$OGIMG/$2" ] || mkdir "$OGCAC$OGIMG/$2" ogEcho log session "rsync -aHAX$OPTRSYNC $USERRSYNC@$REPOIP::ogimages/$OGUNIT$2/ $OGCAC$OGIMG/$2" rsync -aHAX$OPTRSYNC $PASSWORD "$USERRSYNC@$REPOIP::ogimages/$OGUNIT$2/" "$OGCAC$OGIMG/$2" 2>> $OGLOGCOMMAND | egrep "^sent|^sending|^total%" >> $OGLOGCOMMAND else # Si es sincronizada tipo archivo. [ "${2##*.}" == "img" ] && IMGTYPE="img" || IMGTYPE="diff" IMGNAME="${2%.img*}" DIRMOUNT=$(ogGetMountImageDir "$IMGNAME" $IMGTYPE) DIRLOCAL="/tmp/$DIRMOUNT" mkdir "$DIRLOCAL" 2>/dev/null ogEcho log session "$MSG_SCRIPTS_UPDATECACHE_CHECKSIZEIMG" # Si la imagen no existe la creo # Si la imagen del repositorio es mayor, redimensiono la imagen de cache if [ "$CACHEFILE" == "" -o $CACHEFILESIZE -lt $REALFILESIZE ]; then ogEcho log session "$MSG_HELP_ogCreateFileImage" ogCreateFileImage CACHE "$IMGNAME" $IMGTYPE $REALFILESIZE TIMEAUX3=$[SECONDS-TIMEAUX3] ogEcho log session " $MSG_SCRIPTS_TASK_END, $MSG_SCRIPTS_TIME_PARTIAL: $[TIMEAUX3/60]m $[TIMEAUX3%60]s" fi # Montamos las imagenes para sincronizarlas. Quitamos / inicial. ogMountImage CACHE "${IMGNAME#\/}" $IMGTYPE || exit $? ogMountImage REPO "${IMGNAME#\/}" $IMGTYPE # Esperamos que se monte la imagen en el servidor ogWaitSyncImage REPO "$IMGNAME" $IMGTYPE "mounted" || exit $? ogEcho log session " rsync -aHAX$OPTRSYNC $USERRSYNC@$REPOIP::ogimages/$DIRMOUNT/ $DIRLOCAL" rsync -aHAX$OPTRSYNC $PASSWORD "$USERRSYNC@$REPOIP::ogimages/$DIRMOUNT/" "$DIRLOCAL" 2>>$OGLOGCOMMAND | egrep "^sent|^sending|^total|%" >> $OGLOGCOMMAND # RETVAL="1" -> OK RETVAL="2" -> error # valores igual que ogUpdateCacheIsNecesary [ ${PIPESTATUS[0]} -eq 0 ] && RETVAL="1"|| RETVAL="2" # Desmonto las imagenes ogUnmountImage CACHE "$IMGNAME" $IMGTYPE ogUnmountImage REPO "$IMGNAME" $IMGTYPE ogUnlockImage CACHE "$2" fi ;; esac TIME1=$[SECONDS-TIME1] ogEcho log session " [ ] $RESUMEUPDATECACHE " ogEcho log session " [ ] $MSG_SCRIPTS_TIME_PARTIAL updateCache $[TIME1/60]m $[TIME1%60]s" ogEcho log session " [ ] $MSG_SCRIPTS_TASK_START $MSG_HELP_ogCalculateChecksum " TIME2=$SECONDS # Si es imagen sincronizada siempre da distinto md5. No podemos comprobar if [ "$IMGSYNC" == "TRUE" ]; then # RETVAL="1" -> OK RETVAL="2" -> error # valores igual que ogUpdateCacheIsNecesary [ $PROTOCOLO == "RSYNC" ] || RETVAL=1 else ogUpdateCacheIsNecesary $REPOSITORIO "$2" "$PROTOCOLO" RETVAL=$? fi if [ "$(ogGetCaller)" != "deployImage" ]; then TIME2=$[SECONDS-TIME2] ogEcho log session " [ ] $MSG_SCRIPTS_TIME_PARTIAL $MSG_HELP_ogCalculateChecksum $[TIME2/60]m $[TIME2%60]s" fi # si RETVAL=0 => actualizamos si RETVAL=1 no actaulizamos-exit 0 || si RETVAL>2 exit 1 [ "$RETVAL" == "0" ] && exit $OG_ERR_UPDATECACHE [ "$RETVAL" == "1" ] && exit 0 [ "$RETVAL" -gt "1" ] && exit $OG_ERR_UPDATECACHE