Buscar y reemplazar en bash usando expresiones regulares

He visto este ejemplo:

hello=ho02123ware38384you443d34o3434ingtod38384day
echo ${hello//[0-9]/}

Que sigue a esta sintaxis: ${variable//pattern/replacement}

Desafortunadamente, el patterncampo no parece admitir la sintaxis de expresiones regulares completas (si uso .o \s, por ejemplo, intenta hacer coincidir los caracteres literales).

¿Cómo puedo buscar / reemplazar una cadena usando la sintaxis completa de expresiones regulares?

Use sed :

MYVAR=ho02123ware38384you443d34o3434ingtod38384day
echo "$MYVAR" | sed -e 's/[a-zA-Z]/X/g' -e 's/[0-9]/N/g'
# prints XXNNNNNXXXXNNNNNXXXNNNXNNXNNNNXXXXXXNNNNNXXX

Tenga en cuenta que los subsiguientes -ese procesan en orden. Además, el gindicador de la expresión coincidirá con todas las apariciones en la entrada.

También puede elegir su herramienta favorita utilizando este método, es decir, perl, awk, por ejemplo:

echo "$MYVAR" | perl -pe 's/[a-zA-Z]/X/g and s/[0-9]/N/g'

Esto puede permitirle hacer más coincidencias creativas ... Por ejemplo, en el recorte anterior, el reemplazo numérico no se usaría a menos que hubiera una coincidencia en la primera expresión (debido a una andevaluación diferida ). Y, por supuesto, tiene el soporte de idiomas completo de Perl para hacer su oferta ...

Esto realmente se puede hacer en puro bash:

hello=ho02123ware38384you443d34o3434ingtod38384day
re='(.*)[0-9]+(.*)'
while [[ $hello =~ $re ]]; do
  hello=${BASH_REMATCH[1]}${BASH_REMATCH[2]}
done
echo "$hello"

... rinde ...

howareyoudoingtodday

Estos ejemplos también funcionan en bash sin necesidad de usar sed:

#!/bin/bash
MYVAR=ho02123ware38384you443d34o3434ingtod38384day
MYVAR=${MYVAR//[a-zA-Z]/X} 
echo ${MYVAR//[0-9]/N}

también puedes usar las expresiones de paréntesis de clase de caracteres

#!/bin/bash
MYVAR=ho02123ware38384you443d34o3434ingtod38384day
MYVAR=${MYVAR//[[:alpha:]]/X} 
echo ${MYVAR//[[:digit:]]/N}

salida

XXNNNNNXXXXNNNNNXXXNNNXNNXNNNNXXXXXXNNNNNXXX

Sin embargo, lo que @Lanaru quería saber, si entiendo la pregunta correctamente, es por qué las extensiones "completa" o PCRE, \s\S\w\W\d\Detc., no funcionan como se admite en php ruby ​​python, etc. Estas extensiones son de expresiones regulares compatibles con Perl (PCRE) y puede no ser compatible con otras formas de expresiones regulares basadas en shell.

Estos no funcionan:

#!/bin/bash
hello=ho02123ware38384you443d34o3434ingtod38384day
echo ${hello//\d/}


#!/bin/bash
hello=ho02123ware38384you443d34o3434ingtod38384day
echo $hello | sed 's/\d//g'

salida con todos los caracteres literales "d" eliminados

ho02123ware38384you44334o3434ingto38384ay

pero lo siguiente funciona como se esperaba

#!/bin/bash
hello=ho02123ware38384you443d34o3434ingtod38384day
echo $hello | perl -pe 's/\d//g'

salida

howareyoudoingtodday

Espero que eso aclare un poco más las cosas, pero si aún no está confundido, ¿por qué no prueba esto en Mac OS X que tiene habilitado el indicador REG_ENHANCED?

#!/bin/bash
MYVAR=ho02123ware38384you443d34o3434ingtod38384day;
echo $MYVAR | grep -o -E '\d'

En la mayoría de los sabores de * nix solo verá el siguiente resultado:

d
d
d

nJoy!

Si realiza llamadas repetidas y le preocupa el rendimiento, esta prueba revela que el método BASH es ~ 15 veces más rápido que la bifurcación y probablemente cualquier otro proceso externo.

hello=123456789X123456789X123456789X123456789X123456789X123456789X123456789X123456789X123456789X123456789X123456789X

P1=$(date +%s)

for i in {1..10000}
do
   echo $hello | sed s/X//g > /dev/null
done

P2=$(date +%s)
echo $[$P2-$P1]

for i in {1..10000}
do
   echo ${hello//X/} > /dev/null
done

P3=$(date +%s)
echo $[$P3-$P2]

Use [[:digit:]](observe los corchetes dobles) como patrón:

$ hello=ho02123ware38384you443d34o3434ingtod38384day
$ echo ${hello//[[:digit:]]/}
howareyoudoingtodday

Solo quería resumir las respuestas (especialmente @ nickl- 's https://stackoverflow.com/a/22261334/2916086 ).

Sé que este es un hilo antiguo, pero fue mi primer éxito en Google, y quería compartir lo siguiente resubque armé, lo que agrega soporte para múltiples referencias de $ 1, $ 2, etc.

#!/usr/bin/env bash

############################################
###  resub - regex substitution in bash  ###
############################################

resub() {
    local match="$1" subst="$2" tmp

    if [[ -z $match ]]; then
        echo "Usage: echo \"some text\" | resub '(.*) (.*)' '\$2 me \${1}time'" >&2
        return 1
    fi

    ### First, convert "$1" to "$BASH_REMATCH[1]" and 'single-quote' for later eval-ing...

    ### Utility function to 'single-quote' a list of strings
    squot() { local a=(); for i in "$@"; do a+=( $(echo \'${i//\'/\'\"\'\"\'}\' )); done; echo "${a[@]}"; }

    tmp=""
    while [[ $subst =~ (.*)\${([0-9]+)}(.*) ]] || [[ $subst =~ (.*)\$([0-9]+)(.*) ]]; do
        tmp="\${BASH_REMATCH[${BASH_REMATCH[2]}]}$(squot "${BASH_REMATCH[3]}")${tmp}"
        subst="${BASH_REMATCH[1]}"
    done
    subst="$(squot "${subst}")${tmp}"

    ### Now start (globally) substituting

    tmp=""
    while read line; do
        counter=0
        while [[ $line =~ $match(.*) ]]; do
            eval tmp='"${tmp}${line%${BASH_REMATCH[0]}}"'"${subst}"
            line="${BASH_REMATCH[$(( ${#BASH_REMATCH[@]} - 1 ))]}"
        done
        echo "${tmp}${line}"
    done
}

resub "$@"

##################
###  EXAMPLES  ###
##################

###  % echo "The quick brown fox jumps quickly over the lazy dog" | resub quick slow
###    The slow brown fox jumps slowly over the lazy dog

###  % echo "The quick brown fox jumps quickly over the lazy dog" | resub 'quick ([^ ]+) fox' 'slow $1 sheep'
###    The slow brown sheep jumps quickly over the lazy dog

###  % animal="sheep"
###  % echo "The quick brown fox 'jumps' quickly over the \"lazy\" \$dog" | resub 'quick ([^ ]+) fox' "\"\$low\" \${1} '$animal'"
###    The "$low" brown 'sheep' 'jumps' quickly over the "lazy" $dog

###  % echo "one two three four five" | resub "one ([^ ]+) three ([^ ]+) five" 'one $2 three $1 five'
###    one four three two five

###  % echo "one two one four five" | resub "one ([^ ]+) " 'XXX $1 '
###    XXX two XXX four five

###  % echo "one two three four five one six three seven eight" | resub "one ([^ ]+) three ([^ ]+) " 'XXX $1 YYY $2 '
###    XXX two YYY four five XXX six YYY seven eight

H / T a @Charles Duffy re:(.*)$match(.*)