Para una GUI, diría que la forma más fácil es un script nautilus. La línea principal de las cuales sería:
unzip "$item" && trash "$item"
Funciona en bash / dash igual de fácil. En nautilus todo se vería así:
#!/bin/bash
# Nautilus script to unzip and then remove a zip archive.
# Nautilus script usually go in "$HOME/.gnome2/nautilus-scripts"
IFS='
'
for item in $NAUTILUS_SCRIPT_SELECTED_FILE_PATHS; do
if [ -n "$(file -b "$item" | grep -o 'Zip')" ]; then
unzip "$item" && trash "$item"
# use trash instead of rm to move them to trash
# (trash-cli package installed)
fi
done