Il me semble que rename est un script Perl qui utilise les regex évolués de Perl:
rename 's/\[machin\]//' truc\[machin\].txt
rename 's/\[machin\]//' truc\[*\].txt
fonctionnent chez moi
Ne pas oublier les «’» avant et après la commande de substitution, ni le «\» avant les crochets droits qui, sinon, sont un couple opérateur de regroupement de caractères.