Apra il conf/settings.php ed aggiunga questa linea:

Configuration [URL_BUILDING_METHOD] = mod_rewrite;

Credilo, quello è tutti che dobbiate fare. Non è quello facile?
Nota: Sto supponendo che state usando il web server del httpd del Apache con mod_rewrite permesso a.
Nota 2: La ho provata sulle finestre ma penso tutti i che funzionerà benissimo su Unix/Linux anche. Windows è normalmente quello più duro da risolvere per quanto Apache :)