Hace tiempo publicamos unos miniartículos donde contábamos algunos trucos para "Acelerar Joomla"
Te dejo los enlaces:
http://ayudajoomla.com/joomla/tutoriales/156-uso-de-la-funcion-de-cache-acelera-tu-joomla-parte-1.html
http://ayudajoomla.com/joomla/tutoriales/157-cache-en-los-modulos-de-joomla-acelera-tu-joomla-parte-2.html
http://ayudajoomla.com/joomla/tutoriales/158-optimizando-la-configuracion-del-servidor-acelera-tu-joomla-parte-3.html
Estos son algunas posibilidades. Otras pueden ser agrupar en un único archivo los archivos de CSS y por otro lado los de JS, minimizarlos quitando los comentarios y los espacios innecesarios, el uso de sprites para las imágenes y algun que otro truquillo. El plugin JCH Optimize hace algunas de estas operaciones http://extensions.joomla.org/extensions/site-management/site-performance/12088
Te recomiendo dos extensiones de Firefox que te pueden informar de los tiempos de carga y te dan consejos para mejorar tu sitio: YSlow y PageSpeed
