Buenos Dias,
http://www.esxoops.com/modules/newbb/viewtopic.php?topic_id=1458&forum=7&post_id=4650
En este post de la pagina http://www.esxoops.com, viene bastante detallado como configurar el envio de mails en xoops.
Si tienes alguna duda sobre este post no dudes en comentarla, aunque creo que esta bastante claro.
Un Saludo