De acuerdo con lo que dice meruelo.
Yo he tenido mi web personal con mil sistemas. Primero la hice en blogger, luego en wordpress con varias plantillas, por último probé varios cms sencillos... y al final acabé por descargarme una plantilla en html que se acercaba mucho a lo que quería (de ningún sistema, html + css a palo seco), la personalicé un poco y le añadí cuatro cosas, que no es más que pequeñas galerías independientes y un lightbox, y listo.
Como comenta meruelo, wordpress es muy potente, pero si vas a usarlo como gestor de una web personal, no un blog, vas a tener que modificar muchas cosas sobre algo mucho más grande, y aunque no es complicado, tendrás mucho código que no te servirá para nada, y cuando quieras añadir o cambiar algo (no de contenidos si no de estructura o código) tendrás que rebuscar entre mil líneas.
Eso sí, yo no tengo ningún gestor, añado los contenidos en el html, pero me lo he montado de tal manera que simplemente pego el html de la imagen y ya pilla los estilos, lightbox y las demás fluyen hacia abajo... es cutre, sí, pero lo tengo todo controlado, y nadie más lo sabe

.