Esta construcción, además de su espléndida arquitectura, tiene un gran valor histórico por ser considerada como el primer pazo gallego, pues su primera etapa constructiva se remonta a finales del siglo XV o principios del siguiente. A lo largo de su dilatada historia siempre perteneció a la misma familia, los Rioboo, originarios de la torre de A Penela (Silvarredonda, Cabana de Bergantiños), pero su apellido procede de la parroquia de San Martiño de Riobó, colindante con la anterior.

En un principio se pensó que toda la edificación había sido construida al mismo tiempo, pero tras la publicación del libro Torres do Allo. Arquitectura e historia del primer pazo gallego (Sánchez García, J. La., 2001), se supo que la torre norte “Torre Viexa”, construida entre 1490 y 1512, a iniciativa de Alfonso Gómez de Rioboo Villardefrancos, es unos 175 años anterior a la torre sur “Torre Nueba” y al cuerpo central, que se levantaron entre 1669 y 1685 por decisión de Gómez de Rioboo y Seixas y su esposa Jacinta de Luces Caamaño, en una época en la que el estilo barroco ya se estaba difundiendo por el territorio gallego, no obstante, los promotores mantuvieron las formas del gótico tardío o protorrenacentista de la torre primitiva.

El edificio, de unos 35 metros de largo, consta de dos torreones de forma cuadrangular con cubierta a cuatro aguas, unidos por un cuerpo rectangular con tejado a dos caídas.

Las torres son casi simétricas, en la parte baja se abre una puerta con arco de medio punto y grandes dovelas, propias de la arquitectura del siglo XVI. En la planta alta es donde se muestra la mayor riqueza decorativa: una ventana de doble arco ojival, cubierta con una tira pétrea con forma de repisa, y de par, otra ventana más amplia, con balcón, en la torre sur, y arriba un escudo. Todos estos elementos están rodeados por un arco mixtilíneo. En la última planta, se abre una ventana en cada torre.

El cuerpo central consta de dos plantas, en el que sobresale una grandiosa chimenea. En la parte baja hay dos puertas: la principal, en el centro, y una lateral, en la parte izquierda. En la planta alta se abren seis ventanas rectangulares. Una cornisa decorada recorre todo el edificio, excepto una parte de la zona central, de la que sobresalen las gárgolas.

En los escudos se representan los símbolos de las familias que habitaron esta casa: Rioboo (torre envuelta en zarzas), Caamaño (pino y lanzas), Seixas (cinco palomas), Losada (dos lagartos bajo una loseta) y Figueroa (cinco hojas de higuera). Personajes de fama relacionados con esta casa de O Allo fueron: el licenciado Antonio Rioboo y Seixas, autor del libro La barca más prodigiosa. Poema historial sagrado (1728), sobre la Virgen de A Barca de Muxía, y el naturalista ferrolano Victor López Seoane, que casó con Francisca de Rioboo Álvarez, la primera heredera femenina de la casa de O Allo.

En la primera mitad del siglo XX, el pazo dejó de ser habitado por los propietarios, y pasaron a vivir en él los apoderados. En la segunda mitad de ese mismo siglo la casa quedó deshabitada y se fue deteriorando hasta amenazar ruinas. La Diputación de A Coruña fue la institución que se interesó haciéndose con la propiedad en 1998, para después comenzar al año siguiente su rehabilitación y abrirlo al público.

Muy próxima a las Torres, se encuentra la iglesia de San Pedro de O Allo, una construcción renacentista, muy vinculada a los señores del pazo.

Lo más interesante de este templo es su fachada, de estilo renacentista, semejante a un retablo pétreo dividido en tres paños. En el central, el más ancho, se abre la puerta. Los laterales están enmarcados por columnas estriadas sobre plintos. En la parte inferior se sitúan las figuras de Adán y Eva, y en la superior, las del arcángel San Gabriel y María. En el centro, arriba de la puerta, el patrón de la parroquia, San Pedro.

Muy cerca de la iglesia se encuentran un crucero y el nuevo cementerio parroquial, obras realizadas en el siglo XXI, con sensibilidad artística y respetuosas con el medio.

A la salida de las torres de O Allo cogemos de nuevo la carretera AC-552 hacia Baio, cruzamos esta villa y el puente sobre el río de O Porto y a algo más de un kilómetro encontramos un cruce a la derecha hacia el conjunto etnográfico de O Mosquetín, continuamos por esta pista y volvemos a cruzar el río y al llegar a unas casas, al lado del río, vemos las construcciones tradicionales.