Esta construción, ademais da súa espléndida arquitectura, ten un gran valor histórico por ser considerada como o primeiro pazo galego, pois a súa primeira etapa construtiva remóntase a finais do século XV ou principios do seguinte. Ao longo da súa dilatada historia sempre pertenceu á mesma familia, os Rioboo, orixinarios da torre da Penela (Silvarredonda, Cabana de Bergantiños), pero o seu apelido procede da parroquia de San Martiño de Riobó, lindeira coa anterior.

Nun principio pensouse que toda a edificación fora feita ao mesmo tempo, pero trala publicación do libro Torres do Allo. Arquitectura e historia del primer pazo gallego (Sánchez García, J. A., 2001), sóubose que a torre norte “Torre Viexa”, construída entre 1490 e 1512, a iniciativa de Alfonso Gómez de Rioboo Villardefrancos, é uns 175 anos anterior á torre sur “Torre Nueba” e ao corpo central, que se levantaron entre 1669 e 1685 por decisión de Gómez de Rioboo e Seixas e a súa dona Jacinta de Luces Caamaño, nunha época na que o estilo barroco xa se estaba a espallar polo territorio galego, non obstante, os promotores mantiveron as formas do gótico tardío ou protorrenacentista da torre primitiva.

O edificio, duns 35 metros de longo, consta de dous torreóns de forma cuadrangular con cuberta a catro augas, unidos por un corpo rectangular con tellado a dúas caídas.

As torres son case simétricas, na parte baixa ábrese unha porta con arco de medio punto e grandes doelas, propias da arquitectura do século XVI. Na planta alta é onde se amosa a maior riqueza decorativa: unha fiestra de dobre arco oxival, cuberta cunha tira pétrea a xeito de repisa, e de par, outra fiestra máis ampla, con balcón, na torre sur, e enriba un escudo. Todos estes elementos están rodeados por un arco mixtilíneo. Na última planta, ábrese cadansúa fiestra.

O corpo central consta de dúas plantas, no que sobresae unha grandiosa cheminea. Na parte baixa hai dúas portas: a principal, no centro, e unha lateral, na parte esquerda. Na planta alta ábrense seis fiestras rectangulares. Unha cornixa decorada percorre todo o edificio, agás unha parte da zona central, da que sobresaen as gárgolas.

Nos escudos represéntanse os símbolos das familias que habitaron esta casa: Rioboo (torre envolta en silvas), Caamaño (piñeiro e lanzas), Seixas (cinco pombas), Losada (dous lagartos baixo unha lousa) e Figueroa (cinco follas de figueira). Personaxes de sona relacionados con esta casa do Allo foron: o licenciado Antonio Rioboo e Seixas, autor do libro La barca más prodigiosa. Poema historial sagrado (1728), sobre a Virxe da Barca de Muxía, e o naturalista ferrolán Victor López Seoane, que casou con Francisca de Rioboo Álvarez, a primeira herdeira feminina da casa do Allo.

Na primeira metade do século XX, o pazo deixou de ser habitado polos propietarios, e pasaron a vivir nel os apoderados. Na segunda metade dese mesmo século a casa quedou deshabitada e foise deteriorando ata ameazar ruínas. A Deputación da Coruña foi a institución que se interesou pola súa recuperación, facéndose coa propiedade en 1998, para despois comezar ao ano seguinte a súa rehabilitación e abrilo ao público.

Moi próxima ás Torres, atópase a igrexa de San Pedro do Allo, unha construción renacentista, moi vinculada aos señores do pazo.

O máis interesante deste templo é a súa fachada, de estilo renacentista, semellante a un retablo pétreo dividido en tres panos. No central, o máis ancho, ábrese a porta. Os laterais están enmarcados por columnas estriadas sobre plintos. Na parte inferior sitúanse as figuras de Adán e Eva, e na superior, as do arcanxo San Gabriel e María. No centro, enriba da porta, o patrón da parroquia, San Pedro.

Moi cerca da igrexa atópanse un cruceiro e o novo cemiterio parroquial, obras realizadas no século XXI, con sensibilidade artística e respectuosas co medio.

Á saída das torres do Allo collemos de novo a estrada AC-552 cara a Baio, cruzamos esta vila e a ponte sobre o río do Porto e a algo máis dun quilómetro atopamos un cruzamento á dereita cara ao conxunto etnográfico do Mosquetín, continuamos por esta pista e volvemos a cruzar o río e ao chegar a unhas casas, á beira do río, vemos as construcións tradicionais.