Os primeiros documentos que podemos encontrar sobre esta emblemática edificación datan de finais do s.XII e descríbennos Canedo coma unha pequena vila amurallada cunha torre chamada Torre de Canedo. A medida que avanzamos no tempo, os documentos encontrados indícannos o progresivo deterioro do seu estado. Nos últimos escritos que fan referencia a este edificio coma torre, esta é descrita coma unha vella torre cun estado bastante deplorable.

A principios do s.XVI, D. Antonio de Tovar, parente cercano de pardo de cela comeza a construir unha fortaleza sobre a torre cun caracter menos defensivo; remodelando esta ó gusto da época, con maiores ventás para outorgar máis luz ao interior en consonancio ao resto do edificio, ademais doutros elementos decorativos para dar máis importancia ao conxunto.

A partir desta data, diferentes familias que viviron na fortaleza ó longo do tempo; a maior parte coma arrendatarios, chegando en momentos a vivir máis dunha familia do inmoble ao mesmo tempo. Todos estes inquilinos foron deixando as súas pegadas no edificio, sendo hoxe un conxunto de todas elas.

Logo de anos de progresivo deterioro, tendo como única finalidade a vivenda dos arrendatarios, o Pazo de Tovar recibíu unha serie de remodelacións que deron como resultado un edificio seguro e agradable de visitar.

Na actualidade, o propósito de este edificio é albergar o Centro de Interpretación dos Pazos Galegos e outras exposicións relacionadas coa época medieval.