É sobretudo na época romana e na Idade Média, que se verifica um uso mais permanente desta ilha, devido à sua localização geográfica altamente propicia, faz com que a ilha adquira nestas épocas uma importância que até então não tinha, ou se tinha não era tão visível, sendo mesmo este o local onde existiu o primitivo porto de Paiva, havendo uma primeira referência a este porto, num documento de 1107. Sabemos também que no reinado de D. Afonso III (1248-1279) o porto de Paiva é mandado reerguer, sendo a ilha, pelo menos desde esta data propriedade do Rei.
Existem também vestígios de uma torre defensiva do século XII. Podemos observar estes vestígios, no penedo que se encontra a maior altitude na ilha, através de buracos de poste que serviriam para assentar a estrutura da torre de vigia
A “Ilha dos Amores” foi também local de culto na Idade Média, existindo na ilha uma ermida, isto é, uma capela dedicada a S. Pedro, podemos observar na ilha as ruinas desta mesma ermida. Teria sido contruída no século XV e viu novamente a luz do dia, aquando das escavações arqueológicas levadas a cabo em 1998, e que puseram a descoberto as suas ruinas.
Sabemos também que até à construção da barragem de Crestuma-Lever, a passagem da margem direita do Rio Paiva para a ilha era possível, sendo feita esta ligação através de um areal, hoje em dia submerso devido à construção da referida barragem.