O forte do Paço da Ribeira foi construído pelo arquitecto italiano Filipo Terzi entre 1581 e 1584, conforme as ordens do rei Filipe I de Portugal (II de Espanha). Tratava-se de um edifício de planta quadrangular com três registos. No topo, encontrava-se a Sala dos Embaixadores, assim designada por ser a zona de recepção de importantes figuras. Era um espaço com belas vistas sobre o rio Tejo e decorada com um tecto de madeira em caixotões com heráldica, mandada decorar no tempo do governo do Arquiduque Alberto. No reinado de D. João IV, essa iconografia foi alterada para marcar o início de uma nova dinastia – os Branganças. Estavam representados episódios das Guerras da Restauração, embora o suporte (telas, azulejos ou tapeçarias) não tenha sido ainda identificado. O segundo piso possuía várias salas, algumas das quais receberam a livraria musical de D. João IV que para aí foi transferida de Vila Viçosa em 1647. Algumas delas destinaram-se à conservação de livros e manuscritos, outras à leitura e à prática de música. A primeira exibia painéis de retratos de músicos, encomendados na Flandres, enquanto a segunda era coberta por um tecto pintado a fresco, representando instrumentos musicais, de autoria de um conhecido pintor do tempo, José de Avelar Rebelo.

O primeiro piso possuía um enorme pé direito e, por esse motivo, estava dividido em dois registos. No piso térreo, situava-se a artilharia, como parte integrante da defesa do forte. Por cima, existia um mezzanine que correspondia aos aposentos do mordomo-mor do rei D. João IV, da família Penaguião, mais tarde Marqueses de Abrantes.