Tra le più scenografiche e antiche chiese di Ascoli. Si trova al margine settentrionale del centro storico, nel quartiere di Santa Maria Intervineas, caratterizzata dalla sua posizione sopra uno sperone boscoso, che si alza ripidamente da un'ansa del fiume Tronto. Si vuole che le sue origini siano molto antiche, secondo lo storico Marcucci risalirebbe addirittura al IV secolo. Altri vogliono una primitiva chiesa con monastero esistenti già nel VIII secolo, voluti dal vescovo longobardo Auclere, che si era prodigato a fondare diversi monasteri benedettini nella sua diocesi. Non esistono documenti che comprovano queste tradizioni, era comunque nota la preesistenza di fortificazioni, favorite dalla morfologia del luogo, facilmente difendibile grazie alle alte rupi e collegato alla città solo attraverso uno stretto passaggio. La presenza di una torre si riscontra da una pietra iscritta, murata in seguito nel palazzo vescovile, dove è tuttora visibile, che ne commemorava l'erezione nel 1069. Il castello infine si legherà al nome della chiesa, diventandone il suo distintivo; viene anche detta "San Pietro di Isola" forse per la posizione quasi circondata dalle acque, oppure perché un tempo con "insula" si intendeva un luogo isolato dal resto, anche attraverso una cinta muraria. Nei pressi della chiesa era anche aperta una "Posterula", piccolo ingresso aperto sulle mura, chiamata Porta San Pietro, che collegava il castello alle sottostanti spiagge lungo il fiume. Era la preferita da malviventi e banditi per infiltrarsi di nascosto nella città. Diversi fatti d'arme, accaduti nella storia medievale e rinascimentale ascolana, l'hanno vista come protagonista. Le prime notizie della chiesa ci giungono dal 1142, quando viene consacrata dal vescovo Presbitero con una solenne cerimonia, svolta alla presenza del vescovo di Senigallia e di quello di Gubbio, il futuro Sant'Ubaldo, protettore della cittadina umbra. Nel 1146 Presbitero vi colloca le reliquie di San Benedetto Martire, nell'altare fatto erigere appositamente per la sua venerazione, custodite in un sarcofago in pietra oggi conservato in cattedrale, dove due iscrizioni ricordano la data della consacrazione e quella dello spostamento delle reliquie. Parte della storia di San Pietro in Castello sarà legata al culto del Santo, omonimo di quello venerato a San Benedetto del Tronto. La tradizione lo voleva tra i compagni di Sant'Emidio, ma indagini più approfondite condotte dal medievalista F. Cappelli, hanno evidenziato che le reliquie possano essere piuttosto di San Benedetto da Benevento. Monaco camaldolese morto durante l'evangelizzazione della Polonia, compiuta agli inizi del XI secolo e discepolo di San Romualdo, personaggio ben conosciuto in città, dove si suppone avesse fondato il monastero di San Salvatore di Sotto. Si vuole anche che Sant'Emidio stesso sia apparso sopra la chiesa, ad invocare la pace in un periodo di guerre; l'evento è riportato nella "Storia della Chiesa Ascolana" redatto dal vescovo Trasmondo, morto nel 1197. I Canonici Regolari di Sant'Agostino si insediano nella chiesa nel 1192, grazie a delle concessioni fatte da Papa Celestino III ed Innocenzo III, che la pongono sotto la protezione della Santa Sede. Tra le altre notizie reperibili si sa che nel 1266, anno della morte di Manfredi, l'ultimo imperatore svevo, quando la città torna sotto la protezione di Papa Clemente IV, quest'ultimo designa il priore di San Pietro, difensore dei diritti del vescovo. Nel 1289 la struttura è ancora interessata da lavori e qualche decennio più tardi, nel 1339, aggiunge anche al suo patrimonio fondiario, le proprietà della chiesa di Sant'Egidio di Cinno. Risulta in seguito caduta in rovina, viene quindi demolita e ricostruita a partire dal 1466, per volontà del Capitolo della Cattedrale che ingaggia le maestranze lombarde. Originari di Como, ne rimangono i nomi: Giovanni di Ambrogio, Bartolomeo di Giacomo, Cristoforo di Andrea e Domenico di Donato, dalla stessa città lombarda proveniva Domenico Greci che si era occupato delle cappelle laterali. Il soffitto in capriate lignee è progetto del maestro Giovanni Mattei, realizzato poi da Cola da Sant'Egidio. I lavori si concluderanno nel 1472, riconsegnando un'edificio più piccolo rispetto al precedente, ridimensionato alla sola navata centrale. Altra profonda trasformazione è segnalata durante il XVII secolo, quando l'interno viene aggiornato allo stile barocco, imperante in quell'epoca. Si conclude la storia delle reliquie di San Benedetto, nel 1687 sono infatti trasferite nella cattedrale, dove sono ancora oggi conservate insieme al vecchio sarcofago. La torre campanile medievale, ancora visibile nella pianta cittadina disegnata dal Ferretti nel 1646, viene infine demolita intorno alla metà del '700, i materiali ricavati saranno riutilizzate per la realizzazione della facciata del palazzo vescovile in piazza arringo. Nel 1847 l'area è interessata dall'apertura di un'officina per la fornitura del gas alla popolazione, l'area sarà completamente stravolta dalle nuove strutture e si salverà solo la chiesa, risparmiata in extremis dalla riconversione. Un'altra importante ristrutturazione avviene nel 1968, quando vengono demoliti tutti gli allestimenti barocchi seicenteschi, portandola allo stato attuale, altri interventi nel 1998 interverranno sul tetto e le pavimentazioni. Sebbene sia ancora di proprietà della vicina parrocchia di San Pietro Martire, oggi la struttura è sconsacrata ed utilizzata come spazio coperto polivalente per attività culturali di vario genere. L'area dove sorge è stata trasformata in parcheggio nel 2015, demolendo alcune strutture appoggiate alla chiesa, per l'occasione sono stati effettuati rilievi archeologici.
La chiesa è scenograficamente posizionata al centro dell'ansa ritagliata dal fiume, dominando la piccola terrazza un tempo occupata dal castello, a seguito inglobato nella cinta muraria. La si raggiunge comodamente da un angolo di Piazza Ventidio Basso, sul lato sinistro della chiesa dei Santi Vincenzo e Anastasio, seguendo poi il profilo del monastero di Sant'Onofrio fino a giungere ad un crocevia. Si prosegue su una stradina affiancata da muretti, residuo del ponte che congiungeva il sito alla città; già da qui si inizia a scorgere la semplice facciata. Simile ad altre chiese ascolane, si nota la caratteristica fascia orizzontale che la divide in due parti, all'altezza del basamento dell'arco lunato a doppia ghiera, che adorna il portale aperto al centro della facciata. La fascia corre piuttosto in basso rispetto ad altri edifici simili, date anche le modeste dimensioni del portale, altra cornice lavorata corre parallelamente lungo il basamento. Sopra l'ingresso è affisso lo stemma, di travertino e metallo, del Capitolo Ascolano. Ancora sopra si trova il bel rosone, contenuto da una grande cornice lavorata, composto da dodici colonnine munite di capitelli in vari stili e forme. Meno vistosa è la croce, realizzata con scodelle in ceramica colorata e smaltata, realizzata nello spazio rimasto tra il rosone e la cornice che conclude in alto la facciata. In alto a destra c'è il piccolo campanile a pianta triangolare, con ancora installate le campane, realizzato nel 1850. Altra facciata era anche presente sul lato orientale, leggermente più elaborata dell'attuale, mostra un'ulteriore fascia ornamentale sopra il riscoperto portale laterale, in precedenza murato e risistemato negli ultimi restauri. Le finestre si dividono tra un modello alto e stretto più antico, e quello più ampio di epoca posteriore. Girando verso il retro, si percepiscono i resti dell'antico edificio a tre navate, si nota l'abside semicircolare, dove è aperta una piccola monofora. Entrando ci si trova in un ambiente trapezoidale, più stretto nell'area della facciata, andando ad allargarsi fino all'area presbiteriale. L'altare maggiore e le due cappelle aperte ai suoi lati, sono separate dalla navata da arcate di gusto gotico, più grande quella centrale che lascia intravvedere l'abside.