La chiesa di Sant’Agostino, molto probabilmente offerta dalla comunità, fu fatta costruire dai padri agostiniani tra la fine del XV secolo e il 1517, come è documentato anche dal mattone che riporta questa data inserito nella facciata. Venne consacrata nel 1530 dal Vescovo di Fermo, Monsignor Gaddi.
Il complesso agostiniano, costituito dalla chiesa e dall’annesso convento, occupa l’area dove sorgeva una precedente chiesa. La chiesa è un ottimo esempio dell’architettura sobria ed essenziale. La facciata è lineare, priva di ogni elemento decorativo.In alto, sopra il portale di ingresso, sono collocati alcuni bacili in maiolica disposti a forma di croce, secondo l’uso agostiniano, purtroppo molto rovinati. La facciata è conclusa da un semplice tetto a due spioventi.
L’abside della chiesa, orientato verso il mare, presenta un aspetto fortificato: è merlata e percorsa esternamente da due contrafforti. Accanto all’abside si trova il campanile mozzato che, secondo la tradizione, fu ridotto così perché nel convento fu ospitato il monaco agostiniano Martin Lutero, durante il suo viaggio verso Roma prima del grande scisma.
La chiesa presenta tre altari, ma da alcuni documenti relativi alle visite pastorali, si deduce che la chiesa aveva nel XVII secolo dieci altari. Sul lato sud della chiesa si apre il convento, al quale si accede direttamente dall’aula o dall’ingresso posto in via S. Agostino.
Il convento è a pianta quadrata e si sviluppa intorno al chiostro centrale con delle arcate in muratura a tutto sesto poggianti su pilastri a base rettangolare e, al primo piano, delle logge, con alcune arcate che risultano oggi tamponate.
Secondo la disposizione originaria al piano terra si trovavano la cantina, la stalla, la legnaia, la dispensa e la sagrestia, mentre al primo piano c’erano due dormitori, la cucina e tre camere singole per i padri superiori.