Sicher ist, dass schon zu dieser Zeit eine Pfarrei bestand, die zum Kapitel Hall und zur Diözese Würzburg zählte. Das Bestehen einer Pfarrkirche wird 1342 erstmals erwähnt. Das jetzige Kirchengebäude, 1877 - 1879 erbaut, ist der 3. Kirchenbau an dieser Stelle.

Im 13. Jahrhundert drangen die Schenken von Limpurg immer mehr in das Ellwangische Gebiet vor. 1251 erhielten sie das Jagdrecht bis an die "Blinde Rot", der heutigen östlichen Grenze der Gemeinde. 1380 kauften die Schenken von Limpurg von der Abtei Ellwangen die Herrschaft Adelmannsfelden, die seit 1368 das Gericht in Bühlerzell vom Kloster zum Lehen hatte. Zusätzlich gingen auch einzelne Ländereien an die Herren von Limpurg. 1405 kam auch das Patronat der Kirche in Bühlerzell, bis dahin im Besitz der Herren von Rechberg, an die Schenken von Limpurg. Unter dem Patronat der Limpurger wurde die alte romanische Kirche von 1514 neu errichtet.