Mit St. Andreas verband sich bis zum Beginn des 19. Jahrhunderts eine der ältesten Wormser Stiftsgemeinschaften. Schon in karolingischer Zeit gab es auf dem Andreasberg vor der Stadt eine "ecclesia sancti Andree in monte extra muros". Hier sollen der Legende nach die drei Märtyrerinnen Embede, Warbede und Willebede bestattet gewesen sein, von deren Schicksal der "Dreijungfernstein" in der Nikolauskappelle des Wormser Domes zeugt. Erst Bischof Burchard verlegte die Stiftsgemeinschaft im Jahr 1020 an die heutige Stelle an der südlichen Stadtmauer. Eine Urkundenserie des Bischofs Buggo aus dem Jahr 1141 belegt dann den ausgedehnten Besitz, die Rechte und Einkünfte des Stifts in Worms und Umgebung. Mit St. Andreas verbundene Kleriker traten auch auf Reichsebene in Erscheinung. So hatte der Propst Wortwinus unter Kaiser Barbarossa eine Stellung als Protonotar in dessen Kanzlei inne.

In den Jahren 1180-1200 fand ein Neubau der Stiftskirche statt. Diese dreischiffige romanische Basilika mit geradem ("Wormser") Chorabschluß und fehlendem Querschiff ist trotz ihrer wechselvollen Nutzungsgeschichte in den Grundzügen bis heute erhalten. Die "Annales Wormatiensis" berichten, daß ein Großbrand, der am Palmsonntag des Jahres 1241 im Kelterraum von St. Andreas ausbrach, mehr als 300 Wormser Bürger das Leben gekostet und wirtschaftliche Schäden in Höhe von 120 000 Mark verursacht habe. Trotz solcher und anderer Widrigkeiten konnte sich das Stift in den folgenden Jahrhunderten aber offenbar gut behaupten.