In Extremo (kurz InEx) waren zu Beginn zwei Projekte: eine namenlose reine Mittelalter-Band und eine Rockband. Bekannt wurden sie damals durch häufige Präsenz auf Veranstaltungen und Mittelaltermärkten, auf denen sie ihre Akustikstücke wiedergaben. Während der Proben für die Saison 1995 fand Michael Robert Rhein (alias Das Letzte Einhorn) den lateinischen Projektnamen „In Extremo“, der auf Deutsch „zu guter Letzt“ beziehungsweise „in Vollendung“ bedeutet. Die Band ist ebenfalls bekannt für die auf ihren Konzerten verwendete Pyrotechnik.Gründungsmitglieder der Mittelalter-Band waren: Das letzte Einhorn, Flex der Biegsame, Conny Fuchs, die allerdings schon vor dem offiziellen Gründungsdatum aufgrund ihrer Schwangerschaft für Dr. Pymonte Platz machte, und Sen Pusterbalg, der kurze Zeit nach der offiziellen Gründung von Yellow Pfeiffer ersetzt wurde. Die Rockband bestand ursprünglich aus Thomas dem Münzer, dem Morgenstern und der Lutter.
Die steigenden Besucherzahlen, Druck vom damaligen Plattenlabel und das eigene Interesse brachten In Extremo schon im Jahr 1995 dazu, einen Versuch zu starten, Dudelsäcke mit Rockgitarren zu verbinden. Dafür wurde eine Rockgruppe dazugeholt, die moderne Instrumente wie Schlagzeug, E-Bass und E-Gitarre in die Akustikstücke integrierte.
Im August 1996 begannen die Arbeiten für das erste In-Extremo-Album, das auch schon zwei Tracks des neuen Rockprogramms beinhaltete. Da das Album keinen offiziellen Namen hat, wird es wegen des goldenen Covers „In Extremo Gold“ genannt. Im Februar 1997 wurde es, ebenso wie die Single „Der Galgen“, in Eigenregie auf Mittelaltermärkten vertrieben.
In Extremo spielten getrennt als Mittelalter- und Rockband, bis sie am 29. März 1997 ihr erstes Live-Rockkonzert spielten; seither geben sie dieses Datum als Gründungsdatum an. 1998 wurde das 2. Mittelalter Album „Hameln“ veröffentlicht, sowie das Mittelalter-Live Album „Die Verrückten sind in der Stadt“.