Merseburg liegt am östlichen Rand der Querfurter Platte überwiegend am linken Ufer der Saale, in die im Stadtgebiet die Geisel mündet. Zum Stadtgebiet gehören heute auch die Orte Merseburg, Annemariental, Atzendorf, Beuna (Geiseltal), Blösien, Elisabethhöhe, Freiimfelde, Geusa, Kötzschen, Meuschau, Neumarkt, Trebnitz, Gut Werder und Zscherben.

Seit Thietmar von Merseburg bis in die Zeit der Renaissance wurde der Name der Stadt vom römischen Kriegsgott Mars abgeleitet, wonach der Ort von römischen Soldaten gegründet worden sein soll. Dies dürfte aber in den Bereich der Sage gehören. Tatsächlich gibt es bessere Erklärungen. Das erste Glied des Stadtnamens ist mehrdeutig. Zum Beispiel kommen in Frage: altsächsisch meri und germanisch mari für stehendes Gewässer, wässriges Gelände oder Sumpf. Ferner wäre auch die Reduktion eines germanischen Personennamens mit zwei Gliedern wie Merifrid, Merowig, Meriswid oder Meriswind oder die Kurzform Marso denkbar. Letztendlich ist auch der Name einer Stammesgruppe wie Marsi, Marsaki oder Marsingi nicht auszuschließen, denn Merseburg lag im Friesenfeld, welches nach hier siedelnden Friesen benannt wurde. Möglich, dass die in unmittelbarer Nähe zu den Friesen lebenden Marsi sich hier ansiedelten. Die Deutung des Stadtnamens aus slawischen Sprachmitteln, wie zum Beispiel Mezibor = Grenzland, hat keine ausreichende Grundlage und wird von Sprachforschern abgelehnt.

Bereits in vorgeschichtlicher Zeit ist eine erste Besiedlung im Bereich des heutigen Merseburg nachweisbar. Im Merseburger Museum finden sich Funde aus den Gräbern der Band- und Schnurkeramik, der Bronzezeit, der ausgehenden Hallstattzeit, der römischen Kaiserzeit, der Völkerwanderungszeit sowie von Siedlungen der Elbslawen.

Die erste schriftliche Erwähnung Merseburgs erfolgte in den Jahren 880/899 im Hersfelder Zehntverzeichnis als „mersiburc civitas". Nach 919 wurde der Ort von König Heinrich I. zu einer Pfalz ausgebaut. Heinrich hatte die Tochter des Merseburger Grafen Erwin geheiratet, so dass der Ort in die Herrschaft des sächsischen Herrschaftshauses gelangte. Er verstärkte die Befestigungsanlagen auf dem Burgberg und ließ nach seinem Sieg gegen die Ungarn bei Riade den Speisesaal mit Fresken ausschmücken. Zugleich siedelte er als Verstärkung die sogenannte Merseburger Schar, die aus freigelassenen Räubern bestand, bei der Burg an.

Im Jahr 955 gelobte König Otto I., nachdem er in der Schlacht auf dem Lechfeld die Ungarn endgültig geschlagen hatte, ein Bistum zu gründen. Daraufhin wurde von ihm und auf Betreiben der Synode von Ravenna 968 das Bistum Merseburg gegründet. Merseburg lag zuvor an der Grenze des Hassegaus.

Das Bistum wurde allerdings bereits 981 wieder aufgelöst und erst 1004 von Kaiser Heinrich II. erneut gegründet. Bis zur Reformationszeit sollte Merseburg nun Bischofssitz und ein bedeutendes religiöses Zentrum an der östlichen Grenze Deutschlands bleiben, nachdem das Gebiet zuvor zum Bistum Halberstadt gehört hatte. Das Bistum war zwar flächenmäßig eines der kleinsten deutschen Bistümer, umfasste jedoch wichtige Zentren wie die Stadt Leipzig, den Süden des heutigen Sachsen-Anhalts und Teile des heutigen Freistaates Sachsen. Am Ende des Mittelalters umfasste es als Mittelpunkt des Hochstiftes Merseburg rund 310 Pfarr- und Filialkirchen und war im Laufe der Jahre Residenz von 43 Bischöfen.

1012 wurde erstmals ein Benediktinerkloster in Merseburg erwähnt. In den Jahren 1015 bis 1021 ließ Heinrich II., der Merseburg unter seinen Pfalzorten deutlich bevorzugte, hier den Dom St. Johannes der Täufer und Laurentius errichten. Von diesem Bau ist heute noch die 1036 begonnene Krypta erhalten. Um 1280 wurde der Dom mit vielbeachteten Glasmalereien ausgestattet, die allerdings später verloren gingen.

Im Jahr 1188 wurde von Kaiser Friedrich I. Barbarossa im heutigen Vorort Neumarkt ein neuer Markt begründet. Auch die Neumarktkirche wurde erstmals bezeugt. Zu diesem Zeitpunkt existierte hier bereits die erste Saalebrücke. Inzwischen hatte Merseburg als Handelsort schon einen weitreichenden Einfluss, von dem beispielsweise die Benennung des Brama Merseburska (Merseburger Tor) im 490 Kilometer entfernten westpreußischen Kulm zeugt. Seit den Jahren 1218/19 schützte am linken Saaleufer eine Stadtmauer den Markt, die sich an die bereits befestigte Domfreiheit anschloss. 1289 wurde erstmals eine bürgerliche Selbstverwaltung der Stadt erwähnt, auf dem Siegel einer Urkunde erscheint das Wappen der Stadt. 1323 zerstörte der erste von sechs schweren Stadtbränden große Teile der Stadt.

1428 trat Merseburg gemeinsam mit anderen Städten und gegen den Widerstand der Bischöfe der Hanse bei, der es bis mindestens 1604 angehören sollte. Um 1470 wurde das dreiflügelige Schloss (den vierten Flügel bildet der Dom) im spätgotischen Stil neu errichtet. Bereits 1473 befand sich in Merseburg die erste Druckerei.

Im 15. Jahrhundert ließ Bischof Thilo von Trotha (1466–1514) die dreiflügelige Schlossanlage neu gestalten. Bei der Leipziger Teilung im Jahr 1485 wurde Merseburg dem Albertinischen Herzogtum Sachsen zugeschlagen.

Im Laufe der Reformationszeit und der beginnenden Bauernkriege verfassten die Merseburger Bürger und Bauern die 16 Merseburger Artikel, in denen sie sich gegen die ständig neuen Dienste und Abgaben (Steuern für Wasser, Holz, Weideland, Acker, Abgabe von Kleinvieh, zahlreiche Bußgelder u. a.) wandten. Am 3. Mai 1525 musste Bischof Adolf aufgrund von Unruhen nach Leipzig fliehen. Am 8. Mai versuchten die Aufständischen die Domfreiheit zu stürmen. Im Juni folgende Gerichtsverhandlungen führten dazu, dass am 10. Juni 1525 vier Bürger und vier Bauern auf dem Merseburger Markt geköpft wurden.

In den Jahren 1510 und 1537 fanden am Dom nochmals größere Umbaumaßnahmen statt. Um 1543 begann in Merseburg die Reformation Spuren zu zeigen. 1545 predigte Martin Luther im Merseburger Dom. Nach dem Tod des letzten katholischen Bischofs im Jahr 1561 setzte sich dann auch in Merseburg die Reformation endgültig durch. Das Benediktinerkloster wurde aufgelöst und teilweise abgerissen. Im Jahr 1575 wurde auf Grundlage der alten Domschule das Domgymnasium Merseburg gegründet. Das Stiftsterritorium wurde säkularisiert und kam in den Besitz der Kurfürsten von Sachsen. Bis zum Beginn des 18. Jahrhunderts sollte es allerdings zur Verwaltung des Landes im Auftrage des Fürsten eine eigene Stiftsregierung behalten.

In den Jahren 1605 bis 1608 erfolgten tiefgreifende Um- und Erweiterungsbauten am Schloss. Von 1656 bis 1738 war Merseburg Residenzstadt der Herzöge von Sachsen-Merseburg; diese Zeit war mit reger Bautätigkeit und kulturellem Aufschwung für die Stadt verbunden. In der Folge fiel Merseburg wieder an Kursachsen, dem es bis 1815 angehörte.

Merseburg um 1650, Kupferstich Matthäus Merian 1647

Nach dem Wiener Kongress 1815 wurde Merseburg bis 1945 zur Hauptstadt des preußischen Regierungsbezirkes Merseburg in der Provinz Sachsen. Der Provinzialständetag, das Parlament der Provinz Sachsen, trat 1825 erstmals im Merseburger Schlossgartensalon zusammen. 1895 tagte der Provinzialausschuss dann erstmals im Plenarsaal des neu errichteten Merseburger Ständehauses.

Die Vorstädte Altenburg und Neumarkt wurden 1832 mit dem Dombezirk und der inneren Stadt zusammengeschlossen. Im Jahr 1841 wurden in der Merseburger Domstiftsbibliothek die Merseburger Zaubersprüche entdeckt. Im Jahr 1846 erfolgte der Bahnanschluss der Stadt an die Bahnstrecke Halle-Naumburg.

1916/17 wurde in Merseburg ein Ammoniakwerk errichtet, das die Grundlage der späteren Leunawerke bilden sollte. In den Jahren 1936/37 folgten die Buna-Werke. 1935 wurde ein Militärflugplatz in Betrieb genommen und eine Fliegergarnison stationiert. Außerdem wurde ein Umgehungskanal mit einer Schleppzugschleuse gebaut. Dieser sollte die Schleusen Meuschau und Rischmühle ersetzen, wurde aber nie in Betrieb genommen. Während des Zweiten Weltkrieges wurde Merseburg mehrfach bombardiert. Dabei wurden der Ostflügel des Schlosses sowie große Teile der Innenstadt fast vollständig zerstört und die Schleppzugschleuse beschädigt.