Die Novelle weist insgesamt eine komplexe äußere Form auf, die mit der inhaltlichen Vielschichtigkeit korrespondiert. Auffällig ist eine doppelte Rahmenstruktur, in die eine Binnenerzählung eingebettet ist. Der erste, äußere Rahmen ist dabei sehr kurz und einführend und er wird am Ende der Novelle nicht mehr geschlossen, sondern bleibt offen. Die zweite, innere Rahmenhandlung wird dagegen geschlossen. Zwischen der Rahmenhandlung und der Binnenhandlung gibt es inhaltliche Bezüge, sie sind durch Motive und Symbole miteinander verbunden.
Während genretypisch im Mittelpunkt einer Novelle ein »unerhörtes Ereignis« (Paulsen, S. 118) steht, legt Theodor Storm für sein Werk die Definition der Novelle anders aus. Statt in dem außergewöhnlichen Ereignis sieht er das Charakteristische der Novelle »nicht in einem bestimmten Ereignis, sondern in dem sich zuspitzenden Aufbau der Novelle, in der ein Konflikt im Mittelpunkt steht« (Ehlers, S. 51).
Sowohl die beiden Rahmenhandlungen als auch die Binnenhandlung haben andere Erzählperspektiven. Im äußeren Rahmen erinnert sich ein namenlos bleibender Ich-Erzähler in der Erzählgegenwart des Autors, den 1880er Jahren, an eine Geschichte, die er vor über 50 Jahren im Hause seiner Urgroßmutter in einer Zeitschrift gelesen hat. Er konnte diese Erzählung sein Leben lang nicht vergessen, konnte die Quelle aber nicht mehr wiederfinden, da ihm auch der Name der Zeitschrift entfallen ist. Er gibt nun das damals Gelesene wieder, kann sich aber durch die große zeitliche Distanz nicht mehr dafür die »Wahrheit der Tatsachen verbürgen« (9). Durch die genaue Beschreibung der damaligen Atmosphäre im Hause der Urgroßmutter und die Nennung der beiden möglichen Zeitschriften, »Leipziger« und »Pappes Hamburger Lesefrüchten« erfolgt eine Beglaubigung des nun Folgenden, die jedoch durch die große zeitliche Distanz wieder relativiert wird. Der Ich-Erzähler bezeichnet sich somit selbst als unzuverlässiger Erzähler.
Zu Beginn der inneren Rahmenhandlung taucht der erste Ich-Erzähler noch einmal mit den einführenden Worten »so begann der damalige Erzähler« (9) auf. Die weitere Rahmenhandlung wird von einem unbekannten Reisenden erzählt, der in einer Sturmnacht auf einem Deich in Friesland eine Begegnung mit einem unbekannten Reiter hat. Nachdem er in ein Wirtshaus flüchtet, erfährt er dort von einem alten Schulmeister die Legende des Schimmelreiters. Diese innere Rahmenhandlung spielt »im dritten Jahrzehnt unseres Jahrhunderts« (ebd.), also in den 1820er Jahren und wird geschlossen, als der Reisende nach der Sturmnacht, die er im Wirtshaus verbracht hat, am nächsten Morgen über den Hauke-Haien-Deich weiter in die südlich gelegene Stadt reist. Auch dieser Ich-Erzähler ist nicht zuverlässig, da er selbst nicht weiß, ob er seinen Augen und seinen Sinnen trauen kann, sich nicht erklären kann, was es mit diesem unheimlichen Reiter auf sich hat, von dem er »keinen Hufschlag, kein Keuchen des Pferdes vernommen [hat]« (11), obwohl dieser nah an ihm vorbeisauste.
Die Binnenhandlung beinhaltet die Lebensgeschichte von Hauke-Haien, der eben in jener Gegend, aber ein Jahrhundert zuvor, »in der Mitte des vorigen Jahrhunderts, oder vielmehr, um genauer zu bestimmen, vor und nach derselben« (14), Deichgraf war. Sie wird dem unbekannten Reisenden und weiteren Zuhörern im Wirtshaus von einem alten Schulmeister erzählt, der als meist auktorialer Erzähler, oft aber mit personaler Beschränkung auf die Hauptfigur Hauke Haien erzählt. Anlass ist die Erwähnung seiner unheimlichen Begegnung auf dem Deich, die die Anwesenden im Wirtshaus sofort an den Schimmelreiter denken lässt. Das Erzählen findet zum großen Teil in der Wirtsstube statt, später, als der Deichgraf und alle Anwesenden nach draußen gegangen sind, um die Lage am Deich zu überprüfen, dann in der Bibliothek des Schulmeisters.
Der Schulmeister erzählt chronologisch die Lebensgeschichte von Hauke Haien, beginnend mit seiner Jugend, bis zu seinem frühen Tod in der Nacht der Sturmflut von 1756. Die Kindheit wird ausgelassen. An insgesamt fünf Stellen der Erzählung unterbricht sich der Schulmeister und führt so die Leser und Zuhörer wieder in die Erzählgegenwart zurück. »Es ist erkennbar, daß die chronologisch fortlaufende Binnenhandlung durch die Unterbrechungen in Sinnabschnitte zerlegt wird« (Hildebrandt. S. 28). In diesen Einschüben verweist der Schulmeister beispielsweise in der ersten Unterbrechung auf historische Personen wie Hans Mommsen (16), den er mit Hauke Haien in Verbindung setzt und damit der Geschichte die Authentizität von realen Geschehnissen verleiht.
Im zweiten Einschub betont er, dass »Hauke [...] weder ein Narr noch ein Dummkopf« (21) gewesen sei und relativiert so unheimliche Ereignisse der Seegespenster, die an dieser Stelle der Erzählung auftreten. Gleichzeitig jagt aber in der Erzählgegenwart am Fenster des Wirtshauses wieder die Gestalt des Schimmelreiters vorbei. Dies ist auch ein Beispiel für Entsprechungen von Motiven der Binnen- und Rahmenhandlung. Sie führt zu der die Novelle bestimmenden Frage, was wirklich und real, was irreal und unerklärlich bleibt. Davon ist auch der dritte Einschub in die Erzählung geprägt, bei der der Deichgraf und die anderen Anwesenden das Wirtshaus verlassen, um zu überprüfen, welches Unheil sich draußen am Deich anbahnt, da weitere Augenzeugen den Schimmelreiter gesehen haben. Sie alle glauben an die Existenz dieses Deichgespenstes, das ein kommendes Unglück vorhersage (vgl. 55/56).
In den Einschüben reflektiert der Schulmeister jedoch auch über das Erzählen selbst. Auch dieses bleibt relativ und ist von der Perspektive des Erzählenden und dem Weltbild derer abhängig, die die weit in der Vergangenheit liegende Geschichte in die Gegenwart überliefert haben. So verweist der Deichgraf schon, bevor der Schulmeister zu erzählen beginnt, darauf, dass er sie anders erzählen wird, als es beispielsweise seine Wirtschafterin Antje Vollmers könnte (vgl. 13). »Damit konkurrieren von Beginn an zwei Versionen der Geschichte um die Wahrheit des Erzählten« (Ehlers, S. 41). Auch beim vierten Einschub betont der Schulmeister, dass er das bisher Erzählte »aus den Überlieferungen verständiger Leute [...] zusammengefunden [hat]«. (73) In den zweiten Teil der nun folgenden Lebensgeschichte Haukes ist jedoch auch »das Geschwätz des ganzen Marschdorfes, sobald nur um Allerheiligen die Spinnräder an zu schnurren fangen« (ebd.), eingeflossen. Der Schulmeister selbst ist zwar ein «Aufklärer[ ]« (136) und bemüht sich in seinem Bericht, bei den Fakten des real Geschehenen zu bleiben, er klammert aber auch die anderen irrealen und phantastischen Elemente der Geschichte nicht aus. Die hier erwähnten Spinnräder schließen dabei als »Urbild der oralen Tradition von Literatur« (Kuhn, S. 183) eine vor allem weiblich geprägte Erzählperspektive mit ein. »Wiederum dient die Unterbrechung auch dazu, den Leser dazu zu bringen, distanziert von der Handlung Kenntnis zu nehmen« (Hildebrandt, S. 29).
Auch im fünften und letzten kurzen Einschub, bevor sich dann in der Geschichte die Katastrophe und das Ende Hauke Haiens anbahnt, verankert der Schulmeister mit Verweis auf die Sturmflut von 1756 die Geschehnisse in der Realität (vgl. 121).
Insgesamt wird durch diesen doppelten Erzählrahmen, in dem jeweils unterschiedliche Erzähler auftreten, das Geschehen der Binnenhandlung für den Leser zeitlich distanziert. »Durch die Überlieferung der Geschichte über mehrere Erzähler und den Wechsel des Mediums vom Mündlichen zum Schriftlichen [...], bleibt ungesichert, was wahr oder falsch, erdacht oder tatsächlich geschehen ist« (Ehlers, S. 49). Damit verfolgt der Rahmen der Novelle ein gegensätzliches Ziel, zu dem, das er eigentlich in der Novellistik des Realismus hat; in diesem Fall dient er nicht zur Beglaubigung und Verankerung des Geschehenen in der Realität.
