Gleich hinter dem Schlossgarten geht die Landstraße vorüber und dort steht ein Zollhäuschen mit kleinem Garten. Nachdem der Zolleinnehmer stirbt, und die Herrschaft sich mit der Aufführung des Taugenichts als Gärtnerbursche zufrieden zeigt, wird ihm die vakante Stelle angeboten. Er zieht in dem Zollhäuschen ein, übernimmt das Kostüm und die Pfeifen seines Vorgängers und entschließt sich zur Fortsetzung des eingeschlagenen, bürgerlichen Wegs: Er möchte sparen, das Reisen unterlassen und es zu etwas Großem bringen. Dabei vergisst er die schöne Frau, in die er sich verliebt hat, aber nicht.

Er freundet sich mit dem Portier an und entfernt aus dem kleinen Garten alles Gemüse, um nur noch Blumen zu ziehen. Er meint, unter anderen feinen Stimmen die Stimme seiner Geliebten im Schlossgarten zu hören und legt dort jeden Abend einen Blumenstrauß auf einen Tisch in einer Laube, der jeden Tag abgeholt wird.

An einem Abend sitzt er mit dem Portier vor dem Haus und hört die Hörner von der herrschaftlichen Jagd in der schönen Landschaft. Als der Portier dem begeisterten Ausruf des Taugenichts über das wünschenswerte Jägerleben nüchtern widerspricht, jagt der Taugenichts ihn davon, der nun glaubt, der Zolleinnehmer sei verrückt geworden. Wie gewohnt möchte der Taugenichts den Blumenstrauß in den Garten bringen, da kommt, gerade als er zu dem Tisch geht, seine Schöne im Jagdkleid herbeigeritten Sie erschrickt, als sie ihn sieht, und nimmt mit gesenkten Augen seine Erklärung entgegen: Er biete ihr diesen Strauß an und alle Blumen aus seinem Garten und wünschte, er könnte für sie durchs Feuer springen. Den Strauß ergreifend verschwindet sie, da andere Reiter und Stimmen hörbar werden.

Rastlosigkeit, Unruhe und eine innere Fröhlichkeit machen den Taugenichts von da an zu seinem neuen Beruf untauglich. Er langweilt sich und wird von Reiselust überfallen. Da die Sträuße auf dem Gartentisch niemand mehr mitnimmt, legt er keine mehr dorthin und lässt seinen Garten verwildern.

Eines Tages kommt die Kammerjungfer zu ihm und meldet, der gnädige Herr sei gestern von seiner Reise zurückgekommen, es solle deshalb Tanz und Maskerade geben. Die gnädige Frau, die sich als Gärtnerin verkleiden wolle, bitte um frische Blumen und wünsche, sie abends unter dem großen Birnbaum im Schlossgarten entgegenzunehmen. Der Taugenichts denkt, seine Geliebte sei die Tochter des gnädigen Herrn und somit, dass der Auftrag von ihr käme.

Als er vor die Tür tritt, verspottet die Kammerjungfer sein philisterhaftes Äußeres. Er fühlt sich herausgefordert, versucht sie zu fangen und zu küssen, stolpert aber über seinen Schlafrock. Glücklich reißt er das Unkraut aus seinem Garten und sammelt Blumen, die er mit seiner Geliebten vergleicht, in einem Korb. Bei Einbruch der Nacht begibt er sich mit dem Korb zu dem großen Birnbaum, wartet gespannt eine Weile und klettert dann, um freier atmen zu können, in den Wipfel des Baumes, von dem aus er in die Schlossfenster sehen kann. Er fühlt, dass er nirgendwo auf der Welt einen rechten Platz hat.

Nach einer Weile hört er zwei Stimmen und sieht unter sich die Kammerjungfer und die Gärtnerin, die sich, entgegen seiner Erwartung, als die Gräfin herausstellt. Die Gräfin ist über das Ausbleiben des Einnehmers ärgerlich und beide Frauen kehren zum Schloss zurück, als sie hören, dort werde dem gnädigen Herrn das Vivat gebracht.

Von dem Baum aus wird der Taugenichts Zeuge, wie ein junger Herr und die Schöne, die er liebt, auf den Balkon vor das dort aufgebaute Orchester und das Volk treten. Er erkennt, dass nicht sie, sondern die ältere Frau ihn wegen der Blumen bestellt haben musste, und wähnt, seine Geliebte sei wohl längst mit dem schönen Herrn verheiratet. Traurig bleibt er bis zum Morgen in dem Baum. Als er am Morgen erwacht, richtet sich sein Blick in die weite Landschaft hinaus und Reiselust packt ihn, die von dem Gedanken an die Schöne, die im Schloss unter seidenen Decken schlummern mochte, bestärkt wird. Er wirft den Blumenkorb in die Luft, sodass sich die Blumen zerstreuen und geht, oft an Gedächtnisplätzen innehaltend, zu seiner Wohnung, aus der er nur die Geige nimmt und aufbricht. Fröhlich und traurig stimmt er die letzte Strophe des Liedes an, das er bereits bei seinem ersten Aufbruch gesungen hat. Sein Weg geht nun in Richtung Italien.

Die zehn Kapitel des Werkes lassen sich zu je zweien zusammenfassen. Die ersten beiden Kapitel umfassen den ersten Aufenthalt des Helden auf dem Schloss bei Wien, sind ähnlich strukturiert und weisen einander entsprechende Motive auf. Die Variation der Motive des ersten Kapitels im zweiten Kapitel erfolgt dabei im Sinne einer Steigerung und Zuspitzung. Der Aufbruch, der im ersten Kapitel zu Beginn stand, wechselt im zweiten Kapitel die Position: Beide Aufbrüche bilden so für die Kapitelgruppe einen Rahmen.

Der Ablauf in seiner hier wie dort gültigen Struktur ist schnell umrissen. Der Protagonist findet eine Anstellung und richtet sich dort ein. Von dort gibt es zu seiner Geliebten eine Kontaktmöglichkeit, die er regelmäßig nutzt, bis ein einmaliger intensiverer Kontakt zu einem Rückzug der Geliebten auch aus der schon etablierten Gewohnheit regelmäßigen, indirekten Kontaktes führt. Zu einer Begegnung außer der Reihe kommt es in einem geselligen Kontext, in dem die Liebe des Helden, seine Irrtümer hinsichtlich der Identität seiner Geliebten und seine prekäre Stellung am Schloss gleichermaßen zur Geltung kommen.

Gesteigert wird nun im zweiten Kapitel die Philisterhaftigkeit der Anstellung. Kennzeichen sind die Übernahme der Attribute des alten Zolleinnehmers, die Art der Tätigkeit, der Entschluss des Protagonisten, »nunmehr alles Reisen zu lassen, auch Geld zu sparen wie die andern, und es mit der Zeit gewiß zu etwas Großem in der Welt zu bringen« (468) und die Freundschaft mit dem Portier, die denn auch als erstes aufgekündigt wird.

Der Kontakt mit Aurelie ist wieder ein indirekter, jedoch nicht mehr ein nur einseitiger. Im ersten Kapitel hat der Held sie noch unbemerkt beobachtet, nun nimmt sie seine tägliche Gabe an. Auch das Ereignis, das zum Abbruch dieser Gewohnheit führt, ist gewichtiger: Immerhin macht der Taugenichts ihr eine erste Liebeserklärung.

Stärker pointiert ist auf der anderen Seite der erotische Charakter der Avancen der Gräfin: Sie arrangiert ein veritables Stelldichein und zeigt sich, als der Taugenichts nicht erscheint, entsprechend frustriert. Die Kammerjungfer fordert den Zolleinnehmer offener heraus und er versucht sie »zu erhaschen und zu küssen«, um »in der Galanterie« nicht hinter ihr zu bleiben (476). Dass die Gräfin als Gabe dasjenige fordert, was der Taugenichts seiner Geliebten täglich dargebracht hat, befördert wieder die Verwechslung. Dank der verborgenen Beobachterposition, die er im Wipfel des Birnbaums bezieht, kann er aber diesmal wenigstens die Verwechslung durchschauen – obwohl er auch, wegen seiner Geliebten, in einen neuen Irrtum fällt (er denkt, sie sei mit demjenigen verheiratet, der mit ihr auf dem Balkon das Vivat entgegengenommen hat).

Die Beschreibung der Gräfin als prächtige, dicke, rote Tulpe aus dem ersten Kapitel hat ihre Entsprechung in den geschwollenen Halssehnen, die der Held im Mondschein vom Birnbaum aus erkennen kann: »sie sah ganz erbost aus und ziegelrot im Gesicht.« (482) Dort war sie in der Ruhe betrachtet worden, hier in der (verpassten) erotischen Aktion – die Steigerung ist offensichtlich. Etwas anders verhält es sich mit Aurelie, die bei der Begegnung am Gartentisch im höfischen Jagdkostüm auftritt. Erst bei dem Auftritt auf dem Balkon kommen marienhafte Elemente wieder ins Spiel: » – die schöne junge gnädige Frau, in ganz weißem Kleide, wie eine Lilie in der Nacht, oder wie wenn der Mond über das klare Firmament zöge.« (486)

Betrachtet man die Veränderungen insgesamt, wird so eine Drift hin zum Höfischen, zum Sinnlichen und zum Philisterhaften kenntlich, die von Aurelie, die selbst als Teil der höfischen Welt erscheint, nicht ausgeglichen werden kann: Denn ihre marienhaften Züge bedürfen, um voll zur Geltung zu kommen, des Mediums der Wasserspiegelung oder des poetischen Vergleichs. Dem Aufbruch des Helden wächst so über den akuten Anlass seines Irrtums bezüglich des Ehestandes seiner Geliebten hinaus eine gewisse Folgerichtigkeit zu.

In beiden Kapiteln gibt es einen Moment trügerischer Hoffnung, die der Held in der Beschäftigung mit dem Garten ausagiert. Nachdem er glaubt, von Aurelie die Flasche Wein geschickt bekommen zu haben, steht er gegen seine Gewohnheit

alle Tage sehr zeitig auf […]. Da war es so wunderschön draußen im Garten. Die Blumen, die Springbrunnen, die Rosenbüsche und der ganze Garten funkelten von der Morgensonne wie lauter Gold und Edelstein. Und in den hohen Buchen-Alleen, da war es so still, kühl und andächtig wie in einer Kirche, nur die Vögel flatterten und pickten auf dem Sande. (456)

Zu dem Gärtchen am Häuschen des Zolleinnehmers hat der Taugenichts ein anderes Verhältnis. Er hat ihn, bei seinem Einzug, aus einem Nutz- in einen reinen Lustgarten umgewandelt und dann, als der regelmäßige Kontakt mit Aurelie abbricht, verwildern lassen. Als er den Auftrag von dem Kammermädchen bekommt, zum Maskenball frische Blumen zu bringen, reißt er das Unkraut aus, »als zög‘ [er] alle Übel und Melancholie mit der Wurzel heraus« (478), und während er die darunter erhalten gebliebenen Blumen sammelt, vergleicht er sie mit der Geliebten: »Die Rosen waren nun wieder wie ihr Mund, die himmelblauen Winden wie ihre Augen, die schneeweiße Lilie mit ihrem schwermütig gesenkten Köpfchen sah ganz aus wie Sie.« (478)

Diente der herrschaftliche Garten als flexibles Medium der verliebten Stimmung des Helden (vgl. vor allem 487, bei seinem Aufbruch: »Gar oft blieb ich da noch stehen auf manchem Plätzchen, wo ich sie sonst einmal gesehen, oder im Schatten liegend an Sie gedacht hatte.«), als unverbindlicher Ort der Beobachtung und nur am Rande auch des Lebensunterhalts, ist der eigene Hausgarten viel enger und bestimmter mit dem Gefühlszustand und der Lebenssituation des Taugenichts verknüpft. Auf der anderen Seite der Mauer verliert der herrschaftliche Garten im zweiten Kapitel die vage Unbestimmtheit seiner Prospekte und Ruheplätze, wenn mit dem Gartentisch und dem Birnbaum zwei Schauplätze des Kontakts genau bestimmt und ausgesondert werden.

Eine Bilanz des Aufenthaltes auf dem Schloss zu ziehen erlaubt der Blick, den der Taugenichts auf seinen Hausgarten wirft, bevor er loszieht: »Das Gärtchen war geplündert und wüst, […].« (487)