An der Stelle, wo sich heute mitten in der Stadt der viergeschoßige Klotz des Postgebäudes erhebt, stand einst, spätestens seit dem 16. Jahrhundert, das einstöckige städtische Brau- und Schankhaus. Unmittelbar daneben befand sich der städtische Körnerkasten. Als nach der Einführung der Schulpflicht unter Maria Theresia das alte Schulgebäude, das sich zwischen Pfarrhof und Kirche befand, viel zu klein wurde, verlegte man 1777 die Schule in das ehemalige Brau- und Schankhaus. Im 19. Jahrhundert war das Haus den Ansprüchen, die nun an ein Schulgebäude gestellt wurden, nicht mehr gewachsen, und die Gemeinde Zwettl errichtete 1872 in der heutigen Schulgasse die Volks- und Bürgerschule. 1899 ließ die Gemeinde dann das ehemalige Brau- und Schankhaus abtragen. Hier sollte ein neues Amtsgebäude entstehen. Beim Abbruch des Hauses entdeckte man Sgraffiti und die Jahreszahl 1571. Trotzdem ließ man das Haus restlos beseitigen. Die Pläne für das neue Amtshaus stammten von dem renommierten Wiener Architektenteam Moritz und Carl Hinträger. Sie gaben dem Haus eine späthistoristische, der Renaissance verpflichtete Fassade. 1964 erwarb die Österreichische Postdirektion von der Gemeinde das gesamte Gebäude, ließ es 1970 abtragen und den heute noch bestehende Bau errichten, um in ihm ein, gemäß den damaligen technischen Möglichkeiten, für die Telefonversorgung der Region notwendiges Netzgruppenwählamt unterzubringen. Das kahle, schmucklose Gebäude, das wie ein Fremdkörper im Stadtzentrum steht, erregte den Unmut der Bevölkerung. So ließ die Postdirektion 1979 die Fassade neu gestalten, um sie dem Stadtbild ein wenig anzupassen.