Terwijl de praktijk nog op  Oudezijds 100 was, vond hij met vrouw en twee kinderen Thea en Otto een woning op de hoek van het Oudekerksplein en de Enge Kerksteeg. Dat duurde maar even. In 1956 kwam het huis vrij waar hij zich definitief zou vestigen: Oudekerksplein 50, een huis uit 1648 met een mooie klokhalsgevel op de hoek van de Sint Annendwarsstraat. Het was er klein en benauwd. De wachtkamer was beneden; de praktijkkamer boven. Het zat soms zo vol, dat patiënten geregeld op de trap zaten te wachten tot ze geholpen werden.
Al snel was duidelijk dat Groothuyse geen doorsnee huisarts zou worden. Daar ging zijn hart ook niet naar uit. “Aan kinderen bijvoorbeeld had hij ronduit een hekel”, zegt zijn dochter. Maar waarom hij koos voor de Wallen? Het was de zelfkant die hem aantrok en waarin hij ook zichzelf herkende, ondanks zijn academische vorming en belangstelling voor filosofie.

Tot zijn patiënten behoorden tot van bekende personen, waaronder Gerard Reve en  tal van hoofdstedelijke kunstenaars, de schilder Anton Heyboer, etser Jan Montyn, beeldend kunstenaar Simon Posthuma en verhalenverteller Willem de Ridder . Éénmaal meldde zich zelfs de door Groothuyse bewonderde Jean-Paul Sartre – toevallig in Nederland – die leed aan een geslachtsziekte. Een spuitje hielp hem ervan af.
Maar het overgrote deel van de patiënten bestond uit minder bekende personen in de vorm van hoeren, pooiers, homo’s en transseksuelen. Van de laatsten waren er niet veel meer dan een handvol in Nederland, maar via de enige arts die zich toentertijd bekommerde om hun lot, dr. Otto de Vaal, kwamen ze praktisch allemaal terecht in de praktijk van Groothuyse, die bekend stond onder bijnamen als de druipertjesdokter, de lullendokter of de hoerendokter. Hij was een veilige toevluchtshaven voor alles wat afweek van de norm. Je hoefde ook niet op de Wallen te wonen om bij hem terecht te kunnen. Als je maar cash geld meenam, want daar hield hij van.

Groothuyse had ook schrijversambities. Hoewel hij altijd heeft ontkend kunst te willen maken, schreef hij wel Eten van twee Walletjes, een serie bespiegelende verhalen en filosofietjes over de vakantie en de dagelijkse gang van zaken. En hij ging nog verder, want ook verscheen een dichtbundel: De pooier e.a. gedichten. Twintig gedichten, waaronder zelfs één in het Frans.

Hoe verknocht Groothuyse ook was aan de buurt, het werd hem toch geregeld teveel. Dan vluchtte hij naar zijn tuinhuisje op Nieuw Vredelust aan de Buitensingel.
Maar hét middel om te ontsnappen aan de drukte van de stad, vond hij eerst in een bootje in Durgerdam, later in een omgebouwde VW-bus. Hij ging er vaak mee op pad en zocht dan ergens midden in een bos of langs een rivierdijk de rust die hij op het Oudekerksplein zo miste.
Maar hoewel die tochtjes hem wel kalmeerde, hielpen ze niet tegen zijn echte problemen: de depressies en stemmingswisselingen, die  hem vaak naar de fles deden grijpen. De whisky was nooit ver weg en hij snoepte regelmatig uit de eigen medicijnkast.
Huwelijksproblemen veroorzaakten een breuk met zijn vrouw Len. Hij scheidde in 1981 en begon een nieuw leven met een andere echtgenote, Zijn tweede huwelijk bracht hem niet de zielenrust waar hij wellicht op had gehoopt, want in december 1983 maakte hij een einde aan zijn leven.