因为是商人的家（有一家的朱红对联上写道：“做官好营商好效好便好；创业难守成难知难不难”，很朴实地说出了商人哲学），没有深宅大院。门小，进门是一个天井，天井石条上照例有几盆花。上水石积苔甚厚。有一家有一丛天竺，结实才如胡椒大，而颜色鲜红发亮，与别处常见的如梧桐子大者不同，或别是一种。正面为前堂、后堂，是待客起坐处，两侧是卧室。房屋不高大，谨谨慎慎，人口不多，住起来大概相当舒服。门窗雕镂得很精致，或有涂金漆者。我没有看到流水直到堂前灶前，倒看到一家“四水归堂”。堂中方砖下是空的，落雨，水由天井流至堂下。有一块石牌可以揭起，取水甚便。
有一家在两巷相交处有一转角楼，楼在围墙内，依势而起，逶逶迤迤，不方不正。屯溪人说这是小姐抛彩球的绣楼。这当然是无稽之谈。抛球择婿是戏文里的事，于史无征，而且即在戏里，也只有王宝钏抛过彩球，余无闻焉（据说广西侗族有抛彩球风俗，不知如何会传到山西梆子里—“彩楼配”最初大概是山西梆子）。明清以后，黟县何能有此风俗？抛球的彩楼是临时搭起的，怎么会有一个永久性的建筑？这家有多少小姐？每个小姐都用抛球的办法择婿吗？再说这座楼下是两条相交的巷子，并非通衢广场，也容不下许多王孙公子挨挨挤挤地抢彩球。这座楼上有一白底黑字的横匾，文曰：“桃花源里人家”，证明这是主人静处闲眺的地方，与小姐无涉。楼下围墙开一小门，黑色的大理石横额上刻了一行小篆，涂金，笔划细秀：“作退一步想”，是这家的后门，而已。因为这座楼形制特别，小巧玲珑，望之有趣，因此生出小姐抛彩球的附会，也无足怪。