被买回来的男子是白芷的生身父亲，他父亲何知许，江南人士，母亲早亡，嫡姐和父亲又不容人，为父不慈，后来何知许的爹爹又病逝，当时何知许已有了秀才功名，如要继续科考，就需要继续读书，还需花费大量银钱，读成之后，最终还要嫁出去，他嫡姐和父亲认为不值当。他只好带着爹爹留给他的一点钱财去省城考取举人，中举后，挣了些银钱，接着又北上长安去考取功名。开元一四一年中了两榜进士。中进士后，他不满二十五，尚未婚配。被小世家苏家家主看上，为自家女郎求娶，苏家女郎当时年近十八。婚前两人见过一面，苏家女郎长相清婉，两人虽未如何交往，但何知许已暗暗心动。苏家家主在兵部任四品兵部郎中，苏家几辈人的积累，在长安世家中也算有一席之地。苏家女郎不喜科考，没有功名，苏家家主为了延续家族兴旺，榜下捉婿，让自家女郎娶了新科进士何知许。
何知许嫁给苏家女郎后，又考过翰林院庶吉士，而苏家女郎也很快就有了身孕。长子出生后，何知许见妻主虽然未能为自己生下嫡长女，但他仍是非常喜欢嫡长子，给他取名苏何芗，谐音苏合香。将他视若珍宝，妻主纳娶侧夫后，何知许就一直亲手带着长子，三岁给他开蒙，五岁又请了剑客教他习武，小苏何芗非常懂事，又肯吃苦，让何知许倍感欣慰。
苏何芗八岁那年，他母亲决定再给他父亲生个孩子，两人准备了几个月，苏家娘子才有了身孕，可还没有来得及生下这个孩子，苏家就卷入了兵部贪墨案。边关士兵冬日粮草短缺，棉衣无着，为此闹到了女皇那里，女皇震怒，下令彻查。苏家家主和兵部尚书交往颇深，为此被一同查办。苏家上下百十口全被下狱，若不是苏家家主是女子，恐怕也会和兵部尚书一起问斩，为此，苏家女子皆被判入女楼，终身不得赎；苏家男子十四岁以下全部发卖，十四岁以上流放岭南瘴疠之地。
苏何芗当时刚满八岁，在官方的人牙子那里呆了三天，就被长安的怡和楼买走了。可怜世家子，一朝沦为青楼里的小倌儿。他如何能接受这般命运？怡和楼自然有一套专门制服这等小童的办法，挨打、饿饭、针扎是常有的事，更多的是那些细细碎碎的精神折磨。容嬷嬷的那一套充分派上了用场，不出三个月那些和苏何芗一起买进来的小童都被驯服了，然后楼里的教习师傅开始教他们琴棋书画以显得高雅，又教他们如何取悦来楼里寻欢作乐的女子和男子。四年下来，教习师傅发现见苏何芗表面温顺，内里反抗，实在是难以驯服，不能留在长安这种达官贵人遍地走的地方，就把他分到了武陵的怡和楼。在武陵怡和楼，苏何芗依然从骨子里默默地反抗，楼里的爹爹看到他这样很是生气，押着他在房间后面看别的小倌儿如何取悦客人，服侍客人，又引诱他，企图让他贪恋楼子里纸迷金醉的生活，可依然难以驯服他，为此楼里的爹爹很头疼，给楼里的常客赵财主抱怨新来小倌儿的不服管教，赵财主一听很感兴趣啊，他最是喜欢收服有傲骨的小***。一见苏何芗那俊俏的小模样，心生欢喜，愿意出一千两银子买苏何芗的初夜，半个月后就要。楼里的爹爹无良，苏何芗才十二，按理说应该等到他十五才可以让他接客，可现在赵财主愿意出高价卖他的初夜，纵使等他到十五岁，也未必就能拍得到这么高的价钱。为此楼里的爹爹就让苏何芗半个月后准备伺候赵财主。其他小倌儿一听赵财主，都吓得不行。赵财主成亲前就喜欢***，给了他那贪财的妻主一大笔银子，让她为自己生了一对小郎后，就带着两个小郎和离，立了独户，自此流连欢场，更加肆无忌惮。赵财主最是能折磨人，楼里让他***的小倌儿最后基本上不死也残了。大家都一脸同情地看着苏何芗，希望赵财主看他小，能怜香惜玉一点，留他条性命。
苏何芗得知自己未来的命运，反而平静下来。还有三天就要去伺候赵财主了，他让楼里的小厮给他买了两份榛子糕，他知道自己不能吃榛子，因为一吃，几乎是要命的，身上起红疹，发烧，呼吸困难。
他抱着赴死之心吃完了整盘榛子糕，又准备了一些放到自己中衣的暗袋里。然后静静地等待自己的命运，很快他就浑身起满了红色的疱疹，发起了高烧，楼里的爹爹一看，忙招来楼里给小倌儿们看病的医者，那人只擅长看男科各种疾病，并不太擅长看其他的病。他一看苏何芗发了高烧，满身起疱疹，呼吸困难，像极了天花。他以为他得了传染极厉害的天花，吓了一跳，连忙让楼里的爹爹将苏何芗隔离开，以免传染给别人。
楼里的爹爹让人将苏何芗搬到了一间偏僻的屋子，等了三天，发现他身上的红疹仍未消退，反而陷入了昏迷，丧失了意识。鸨儿爹怕他死在楼子里晦气，万一被客人发现了，传出去，就没人肯来楼里玩了。趁着清晨人少，楼里的鸨儿爹让人用破席子将苏何芗卷起来，直接扔到了乱葬岗。
苏何芗在乱葬岗躺了快一天，黄昏的时候，听到不远的路上有马车经过的声音，他用尽全身力气呼救。恰逢大郎君和孟北驾车路过此地，听到了微弱的呼救声，大郎君走下道路，循着声音找到了乱葬岗，看到了躺在破席里苏何芗。大郎君看他浑身起疹子，还发着烧，再不救治就会死了，遂起了怜悯之心，将他救了回去。
过了七天，苏何芗才慢慢恢复过来，大郎君见他是个俊俏的小郎君，安安静静。问他家人在何处，他只说没了家人。他借宿在破庙里，因得了病，被乞丐们给扔到了乱葬岗。
大郎君无意深挖他的身世，只想着救人一命胜造七级浮屠。等他彻底康复，就放他离开。苏何芗见大郎君面慈心善，离了大郎君他的命运会如何，他很清楚。于是跪下来恳求大郎君收留，为奴为仆都可以。只是他没有户籍，大郎君也不敢轻易收留。恰巧大郎君的陪嫁王家娘子的大郎意外没了，尚未销户。孟北就让苏何芗用了王家大郎的身份留了下来，大郎君重新给他取名白芷，让孟北教他武艺，将来当个得力人手培养。后来发现他非常聪慧，又勤奋刻苦，还识文断字，遂起了爱才之心，留在身边当了学徒，放到龙阳县的药房做个帮手。
这些年大郎君观察他脑子好用，做事又踏实，忠心耿耿，很知道感恩。想着如果自己的二郎还活着，应该也有这么大吧！他把对二郎的爱一部分转移到了白芷的身上而不自知。孟萦出事后，没有合适的人来照顾她，就把白芷和半夏派过去照顾。这一年多下来，自家女郎好像也习惯了白芷的照顾。现在白芷的父亲因为女皇的赦免，来武陵寻他。大郎君愿意放他们父子归家，可何知许现在身染重病，沉疴已久，如不及时救治，很快就会撒手人寰。再说他们也没有亲人了，何知许娘家是回不去了，纵使回去他姐姐也不会接纳他们父子。如果从大郎君家离开，真的就走投无路了，再加上他们的身份又见不得光，留在大郎君身边就是最好的选择。更何况大郎君父女于他们父子有救命之恩，就算是为了报恩也要留在他们身边。
孟萦没想到，白芷的身世如此多舛，又见他爹爹实在可怜，心生怜悯，泪汪汪地看着大郎君。
大郎君这些年将白芷带在身边，悉心教导，对他犹如自家小郎，可他和他爹爹的身份始终是个问题。沉吟片刻道：“如果你们父子留在孟家，就不能相认，白芷身份仍是王家大郎，你父亲我自会救治，等他病好，就算是为萦儿请的夫子吧，如果何夫子你能让萦儿考取进士功名，我自会还你身契，让她给你养老，你们看这样如何？”
他们父子一听，哪有不许的道理。孟萦一听，怎么又多了位夫子？真是学海无涯呀！
大郎君又让白芷起誓，终其一生都不准背叛萦娘。将来长大，至于萦娘是否愿意纳他为侍夫或侧夫，全凭他的本事。
自此之后，孟萦就觉得白芷对自己比之以前好像有所不同，可又说不出是哪里不同。反正她是个心大的人，并未将这些放在心上。因为她每日牵挂的是她的挣钱大计。
何夫子在大郎君的调理下，一天天好起来。他主要是流放过程中风里来雨里去，过度劳累，加上饮食不济，长期营养不良，又时刻牵挂着自家儿郎，才会导致身体受损严重。他在流放地就一直找人打听苏何芗，听人说他被卖到了怡和楼，他心疼的不得了。后来又听说他到了武陵的怡和楼。女皇的赦令一到，他就立马风雨兼程地赶往武陵，到了怡和楼一问，才知原来四年前，苏何芗就病逝了。何夫子当时如遭雷击，求生无望，大病一场。要不是碰到闲逛的孟萦和白芷，他估计也活不了几天。何夫子只比大郎君大五六岁，但他看着像是个耄耋老人，而大郎君看着却如二十出头的青年郎君，俊俏儒雅，气度不凡。