从此牛郎在地里耕种，织女在家里纺织。有时候，织女也帮助牛郎干些地里的活，两个人你勤我俭，不怕劳累，日子过得挺美满。转眼间两三个年头过去，他们生了个男孩，一个女孩。到孩子能说话的时候，晚上得空，织女就指着星星，给孩子讲些天上的故事。天上虽然富丽堂皇，可是没有自由，她不喜欢。她喜欢人间的生活。跟爸爸一块儿干活，她喜欢。逗着兄妹俩玩，她喜欢。看门前小溪水活泼地流过去，她喜欢。听晓风晚风轻轻地吹过树林，她喜欢。两个孩子听她这么说，就偎在她怀里，叫一声妈妈，回过头来又叫一声爸爸。她乐极了，可是有时候也发愁。愁什么呢？她没告诉牛郎。她是怕外祖母找她，知道她在这儿。
一天，牛郎去喂牛，那条衰老的牛又说话了，眼眶里满是眼泪。它说：“我不能帮你们下地干活了！咱们分手了！我死以后，你可以把我的皮剥下来留着。碰见特别紧急的事，你就披上我的皮，这对你会有帮助。”老牛说完就死了。牛郎听老牛的话，忍着悲痛剥下牛皮，藏起来。夫妻两个痛哭了一场，把老牛的尸体埋在屋后边的山坡上。
再说天上，仙女们溜到人间洗澡的事到底让王母娘娘知道了。王母娘娘罚她们，把她们关在黑屋子里，要等她们不再有贪玩的心才能放出来。她尤其恨织女，竟敢留在人间不回来，简直是有意败坏她的门风，损害她的尊严。她发誓要把织女捉回来，哪怕藏在泰山底下的石缝里，大海中心的珊瑚上，也总要抓住她，给她顶厉害的惩罚。
王母娘娘派了好些天兵天将到人间察访。察访了好久，才知道织女在牛郎家里，跟牛郎做了夫妻。一天，她亲自到牛郎家里，可巧牛郎在地里干活，她就一把抓住织女往外走。织女的男孩见那老太婆面生，怒气冲冲地拉着妈妈走，就跑过来拉住妈妈的衣裳。王母娘娘狠狠地一推，孩子跌倒了，她就带着织女一齐飞起来。织女望着两个可爱的儿女，眼泪汪汪的，心里恨极了，有好些话说不出来，只喊了一句：“快去找爸爸！”
牛郎跟着男孩赶回家，只见梭子放在织了半截的彩锦上，灶上的饭正冒热气，女孩坐在门前哭。他决定上天去追，把织女救回来。可是怎么能上天呢？他忽然想起老牛临死说的话，这不正是特别紧急的事吗？他赶紧披上牛皮，找两个筐，一个筐里放一个孩子，挑起来就往外跑。一出屋门，他就飞起来了，耳朵旁边风呼呼地直响。飞了一会儿，望见妻子和老太婆了，他就喊“我来了”，两个孩子也连声叫妈妈。越来越近，眼看要赶上了，王母娘娘拔下头上的玉簪儿往背后一划，糟了，牛郎前边忽然显出一条天河。天河很宽，波浪很大，牛郎飞不过去了。
从此以后，牛郎在天河的这边，织女在天河的那边，只能远远地望着，不能住在一块儿了。他们就是天河两边的牵牛星和织女星。
织女受了很厉害的惩罚，可是不肯死心，一定要跟牛郎一块儿过日子。日久天长，王母娘娘拗不过她，就允许她每年七月七日跟牛郎会一次面。
每年七月七日，成群的喜鹊在天河上边搭一座桥，让牛郎织女在桥上会面。就因为这件事，所以人们说，每逢那一天，空中很少见喜鹊，它们都往天河那儿搭桥去了。还有人说，那一天夜里，要是在葡萄架下边静静地听着，还可以听见牛郎织女在桥上亲亲密密地说话呢。