多年后，养成野性的茨木童子已成为酒吞童子的臣属首鬼。这一年，酒吞童子要在大江山修筑新山寨，需要大量物资。茨木童子自告奋勇，带着一批妖鬼来到平安京掳掠。某日傍晚，他游荡到罗生门附近，变身为美女，想要引诱有钱又好色的富商，借机勒逼金钱。
正巧，源赖光手下四天王之一的渡边纲自仕所返回自己宅邸，经过罗生门，见到茨木童子幻化的美貌女子正独自徘徊，便上前询问。茨木童子谎称新迁入京，居于五条府邸，因不熟悉道路，故踌躇不前。渡边纲见天色将晚，便扶女子上马，两人共骑向五条邸而去。
眼看快到五条，美貌女子忽然轻启朱唇，柔声说道：“妾身宅邸其实位于京城之外。”渡边纲问道：“那敢问小姐到底居住何处？”“妾身就住在爱宕山！”话音刚落，女子一把抓住渡边纲的发髻，借着夜色掩护，就要痛下杀手。
渡边纲的腰间正挂着赖光所赐的名刀“髭切”，他见事态紧急，急忙拔刀出鞘，反手一挥，刀锋锐利，寒光一闪，“扑哧”一声已将茨木童子抓着发髻的手臂砍了下来。茨木童子怪叫一声，负痛逃往爱宕山。
名刀“髭切”因此事件，后来被改名为“鬼切”。
为了显示自己的武勇，渡边纲将断臂呈给源赖光，赖光使安倍晴明占卜之。晴明得出结果：渡边纲必须进行七日的“物忌”。只要度过七天，茨木童子拿不回断臂，就会法力全失，再也无法作恶了。
“物忌”是阴阳道中一种暂时断绝酒肉、不能见客的斋戒方式。于是渡边纲按照晴明的指示将断臂收入一个称为“唐柜”的柜子里妥善保管，己身则开始为期七日的闭关斋戒。
过了六天，太平无事。第七天头上，渡边纲的养母来访，养母对渡边纲有大恩，渡边纲不能不见，就将养母迎到屋里款待。谈话间，养母说要看鬼的断臂，渡边纲也不好意思拒绝，只好打开柜子把断臂拿了出来。养母拿着断臂仔细看了许久，忽然大声喊道：“哎呀，我的手臂怎么会在这里呢？”语毕，抓起断臂，乘风破窗，一溜烟逃掉了。原来，养母就是茨木童子变化的。
后世因为这段典故，所以又把茨木童子唤作“罗生门之鬼”。他和渡边纲的传说主要被记载于《平家物语》的“剑之卷”、《御伽草子》，以及谣曲《罗生门》、《大江山》、歌舞伎舞蹈《戻桥》中。