情感方面，谢贤一生有过两段婚姻三段感情。
中新网报道，1974年他与甄珍注册结婚，3年后协议分居；1978年追求狄波拉，次年成婚，育有谢霆锋和谢婷婷，1995年画下句点。他还曾与嘉玲（何佩英）、萧芳芳交往，晚年又与年轻女友Coco相伴。
外界总说谢贤风流，但他并不承认。“爱情讲缘份。我来来去去就只有5个女人，大家都知道的。自从拍过《三妻奇案》，人人都认定我风流。至少我不会随便在街上见到个女孩，觉得她漂亮，就去追她，我是谢贤，有名有姓，谁都知道我，如果被别人传我在外面到处追女孩的话，那名声就会掉下来。到现在，据我所知没有女人说过我的坏话。”
而比情史更牵动人心的，是他与谢霆锋之间的亲情线。谢贤曾半开玩笑地说，自从1980年谢霆锋出生，自己的光芒便瞬间下降，所有焦点从此转移到儿子身上。日常称谓也从谢贤慢慢变成“谢霆锋的父亲”。
谢贤曾多次在采访中坦言以谢霆锋为傲，但也承认与儿子“不是很熟”，因为父子俩早年因各自忙于拍戏，有时三四个月都见不上一面，甚至连电话都没有。
转机出现在2010年，谢霆锋凭《十月围城》夺得金像奖最佳男主角，他在台上重提18岁拿下最佳新演员时的轻狂，当时他曾不知天高地厚地把奖座放在桌上，反问父亲“你有没有拿过金像奖？”谢霆锋在领奖台上，一字一句地对谢贤说 ：“希望他原谅这个不知天高地厚、没礼貌的小朋友……老爸，对不起。”
从16岁入行，从黑白粤语长片到彩色大银幕，从电视黄金期到新世纪影坛，谢贤的一生，几乎就是香港影视发展的活历史。而于观众而言，那个永远西装笔挺、腰背挺直、笑容潇洒的“四哥”，将永远活在光影之中。
