1962年的香港，报社主编周慕云（梁朝伟饰）和他的妻子搬进了一幢公寓，与他们同时入住的还有苏丽珍（张曼玉饰）夫妇。苏丽珍在一家贸易公司担任秘书，而她的丈夫因为工作经常出差。周慕云的妻子和苏丽珍的丈夫一样，也常不在家，于是周慕云和苏丽珍便成为了房东太太麻将桌上的常客。在逐渐的交往中，两人发现彼此有许多共同的兴趣，比如对武侠小说的喜爱等，也变得越来越熟悉。直到有一天，周慕云和苏丽珍发现各自的另一半早已是婚外恋的主角。这个发现让两人不得不面对这个现实。两颗受伤的心小心翼翼地靠近，却又难舍难分，最终化为无缘的伤痛。周慕云和苏丽珍之间的关系变得复杂而微妙，她一直羞涩地低头，给他一个接近的机会，但他却没有勇气靠近。身处遥远的异国，周慕云无法忘记与苏丽珍之间的一切。如果当天她真的答应跟他走，他们现在会不会还在一起？抑或注定分离，各分东西？有人认为，自从他们在同一天搬进同一层楼，成为邻居，命运已将他们放在一起了。而当他们发现彼此的配偶间发生了不可告人的关系时，在他们之间更像是牵连着无形的线，要割也割不断。至今他还能看见那一群漂荡的身影，刹那的相聚。房东夫妇们、自己的妻子周太太、陈先生、陈太太以及苏丽珍。在楼梯间、走廊上，与她擦肩而过，或微笑寒暄，又何曾想过她那素静的面容、明媚的体态，竟会成为他日深刻的思念。他们在配偶背叛的阴影下，各怀心事地靠近。那是个一切变得飘摇不定、难堪的所在。有时她仿佛倚赖，又突然叛离。他想要占据，但缺乏勇气。想要忤逆，但是面对她那庄重的神色，他感到说不出来的情怯。见不着时，愈来愈想。那些背着人偷来的、幽室相守的时光，是多么和煦而平静。那些久候不至的苦等，明知是她却听不见声音的电话，又是多么炽热和辛烈。直到他作出了远行的决定，才向她道出真心的话语。此时此刻，他不禁想到他真正背叛的人，也许是她。一切都退去了，香港、1962年、那个陈旧的秘密。不管当初是为了报复或色诱，抑或单纯的慰藉，到最后，只剩下眷顾。那些消失了的岁月，仿佛隔着一块积着灰尘的玻璃，看得见，抓不着。他一直在怀念着过去的一切。如果他能冲破那块积着灰尘的玻璃，他会走回早已消失的岁月。