干校宿舍经常变动，林绍纲和郭小川曾同住一个房间。郭小川年过半百，神经衰弱，有肝病，每晚临睡前都要吞一大把红的黄的药片，然后点一支烟，钻进被窝。林绍纲经常听到他用手拍打被子、弹烟灰，嘴里念叨：“糟了，又烧了个窟窿。”

1966年，林绍纲有一次去台基厂的对外友协，碰见正在办公楼一层打扫厕所的杨朔。他双颊微红，面露尴尬地对林绍纲说：“他们说我里通外国，真是无中生有。”第二年，林绍纲又在一个外事场合碰到了杨朔，知道他被解放允许参加一些活动，彼此都很高兴。

《共青团、少先队组织开展五中全会精神宣传宣讲》外委会主任为萧三，副主任杨朔、陈白尘。林绍纲担任办公室副主任，手下有十多位精通各种小语种的职员。