根据《爱情闯进门》剧情，雨江离开的原因可归纳为以下三点：

牵挂儿时玩伴丫丫

雨江内心深处一直牵挂着儿时孤儿院的玩伴丫丫，这种情感羁绊成为他离开的重要原因。尽管雅音是丫丫的真实身份，但雨江的潜意识反应仍驱使他选择离开。

未解决的情感矛盾

雨江与雅音之间二十年的感情纠葛未得到彻底解决，集团宴会等场合的矛盾积累可能促使他选择暂时离开，以避开直接冲突。

对现实压力的逃避

剧情中雨江面临家族责任与个人情感的拉扯，离开可能是他对现实压力的短暂逃避，为后续情感转折埋下伏笔。

总结：

雨江的离开是多重因素共同作用的结果，既包含对儿时玩伴的深厚情感，也反映了他对未解决矛盾的回避，以及现实压力下的心理挣扎。