在《长安的荔枝》中，李善德最后成功将荔枝运到长安，却因得罪权贵杨国忠，被从轻发落，全家流放岭南。

在岭南，他在石门口帮阿僮修复受伤的荔枝树，打算种出一片荔枝园，把当初砍的荔枝树赔给果农。一年后安史之乱爆发，长安沦陷，李善德因身处偏远的岭南，躲过战乱，保住了性命，得以在岭南继续过着与荔枝打交道的平凡生活。