曹操随即给了这位荆州才子一个任务,南下招降荆州江南四郡,刘巴领命南下。但没过多久,就传来曹操赤壁兵败的消息,此时刘巴正在零陵一带,随后刘备南下占领四郡,刘巴完不成任务四处游荡,诸葛亮听说刘巴在荆州,亲自写信劝刘巴辅佐刘备,共成大业。刘巴回信拒绝了诸葛亮的邀请,宁可南下交州也不投刘备。刘备听说后对刘巴记恨于心。
刘巴到交州后几经辗转来到蜀地,成为刘璋的幕僚座上宾,刘璋派法正到荆州迎刘备,刘巴出来反对,但刘璋不听,刘巴干脆闭门不出。
刘备进入成都后,为表示自己的宽宏大度,下令不准伤害刘巴。刘巴也主动前来请罪,众人都知道刘巴跟刘备之前的过节,刘巴来投正好给了刘备树立形象的机会,就如同当年曹操热情接待杀死自己儿子的仇人张绣,刘备对刘巴也张开了怀抱。
刘备这时的官职是汉朝的左将军,刘巴就被任命做了左将军府的西曹掾。虽然诸葛亮多次在刘备面前推荐刘巴,刘备对刘巴也委以高官,但双方的隔阂始终存在。
刘备对刘巴当年的那些事儿始终耿耿于怀,表面的热情并不代表真正的信任,刘巴对此也是心知肚明。此后刘巴当过尚书、后来又接替法正担任尚书令,但却始终无法获得刘备的信任。
刘巴虽然有才,但实际也只是秘书角色,负责起草文件,刘备的许多诏书、政令都出自刘巴之手。对于国家事务大政方针,刘巴从来不多说话,他很自觉,也很清楚自己的身份、地位,就这样谨小慎微的刘巴得以善终,章武二年(222)病死家中。