曹操随即给了这位荆州才子一个任务，南下招降荆州江南四郡，刘巴领命南下。但没过多久，就传来曹操赤壁兵败的消息，此时刘巴正在零陵一带，随后刘备南下占领四郡，刘巴完不成任务四处游荡，诸葛亮听说刘巴在荆州，亲自写信劝刘巴辅佐刘备，共成大业。刘巴回信拒绝了诸葛亮的邀请，宁可南下交州也不投刘备。刘备听说后对刘巴记恨于心。
刘巴到交州后几经辗转来到蜀地，成为刘璋的幕僚座上宾，刘璋派法正到荆州迎刘备，刘巴出来反对，但刘璋不听，刘巴干脆闭门不出。
刘备进入成都后，为表示自己的宽宏大度，下令不准伤害刘巴。刘巴也主动前来请罪，众人都知道刘巴跟刘备之前的过节，刘巴来投正好给了刘备树立形象的机会，就如同当年曹操热情接待杀死自己儿子的仇人张绣，刘备对刘巴也张开了怀抱。
刘备这时的官职是汉朝的左将军，刘巴就被任命做了左将军府的西曹掾。虽然诸葛亮多次在刘备面前推荐刘巴，刘备对刘巴也委以高官，但双方的隔阂始终存在。
刘备对刘巴当年的那些事儿始终耿耿于怀，表面的热情并不代表真正的信任，刘巴对此也是心知肚明。此后刘巴当过尚书、后来又接替法正担任尚书令，但却始终无法获得刘备的信任。
刘巴虽然有才，但实际也只是秘书角色，负责起草文件，刘备的许多诏书、政令都出自刘巴之手。对于国家事务大政方针，刘巴从来不多说话，他很自觉，也很清楚自己的身份、地位，就这样谨小慎微的刘巴得以善终，章武二年（222）病死家中。