Первое что увидел это ошибка +12v -12v должны идти на 2 и 6 выводы IC3 ,а не на 8 и 4 выводы как на схеме(может там корпусное исполнение другое,но указана же схема max232 на этой же схеме).Далее с
инверсией RTS и DTR решается чисто программно так как выставляется при программировании Mprog (любые комбинации).