ウェブアプリのインスタンスをパブリックサブネットに、DBインスタンスをプライベートサブネットに（節約モードでAWS RDS利用せず）置くのがセキュリティ基本対策とも言えるでしょう。 プライベートサブネットに置いてあるDBインスタンスへのアクセスするのみエージェント転送であれば楽でしょう。方法をまとめます。
構造図
エージェント転送
パブリックサブネットに置いてあるインスタンスのPublicIPは1111.11.11.11とします。
プライベートサブネットに置いてあるインスタンスのPrivateIPは10.0.0.1とします。
Mac
ssh-add -K your-key-pair.pem
# public subnetのインスタンスにSSH
ssh -A ec2-user@111.11.11.11
# private subnetのインスタンスにSSH
ssh ec2-user@10.0.0.1Windows
下記のBlogを参考してください。
