GitHub×Jenkins

GitHubでソースコードを管理していて、Jenkinsによる自動テストを実行したいと思い設定していたらいきなりハマった。
なぜかgit cloneすらできないという・・・。
色々やったところ原因わかりました。
秘密鍵を置くフォルダは、ユーザーが実行する時はホームディレクトリに.sshを用意してやるのですが、jenkinsのjobから実行させて成功させるにはjenkinsのディレクトリに.sshを配置しないといけませんでした。
実行権限をユーザーにしていればそこを見てくれるのかと思いきや違うんですね。。。

※ちなみにOSはLinuxです。当初Windowsでやっていたのですがうまくいかなくて変更。ちなみに上記施策を行ってもWindowsはダメでした。