暫く留守にしていた土地に久しぶりに行ってみると、お隣の方が境界付近に塀を設置していました。その塀は、越境して私の土地の中に設置されているようでした。お隣とは揉めたくないので「撤去してください」と言えずにいます。どうしたらいいでしょうか?

まずは、土地家屋調査士に依頼して、境界がどこにあるのかを調べて貰って下さい。越境していないのに越境していると指摘してしまうとトラブルになります。越境が判明したら、塀の撤去をお願いしましょう。撤去が難しいようであれば弁護士に相談したほうが良いでしょう。
貸地している土地などは、ついつい管理不足になってしまうことがあります。
たとえば、借地人が建替えを行うというので、現地を見に行ったら、お隣の建物が越境していたということが稀にあります。建物ではなくても、お隣の塀が越境していて、庭の一部として使われていたなどということもあり得ます。このような状況を放置しておくと、お隣さんが時効で所有権を取得してしまうことになる恐れがあります。
このようなことにならないよう、境界の確認・境界標の設置・境界の管理をおこなうようにしてください。