Camera MainCam;

void Start(){
    MainCam = GetComponent<Camera>();
}

void Update(){
    if(MainCam == null)
        return;
    if (Input.GetMouseButton(2))//マウスミドルボタンが押されたとき
    {
         //（１）マウス移動量を取得 ※１
         float moveX = Input.GetAxis(“Mouse X”);
         float moveY = Input.GetAxis(“Mouse Y”);

          //（２）moveX, moveYをゲーム画面に対して0-2に正規化※２
          moveX *= (Screen.currentResolution.width / Screen.width * 2f * 0.01f);
          moveY *= (Screen.currentResolution.height / Screen.height * 2f * 0.01f);

          //（３）projection逆変換　※３
          moveX /= MainCam.projectionMatrix.m00;
          moveY /= MainCam.projectionMatrix.m11;

          //（４）view逆変換
          var mv = MainCam.cameraToWorldMatrix.MultiplyVector(new Vector4(moveX, moveY, 0));

          //（５）カメラを移動
          MainCam.transform.localPosition -= mv;// new Vector3(moveX, moveY, 0.0f);

         ///※１ Input. GetAxisで取得される値はモニターの解像度に対する変位を%として取得しているみたい。
         ///※２（ゲーム画面のスクリーン座標は-1から1で表される)
         ///※３ projection行列は多分対角行列だから逆変換はこれで良いと思う。
     }
}