彼はその書類を整頓しようとするのをあきらめた。

English Translation

He has given up trying to put the papers in order.

Robotic word-for-word translation… My alternative translations are:

彼はその書類を整頓しようとしたが、諦めた。
彼はその書類を整頓しようとして、諦めた。