Здравствуйте, Пётр. Почему интегралы не радужные? Они таки довольно простые - решаем через цилиндрические координаты, и во внутреннем интеграле проводим замену:
t = a^2+r^2+z^2
Тогда dt=2zdz (поскольку а - константа, и r тоже считается константой), откуда: zdz=dt/2
Находим новые пределы интегрирования и берём внутренний интеграл. Более подробно метод замены в определённом интеграле можно посмотреть здесь:
http://mathprofi.ru/opredelennye_integraly_primery_reshenij.html

Я, собственно, так и пытался. Но именно после вычисления самого внутреннего интеграла там и выходит не очень радужный)
Добавил ссылку на новую фотографию с тем, что выходит.

Придётся ломать интегралы по частям,
обозначая u = r^2
Решение громоздкое, но вполне реальное.

Но вообще такое чувство, что где-то в условии опечатка, возможно, здесь будет целесообразно проконсультироваться с преподавателем.

Однако, интересно, что этот интеграл всё же берётся. Существует ещё одна гипотеза решения, а именно переход к нестандартной (криволинейной) системе координат с вычислением Якобиана перехода. Но по первой оглядке что-то ничего в голову не приходит(

Условие все же выходит верное, скачал Wolfram Mathematica, выводит как раз то, что указано в ответах. (ln(3)-1)/16. Но вычисляет он это где-то секунд 10.

Придётся возиться с интегралами, и решение тут удобно разделить на две части - сначала один интеграл, затем другой, и, наконец, разность.

Вот что в итоге выходит. Второй решается легко, а вот первый...) Поседеешь, пока решать будешь.
http://savepic.ru/12503379.jpg

откуда у вас синус в 4-й степени в знаменателе появился?
И куда делся параметр а? Интегрируется же от 0 до а (я так понял, вы его единицей заменили)

http://savepic.ru/12474418.jpg 1 часть интеграла

http://savepic.ru/12461106.jpg
http://savepic.ru/12474421.jpg 2 часть
а сокращается, если б он на данном этапе не сократился, он бы был в ответе

Как-то странно вы интегрируете по частям, тут лучше использовать стандартный алгоритм:
обозначаем dv = r / (...)^2, находим v = - 1/(2*(...)) и используем обычную формулу, только с пределами интегрирования:
http://mathprofi.ru/opredelennye_integraly_primery_reshenij.html
(последний параграф)

После чего нужно взять два интеграла по "фи" - один с тригонометрическими функциями, другой с ними же и логарифмом.
Последний интеграл не подарочный (замена + снова интегрирование частям), но вполне решабельный.