Перейдите к новой системе координат:
p=x+y+z
r=5x+2y+3z
q=6x-y+z
- составьте и вычислите Якобиан перехода P - за образец можно взять нахождения Якобиана перехода к сферическим координатам:
https://ru.wikipedia.org/wiki/%D0%AF%D0%BA%D0%BE%D0%B1%D0%B8%D0%B0%D0%BD
Таким образом, ваш тройной интеграл сведётся к тривиальному тройному интегралу от P*dpdrdq по сфере p^2+r^2+q^2=a^2

Да, и важное уточнение: для нахождения Якобиана вам нужно выразить x, y, z через p, q, r, для этого следует составить матричное уравнение и разрешить его относительно столбца x, y, z.
На сайте все материалы есть - поиск в помощь!

Александр, спасибо за подробное объяснение, по ссылке максимум куда смог продвинутся
https://yadi.sk/i/deXB2z0f3a6s2H
Понимаю что задание элементарно, но пока этот орешек не раскололся

Так а в чём трудность? Теперь находим частные производные по образцу из Википедии (см. переход к сферическим координатам), составляем из них Якобиан J (матрицу 3 на 3), вычисляем её определитель |J| и далее решаем простой тройной интеграл от |J|*dpdrdq по сфере p^2+r^2+q^2=a^2.
Кстати, здесь можно сразу узнать результат: по школьной формуле объема шара, тройной интеграл от dpdrdq равен его объему: 4/3*Пи*a^3, и окончательный ответ:
4/3*|J|*Пи*a^3 (т.к. |J| в данном примере - константа)

Спасибо за оперативные подсказки, школьную формулу я почти сразу увидел, но не знал что делать с x, y, z. кстати, Якобиан здесь равен 1