相談です。

入社半年の新卒社会人です。
就業時間中に仕事がなくなってしまうことが悩みです。
自分に割り振られた仕事はあります。時間的拘束はあれどやること自体は少ないので、就業8時間のうち4時間は毎日暇です。
その度上司に手が空いたから仕事が欲しいと伝えていましたが、だんだん面倒そうな顔になり、最近は説明書読んでて、とか言われます。
他の人たちはすごく忙しそうなのに、自分だけが暇。かなりキツイです。
細々とした仕事を見つけても、ああこれをすると明日またなにするか考えなきゃ、とおもいながら毎日仕事をしています。
上司に相談すれば済む話なのは分かっているのですが、あの困ったような顔が頭から離れなくて聞きづらいです。
異動で抜けた先輩の仕事を私が引き継ぎしたので、能無しだと思われているわけではないと思います。
どういう聞き方をすれば上司を困らせることなく仕事ができるでしょうか？