友達との接し方がわからない

自分は、教室の鍵を借りる係なんですけど、友達が係が違うのに
「待ってるよ！！」って言ってくれたんです
でも、申し訳ないから「帰って！！帰って！！いいよ！！」
って強めに言っちゃたんです。
こういう時って遠慮せず、待っててもらうのが正解なんですか？
前もポテトとあげるって言ってくれた時に「いいよ！！」断っちゃった。
こういう時の正解教えて