(/home/bobren/local/a/pytorch-env) [15:08] devgpu035:/home/bobren/local/a/gpt-fast python eval.py --compile --checkpoint_path checkpoints/$MODEL_REPO/model.pthLoading model ...Time to load model: 6.96 seconds.README.md: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.84k/6.84k [00:00<00:00, 49.2MB/s]hellaswag.py: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.36k/4.36k [00:00<00:00, 34.4MB/s]dataset_infos.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2.53k/2.53k [00:00<00:00, 22.5MB/s]The repository for hellaswag contains custom code which must be executed to correctly load the dataset. You can inspect the repository content at https://hf.co/datasets/hellaswag.You can avoid this prompt in future by passing the argument `trust_remote_code=True`.Do you wish to run the custom code? [y/N] yDownloading data: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 47.5M/47.5M [00:00<00:00, 264MB/s]Downloading data: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11.8M/11.8M [00:00<00:00, 301MB/s]Downloading data: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 12.2M/12.2M [00:00<00:00, 303MB/s]Generating train split: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 39905/39905 [00:03<00:00, 12001.33 examples/s]Generating test split: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10003/10003 [00:00<00:00, 12027.76 examples/s]Generating validation split: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 10042/10042 [00:00<00:00, 12099.19 examples/s]Running loglikelihood requests  0%|                                                                                                                                                                                                                                                                                                     | 0/40145 [00:00<?, ?it/s]Traceback (most recent call last):  File "/data/users/bobren/a/gpt-fast/eval.py", line 267, in <module>    main(  File "/data/users/bobren/a/gpt-fast/eval.py", line 243, in main    result = eval(  File "/data/users/bobren/a/pytorch/torch/utils/_contextlib.py", line 116, in decorate_context    return func(*args, **kwargs)  File "/data/users/bobren/a/gpt-fast/eval.py", line 190, in eval    eval_results = evaluate(  File "/home/bobren/local/a/pytorch-env/lib/python3.10/site-packages/lm_eval/utils.py", line 161, in _wrapper    return fn(*args, **kwargs)  File "/home/bobren/local/a/pytorch-env/lib/python3.10/site-packages/lm_eval/evaluator.py", line 247, in evaluate    resps = getattr(lm, reqtype)([req.args for req in reqs])  File "/home/bobren/local/a/pytorch-env/lib/python3.10/site-packages/lm_eval/base.py", line 185, in loglikelihood    return self._loglikelihood_tokens(new_reqs)  File "/home/bobren/local/a/pytorch-env/lib/python3.10/site-packages/lm_eval/base.py", line 295, in _loglikelihood_tokens    self._model_call(batched_inps), dim=-1  File "/data/users/bobren/a/gpt-fast/eval.py", line 146, in _model_call    logits = model_forward(self._model, x, input_pos)  File "/data/users/bobren/a/pytorch/torch/_dynamo/eval_frame.py", line 655, in _fn    return fn(*args, **kwargs)  File "/data/users/bobren/a/pytorch/torch/_dynamo/convert_frame.py", line 1429, in __call__    return self._torchdynamo_orig_callable(  File "/data/users/bobren/a/pytorch/torch/_dynamo/convert_frame.py", line 597, in __call__    return _compile(  File "/data/users/bobren/a/pytorch/torch/_dynamo/convert_frame.py", line 1107, in _compile    raise InternalTorchDynamoError(  File "/data/users/bobren/a/pytorch/torch/_dynamo/convert_frame.py", line 1056, in _compile    guarded_code = compile_inner(code, one_graph, hooks, transform)  File "/data/users/bobren/a/pytorch/torch/_utils_internal.py", line 97, in wrapper_function    return function(*args, **kwargs)  File "/data/users/bobren/a/pytorch/torch/_dynamo/convert_frame.py", line 758, in compile_inner    return _compile_inner(code, one_graph, hooks, transform)  File "/data/users/bobren/a/pytorch/torch/_dynamo/convert_frame.py", line 794, in _compile_inner    out_code = transform_code_object(code, transform)  File "/data/users/bobren/a/pytorch/torch/_dynamo/bytecode_transformation.py", line 1418, in transform_code_object    transformations(instructions, code_options)  File "/data/users/bobren/a/pytorch/torch/_dynamo/convert_frame.py", line 256, in _fn    return fn(*args, **kwargs)  File "/data/users/bobren/a/pytorch/torch/_dynamo/convert_frame.py", line 712, in transform    tracer.run()  File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 3315, in run    super().run()  File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 1216, in run    while self.step():  File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 1126, in step    self.dispatch_table[inst.opcode](self, inst)  File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 794, in wrapper    return inner_fn(self, inst)  File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 1988, in CALL_FUNCTION    self.call_function(fn, args, {})  File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 1050, in call_function    self.push(fn.call_function(self, args, kwargs))  # type: ignore[arg-type]  File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/lazy.py", line 201, in realize_and_forward    return getattr(self.realize(), name)(*args, **kwargs)  File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/nn_module.py", line 952, in call_function    return variables.UserFunctionVariable(fn, source=source).call_function(  File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/functions.py", line 405, in call_function    return super().call_function(tx, args, kwargs)  File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/functions.py", line 186, in call_function    return tx.inline_user_function_return(self, [*self.self_args(), *args], kwargs)  File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 1067, in inline_user_function_return    return InliningInstructionTranslator.inline_call(self, fn, args, kwargs)  File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 3536, in inline_call    return tracer.inline_call_()  File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 3715, in inline_call_    self.run()  File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 1216, in run    while self.step():  File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 1126, in step    self.dispatch_table[inst.opcode](self, inst)  File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 2152, in LOAD_ATTR    self._load_attr(inst)  File "/data/users/bobren/a/pytorch/torch/_dynamo/symbolic_convert.py", line 2140, in _load_attr    result = BuiltinVariable(getattr).call_function(  File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/builtin.py", line 1111, in call_function    return handler(tx, args, kwargs)  File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/builtin.py", line 789, in <lambda>    return lambda tx, args, kwargs: obj.call_function(  File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/builtin.py", line 1111, in call_function    return handler(tx, args, kwargs)  File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/builtin.py", line 945, in builtin_dispatch    rv = fn(tx, args, kwargs)  File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/builtin.py", line 850, in call_self_handler    result = self_handler(tx, *args, **kwargs)  File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/builtin.py", line 1867, in call_getattr    return obj.var_getattr(tx, name)  File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/tensor.py", line 492, in var_getattr    result = self.dynamic_getattr(tx, name)  File "/data/users/bobren/a/pytorch/torch/_dynamo/variables/tensor.py", line 308, in dynamic_getattr    real_value = getattr(_input_associated_real_value, name)torch._dynamo.exc.InternalTorchDynamoError: AttributeError: 'Tensor' object has no attribute 'mask_mod'from user code:   File "/data/users/bobren/a/gpt-fast/generate.py", line 101, in model_forward    return model(x, input_pos)  File "/data/users/bobren/a/gpt-fast/model.py", line 151, in forward    mask.mask_mod = self.get_mask_mod(mask.mask_mod, input_pos[0])Set TORCHDYNAMO_VERBOSE=1 for the internal stack trace (please do this especially if you're reporting a bug to PyTorch). For even more developer context, set TORCH_LOGS="+dynamo"