python -m train \
--xpid=seed_1 \
--env_name=BipedalWalker-Adversarial-v0 \
--use_gae=True \
--gamma=0.99 \
--gae_lambda=0.9 \
--seed=1 \
--num_control_points=12 \
--recurrent_arch=lstm \
--recurrent_agent=False \
--recurrent_adversary_env=False \
--recurrent_hidden_size=1 \
--use_global_critic=False \
--lr=0.0003 \
--num_steps=2048 \
--num_processes=16 \
--num_env_steps=2000000000 \
--ppo_epoch=5 \
--num_mini_batch=32 \
--entropy_coef=0.001 \
--value_loss_coef=0.5 \
--clip_param=0.2 \
--clip_value_loss=False \
--adv_entropy_coef=0.01 \
--max_grad_norm=0.5 \
--algo=ppo \
--ued_algo=generative_model \
--use_plr=False \
--level_replay_prob=0.0 \
--level_replay_rho=0.5 \
--level_replay_seed_buffer_size=1000 \
--level_replay_score_transform=rank \
--level_replay_temperature=0.1 \
--staleness_coef=0.5 \
--no_exploratory_grad_updates=False \
--use_editor=False \
--level_editor_prob=0 \
--level_editor_method=random \
--num_edits=0 \
--base_levels=batch \
--use_generator=True \
--use_guidance=False \
--regret_metric=diff_from_target \
--regret_guidance_weight=1.0 \
--num_tutor=1 \
--tutor_update_iteration=1 \
--tutor_buffer_size=1024 \
--tutor_batch_size=128 \
--use_categorical_tutor=False \
--num_bins_tutor=128 \
--logsumexp_temperature=0.1 \
--cvar_alpha=0.1 \
--return_add_noise_std=0.01 \
--log_interval=10 \
--screenshot_interval=200 \
--env_save_interval=10 \
--env_save_batch_size=16 \
--log_grad_norm=True \
--normalize_returns=True \
--archive_interval=20000 \
--reward_shaping=True \
--use_categorical_adv=True \
--use_skip=False \
--choose_start_pos=False \
--sparse_rewards=False \
--handle_timelimits=True \
--level_replay_strategy=positive_value_loss \
--test_env_names=BipedalWalker-v3,BipedalWalkerHardcore-v3,BipedalWalker-Med-Stairs-v0,BipedalWalker-Med-PitGap-v0,BipedalWalker-Med-StumpHeight-v0,BipedalWalker-Med-Roughness-v0 \
--log_dir=~/logs/bipedal/add_random \
--test_interval=200 \
--test_num_episodes=10 \
--test_num_processes=2 \
--log_plr_buffer_stats=True \
--log_replay_complexity=True \
--checkpoint=True \
--log_action_complexity=False

python -m train \
--xpid=seed_2 \
--env_name=BipedalWalker-Adversarial-v0 \
--use_gae=True \
--gamma=0.99 \
--gae_lambda=0.9 \
--seed=2 \
--num_control_points=12 \
--recurrent_arch=lstm \
--recurrent_agent=False \
--recurrent_adversary_env=False \
--recurrent_hidden_size=1 \
--use_global_critic=False \
--lr=0.0003 \
--num_steps=2048 \
--num_processes=16 \
--num_env_steps=2000000000 \
--ppo_epoch=5 \
--num_mini_batch=32 \
--entropy_coef=0.001 \
--value_loss_coef=0.5 \
--clip_param=0.2 \
--clip_value_loss=False \
--adv_entropy_coef=0.01 \
--max_grad_norm=0.5 \
--algo=ppo \
--ued_algo=generative_model \
--use_plr=False \
--level_replay_prob=0.0 \
--level_replay_rho=0.5 \
--level_replay_seed_buffer_size=1000 \
--level_replay_score_transform=rank \
--level_replay_temperature=0.1 \
--staleness_coef=0.5 \
--no_exploratory_grad_updates=False \
--use_editor=False \
--level_editor_prob=0 \
--level_editor_method=random \
--num_edits=0 \
--base_levels=batch \
--use_generator=True \
--use_guidance=False \
--regret_metric=diff_from_target \
--regret_guidance_weight=1.0 \
--num_tutor=1 \
--tutor_update_iteration=1 \
--tutor_buffer_size=1024 \
--tutor_batch_size=128 \
--use_categorical_tutor=False \
--num_bins_tutor=128 \
--logsumexp_temperature=0.1 \
--cvar_alpha=0.1 \
--return_add_noise_std=0.01 \
--log_interval=10 \
--screenshot_interval=200 \
--env_save_interval=10 \
--env_save_batch_size=16 \
--log_grad_norm=True \
--normalize_returns=True \
--archive_interval=20000 \
--reward_shaping=True \
--use_categorical_adv=True \
--use_skip=False \
--choose_start_pos=False \
--sparse_rewards=False \
--handle_timelimits=True \
--level_replay_strategy=positive_value_loss \
--test_env_names=BipedalWalker-v3,BipedalWalkerHardcore-v3,BipedalWalker-Med-Stairs-v0,BipedalWalker-Med-PitGap-v0,BipedalWalker-Med-StumpHeight-v0,BipedalWalker-Med-Roughness-v0 \
--log_dir=~/logs/bipedal/add_random \
--test_interval=200 \
--test_num_episodes=10 \
--test_num_processes=2 \
--log_plr_buffer_stats=True \
--log_replay_complexity=True \
--checkpoint=True \
--log_action_complexity=False

python -m train \
--xpid=seed_3 \
--env_name=BipedalWalker-Adversarial-v0 \
--use_gae=True \
--gamma=0.99 \
--gae_lambda=0.9 \
--seed=3 \
--num_control_points=12 \
--recurrent_arch=lstm \
--recurrent_agent=False \
--recurrent_adversary_env=False \
--recurrent_hidden_size=1 \
--use_global_critic=False \
--lr=0.0003 \
--num_steps=2048 \
--num_processes=16 \
--num_env_steps=2000000000 \
--ppo_epoch=5 \
--num_mini_batch=32 \
--entropy_coef=0.001 \
--value_loss_coef=0.5 \
--clip_param=0.2 \
--clip_value_loss=False \
--adv_entropy_coef=0.01 \
--max_grad_norm=0.5 \
--algo=ppo \
--ued_algo=generative_model \
--use_plr=False \
--level_replay_prob=0.0 \
--level_replay_rho=0.5 \
--level_replay_seed_buffer_size=1000 \
--level_replay_score_transform=rank \
--level_replay_temperature=0.1 \
--staleness_coef=0.5 \
--no_exploratory_grad_updates=False \
--use_editor=False \
--level_editor_prob=0 \
--level_editor_method=random \
--num_edits=0 \
--base_levels=batch \
--use_generator=True \
--use_guidance=False \
--regret_metric=diff_from_target \
--regret_guidance_weight=1.0 \
--num_tutor=1 \
--tutor_update_iteration=1 \
--tutor_buffer_size=1024 \
--tutor_batch_size=128 \
--use_categorical_tutor=False \
--num_bins_tutor=128 \
--logsumexp_temperature=0.1 \
--cvar_alpha=0.1 \
--return_add_noise_std=0.01 \
--log_interval=10 \
--screenshot_interval=200 \
--env_save_interval=10 \
--env_save_batch_size=16 \
--log_grad_norm=True \
--normalize_returns=True \
--archive_interval=20000 \
--reward_shaping=True \
--use_categorical_adv=True \
--use_skip=False \
--choose_start_pos=False \
--sparse_rewards=False \
--handle_timelimits=True \
--level_replay_strategy=positive_value_loss \
--test_env_names=BipedalWalker-v3,BipedalWalkerHardcore-v3,BipedalWalker-Med-Stairs-v0,BipedalWalker-Med-PitGap-v0,BipedalWalker-Med-StumpHeight-v0,BipedalWalker-Med-Roughness-v0 \
--log_dir=~/logs/bipedal/add_random \
--test_interval=200 \
--test_num_episodes=10 \
--test_num_processes=2 \
--log_plr_buffer_stats=True \
--log_replay_complexity=True \
--checkpoint=True \
--log_action_complexity=False

python -m train \
--xpid=seed_4 \
--env_name=BipedalWalker-Adversarial-v0 \
--use_gae=True \
--gamma=0.99 \
--gae_lambda=0.9 \
--seed=4 \
--num_control_points=12 \
--recurrent_arch=lstm \
--recurrent_agent=False \
--recurrent_adversary_env=False \
--recurrent_hidden_size=1 \
--use_global_critic=False \
--lr=0.0003 \
--num_steps=2048 \
--num_processes=16 \
--num_env_steps=2000000000 \
--ppo_epoch=5 \
--num_mini_batch=32 \
--entropy_coef=0.001 \
--value_loss_coef=0.5 \
--clip_param=0.2 \
--clip_value_loss=False \
--adv_entropy_coef=0.01 \
--max_grad_norm=0.5 \
--algo=ppo \
--ued_algo=generative_model \
--use_plr=False \
--level_replay_prob=0.0 \
--level_replay_rho=0.5 \
--level_replay_seed_buffer_size=1000 \
--level_replay_score_transform=rank \
--level_replay_temperature=0.1 \
--staleness_coef=0.5 \
--no_exploratory_grad_updates=False \
--use_editor=False \
--level_editor_prob=0 \
--level_editor_method=random \
--num_edits=0 \
--base_levels=batch \
--use_generator=True \
--use_guidance=False \
--regret_metric=diff_from_target \
--regret_guidance_weight=1.0 \
--num_tutor=1 \
--tutor_update_iteration=1 \
--tutor_buffer_size=1024 \
--tutor_batch_size=128 \
--use_categorical_tutor=False \
--num_bins_tutor=128 \
--logsumexp_temperature=0.1 \
--cvar_alpha=0.1 \
--return_add_noise_std=0.01 \
--log_interval=10 \
--screenshot_interval=200 \
--env_save_interval=10 \
--env_save_batch_size=16 \
--log_grad_norm=True \
--normalize_returns=True \
--archive_interval=20000 \
--reward_shaping=True \
--use_categorical_adv=True \
--use_skip=False \
--choose_start_pos=False \
--sparse_rewards=False \
--handle_timelimits=True \
--level_replay_strategy=positive_value_loss \
--test_env_names=BipedalWalker-v3,BipedalWalkerHardcore-v3,BipedalWalker-Med-Stairs-v0,BipedalWalker-Med-PitGap-v0,BipedalWalker-Med-StumpHeight-v0,BipedalWalker-Med-Roughness-v0 \
--log_dir=~/logs/bipedal/add_random \
--test_interval=200 \
--test_num_episodes=10 \
--test_num_processes=2 \
--log_plr_buffer_stats=True \
--log_replay_complexity=True \
--checkpoint=True \
--log_action_complexity=False

python -m train \
--xpid=seed_5 \
--env_name=BipedalWalker-Adversarial-v0 \
--use_gae=True \
--gamma=0.99 \
--gae_lambda=0.9 \
--seed=5 \
--num_control_points=12 \
--recurrent_arch=lstm \
--recurrent_agent=False \
--recurrent_adversary_env=False \
--recurrent_hidden_size=1 \
--use_global_critic=False \
--lr=0.0003 \
--num_steps=2048 \
--num_processes=16 \
--num_env_steps=2000000000 \
--ppo_epoch=5 \
--num_mini_batch=32 \
--entropy_coef=0.001 \
--value_loss_coef=0.5 \
--clip_param=0.2 \
--clip_value_loss=False \
--adv_entropy_coef=0.01 \
--max_grad_norm=0.5 \
--algo=ppo \
--ued_algo=generative_model \
--use_plr=False \
--level_replay_prob=0.0 \
--level_replay_rho=0.5 \
--level_replay_seed_buffer_size=1000 \
--level_replay_score_transform=rank \
--level_replay_temperature=0.1 \
--staleness_coef=0.5 \
--no_exploratory_grad_updates=False \
--use_editor=False \
--level_editor_prob=0 \
--level_editor_method=random \
--num_edits=0 \
--base_levels=batch \
--use_generator=True \
--use_guidance=False \
--regret_metric=diff_from_target \
--regret_guidance_weight=1.0 \
--num_tutor=1 \
--tutor_update_iteration=1 \
--tutor_buffer_size=1024 \
--tutor_batch_size=128 \
--use_categorical_tutor=False \
--num_bins_tutor=128 \
--logsumexp_temperature=0.1 \
--cvar_alpha=0.1 \
--return_add_noise_std=0.01 \
--log_interval=10 \
--screenshot_interval=200 \
--env_save_interval=10 \
--env_save_batch_size=16 \
--log_grad_norm=True \
--normalize_returns=True \
--archive_interval=20000 \
--reward_shaping=True \
--use_categorical_adv=True \
--use_skip=False \
--choose_start_pos=False \
--sparse_rewards=False \
--handle_timelimits=True \
--level_replay_strategy=positive_value_loss \
--test_env_names=BipedalWalker-v3,BipedalWalkerHardcore-v3,BipedalWalker-Med-Stairs-v0,BipedalWalker-Med-PitGap-v0,BipedalWalker-Med-StumpHeight-v0,BipedalWalker-Med-Roughness-v0 \
--log_dir=~/logs/bipedal/add_random \
--test_interval=200 \
--test_num_episodes=10 \
--test_num_processes=2 \
--log_plr_buffer_stats=True \
--log_replay_complexity=True \
--checkpoint=True \
--log_action_complexity=False