15
Transferring Files Using Globus v.1.0 Transferring Files Using Globus Table of Contents Table of Contents Prerequisites Introduction Firsttime Use of Globus Setup a Globus Account Connect to the odu#Turing endpoint Downloading and Installing the Globus Connect Personal Client Transferring files between the odu#Turing endpoint, and a Globus Personal Connect endpoint Globus Transfer Tips Prerequisites Active MIDAS account (midas.odu.edu) The username (MIDASID) is the part of your email before the @ symbol (i.e. the username for “[email protected]” would be “sample123”). The password is the same as the one for your ODU email. MIDAS stands for Monarch IDentification and Authorization System. Active HPC Service Send an email to [email protected] with the subject “Activate HPC Service”, and in the body of the email have your Full Name, MIDASID (Username), and ODU Number (UIN). (Optional) Active HPC Mass Storage Service This is only needed if the use of the Research Storage (Mass Storage) area is needed. Information Technology Services High Performance Computing Group 1 of 15

Transferring Files Using Globus.org

  • Upload
    vuanh

  • View
    226

  • Download
    1

Embed Size (px)

Citation preview

Page 1: Transferring Files Using Globus.org

Transferring Files Using Globus ­ v.1.0  

Transferring Files Using Globus

Table of Contents  

Table of Contents Prerequisites Introduction First­time Use of Globus 

Setup a Globus Account Connect to the odu#Turing endpoint Downloading and Installing the Globus Connect Personal Client Transferring files between the odu#Turing endpoint, and a Globus Personal Connect endpoint 

Globus Transfer Tips  

Prerequisites ● Active MIDAS account (midas.odu.edu) 

● The username (MIDASID) is the part of your email before the @ symbol (i.e. the username for “[email protected]” would be “sample123”). The password is the same as the one for your ODU email. MIDAS stands for Monarch IDentification and Authorization System. 

 ● Active HPC Service 

● Send an email to [email protected] with the subject “Activate HPC Service”, and in the body of the email have your Full Name, MIDASID (Username), and ODU Number (UIN). 

 ● (Optional) Active HPC Mass Storage Service  

● This is only needed if the use of the Research Storage (Mass Storage) area is needed. 

 

Information Technology Services ­ High Performance Computing Group  1 of 15  

Page 2: Transferring Files Using Globus.org

Transferring Files Using Globus ­ v.1.0  

Introduction  

Globus (https://www.globus.org) is a software­as­a­service (SaaS) used to facilitate the transfer of large data stores between computation resources.  This Saas is maintained by the Computation Institute which is a partnership between the University of Chicago and Argonne National Laboratory (Foster, 2011). Old Dominion University’s Turing Community Cluster serves as an “endpoint” resource on the Globus web interface under the name “odu#Turing”. Any server or workstation that connects using a Globus client is referred to as an endpoint. Connections to user home directories (/home), user scratch space (/scratch), and research storage (/RC) are available for usage. A Globus client (Globus Connect Personal) must be installed on a user’s local workstation in order to transfer files between that workstation and the cluster resources.   

References 

Foster, I. (2011, 12). Globus Online: Accelerating and Democratizing Science through 

Cloud­Based Services. IEEE Internet Computing, 15(3), 70­73. doi: 10.1109/MIC.2011.64 

 

First-time Use of Globus

There are four (4) items/steps that must be done prior to transferring files using the Globus service. Those items/steps are:  

1. Setup a Globus account at https://www.globus.org 

2. Connect to the odu#Turing endpoint (Turing Community Cluster) a. An account on the Turing Community Cluster and MIDAS account 

credentials are required at this step. 

3. Download and install the Globus Connect Personal client. 

4. Transfer files between the odu#Turing endpoint and installed, personal endpoint. 

 

 

Information Technology Services ­ High Performance Computing Group  2 of 15  

Page 3: Transferring Files Using Globus.org

Transferring Files Using Globus ­ v.1.0  

Setup a Globus Account  

1. Open a web browser and go to www.globus.org. 2. Click on “Sign Up” in the upper right hand corner of the web page 

 

  

3. Fill in personal information on the “Sign Up” page and click “Register”. [Note: This information is your personal information for your personal Globus account]. 

 

 

 

Information Technology Services ­ High Performance Computing Group  3 of 15  

Page 4: Transferring Files Using Globus.org

Transferring Files Using Globus ­ v.1.0  

 4. A confirmation email will be sent to the entered email address. Before continuing you 

must access the link within the email.   

  

5. Test the new account by logging into the Globus website.    

 

 

Information Technology Services ­ High Performance Computing Group  4 of 15  

Page 5: Transferring Files Using Globus.org

Transferring Files Using Globus ­ v.1.0  

Connect to the odu#Turing endpoint  

1. Open a web browser and go to www.globus.org. 2. Click on “Log In” in the upper right hand corner of the web page and use your credentials 

to log in.. 3. Click the “Quick Links” button in the upper right hand corner of the webpage and select 

“Transfer Files”  

  

4. In the Transfer Files window, click in the “Endpoint” field and type “odu#Turing”  

 

 

Information Technology Services ­ High Performance Computing Group  5 of 15  

Page 6: Transferring Files Using Globus.org

Transferring Files Using Globus ­ v.1.0  

 5. Click “Continue” within the “Authentication Required” window. 6. Search for, and select “Old Dominion University”, then click “Log On”. 

 

  

      

 

Information Technology Services ­ High Performance Computing Group  6 of 15  

Page 7: Transferring Files Using Globus.org

Transferring Files Using Globus ­ v.1.0  

7. Use your ODU MIDAS Credentials to log into the “Monarch­Key Web Login”.  

  

8. You will then return to the “Transfer Files” window, and will see your Turing home directory files. [Note: Globus initially mounts the /home/your_username directory.]  

 

  

 

Information Technology Services ­ High Performance Computing Group  7 of 15  

Page 8: Transferring Files Using Globus.org

Transferring Files Using Globus ­ v.1.0  

[Note: If you receive the error “Directory Not Found”, your user may not have the HPC Service enabled in MIDAS. At this point please contact [email protected].]  

  

 

Information Technology Services ­ High Performance Computing Group  8 of 15  

Page 9: Transferring Files Using Globus.org

Transferring Files Using Globus ­ v.1.0  

Downloading and Installing the Globus Connect Personal Client  The Globus Connect Personal client is maintained by the Globus team, therefore the installation procedure may change without warning. To combat this, this section will present a generalized version of installtion. Further instruction may be found on the Globus site at https://support.globus.org/entries/24044351­Globus­Connect­Download­Links.   The Globus Connect Personal client is currently available on the OSX, Windows, and Linux platforms. Step­by­step installation guides are available on the Globus Download Links section listed above.  Generalized installation procedure 

1. Open a web browser and go to www.globus.org. 2. Click on “Log In” in the upper right hand corner of the web page and use your credentials 

to log in.. 3. Click the “Quick Links” button in the upper right hand corner of the webpage and select 

“Transfer Files”  

      

 

Information Technology Services ­ High Performance Computing Group  9 of 15  

Page 10: Transferring Files Using Globus.org

Transferring Files Using Globus ­ v.1.0  

4. In the “Transfer Files” window, in the upper right hand corner click “Get Globus Connect Personal”. 

5. Within the “Create Globus Connect Personal Endpoint” pane, give your workstation a name, and click “Generate Setup Key”. [Note: Remember the full endpoint name (i.e. user_name#computer_name) of your endpoint. It will be needed to transfer files on the Globus website]  

 

  

 

 

Information Technology Services ­ High Performance Computing Group  10 of 15  

Page 11: Transferring Files Using Globus.org

Transferring Files Using Globus ­ v.1.0  

 6. Copy the “Setup Key” to your clipboard (i.e. right click [Option+click] the generated key 

and select “Copy”) 7. Click operating system installed on your workstation to download the appropriate Globus 

Connect Personal client.  8. Install the Globus Connect Personal client while pasting in the Setup Key when asked. 

[Note: If you are on the ODU network with reduced user privileges (i.e. a user is unable to install programs), a request to install the software can be made to the ITS group through the email address [email protected].] 

  

  

 

Information Technology Services ­ High Performance Computing Group  11 of 15  

Page 12: Transferring Files Using Globus.org

Transferring Files Using Globus ­ v.1.0  

Transferring files between the odu#Turing endpoint, and a Globus Personal Connect endpoint  

1. Open a web browser and go to www.globus.org. 2. Click on “Log In” in the upper right hand corner of the web page and use your credentials 

to log in.. 3. Click the “Quick Links” button in the upper right hand corner of the webpage and select 

“Transfer Files” 4. In the Transfer Files window, click in one of the “Endpoint” fields and type “odu#Turing” 

[Note: Authenticate through the “Monarch­Key Web Login” if necessary.] 5. In the other “Endpoint” field type the name of your workstation using the full endpoint 

name (i.e. user_name#computer_name).  

     

 

Information Technology Services ­ High Performance Computing Group  12 of 15  

Page 13: Transferring Files Using Globus.org

Transferring Files Using Globus ­ v.1.0  

6. Select  a file from either endpoint, and click the appropriate transfer button. [Note: As long as you user account has read and write permissions on a directory/file data can be viewed and transferred between endpoints]. 

 

  

PLEASE NOTE:  While the transfer is taking place, the status of the transfer can be viewed inthe “Activity” section of the transfer page (i.e. underneath the Transfer Files panes). [Note: you do not have to stay logged onto the Globus website for thetransfer to complete.]  

 

   

 

Information Technology Services ­ High Performance Computing Group  13 of 15  

Page 14: Transferring Files Using Globus.org

Transferring Files Using Globus ­ v.1.0  

7. When the transfer is completed, the “Activity” status will be “SUCCEEDED”  

 

  

 

Information Technology Services ­ High Performance Computing Group  14 of 15  

Page 15: Transferring Files Using Globus.org

Transferring Files Using Globus ­ v.1.0  

Globus Transfer Tips  

● The directories currently available to the odu#Turing endpoints on the Turing Community Cluster are:  

○ /home ○ /scratch ○ /RC ○ /lustre (future upgrade) 

● If the transfer button does not display on the target endpoint, try clicking the “Refresh List” button under in the endpoint’s pane. 

 

  

● There is a command line interface (CLI) for Globus. Information on how to use the interface is available at: https://support.globus.org/forums/22861518­Command­Line­Interface.  

 

Information Technology Services ­ High Performance Computing Group  15 of 15