308集群:改建方案

Jason Eu

Created: 2018/05/18

Modified: 2018/05/22

$$\hat{H}\Psi = i \hbar \frac{\partial \psi}{\partial t}$$

改建后的优点

改建前资源种类和数量

硬件情况

总计: 616xcpu & 4xGPU

当前以上机器除用于matlab或python等独立任务的机器,均需要关闭超线程。

平均计算能力描述

五舟的机器的计算速度平均到每个核 - 是Dell-R610的1.5到2倍/per core - 是Dell-R620机器1.5倍/per core

系统和软件情况

改建后预期管理方式

硬件分配

管理节点,使用现有作为matlab和独立任务的节点作为管理节点,原因如下:

  1. 该机器cpu主频低,不适于matlab和python等任务的计算
  2. 该机器较新,且半年的使用确定机器稳定性很好。
  3. 该机器的可拓展性好。

计算节点:

  1. 五舟的机器共10个节点每个节点20个核,共200个核
  2. Dell R620(包含原有两个节点和景派提供20个节点)共22个节点,每个节点12个核,共264个核
  3. Dell R610,共10个节点,每个节点12个核,共120个核。
  4. ???PWMAT机器是否作为计算节点接入???其使用GPU后的性能对大体系有10倍的速度提升。

储存设备: 使用统一的独立磁盘阵列,将用户数据储存在磁盘阵列中。保证原有28的10T容量4T资源和原有16的资源不动。做成RAID??/home 现有运行matlab和独立任务的机器上的两块1TSSD做成RAID???/

改建后计算节点分组信息

组内需求

  1. 少核、小内存、短时间、多数量的任务,如小体系和高通亮,(yujs[周期], qiusb[二维], hecc[一维到三维], liaojh[周期], zhaoxy[搜索软件])
  2. 多核、大内存、长时间、少数量的任务,如大体系和精细性质的计算,(tengq[optic-gap-defect], wangyp[gap-soc], wuyn[slab], tianry[defect], luzw[defect])
  3. 其中soc和GW需要大内存的支持,考虑将一个或两个五舟的计算节点增加RAM至256或512,否则需要合并多个节点才能满足内存需求(那么可能降低节点间信息交换的效率和浪费核的资源),可在超算上使用大内存节点,或者跨节点并行进行。

根据需求的节点分组方案

  1. 2个五舟节点分组-p bigram作为大内存节点,用于HSE+SOC和大内存需求的计算。WALLTIME=1month
  2. 1个五舟节点分组-p single作为matlab和python等小型长时间独立任务节点,最高每人每次10个核 ,WALLTIME=1month。打开超线程
  3. 剩余7个五舟节点分组为-p big作为多核、长时间、少数量任务,大体系和精细性质的计算。最高每人每次40个核 ,WALLTIME=2Weeks
  4. 18个Dell R620分组为-p small作为少核、短时间、大数量任务,小体系(少于100个电子)和高通亮,或全局 搜索。最高每人每次24个核,WALLTIME=1days最高每人每次12个核,WALLTIME=3days。没有安装快速交换网络,跨节点并行没有明显的速度提升。
  5. 4个Dell R620分组为-p sfast作为少核、短时间、大数量任务,小体系(少于100个电子)和高通亮,或全局 搜索。最高每人每次4个核,WALLTIME=12hours
  6. 10个Dell-R610分组为-p jp,该项目主要供本科生使用。 人每次4个核,WALLTIME=7days
  7. ???PWMAT机器如果接入统一管理,则用于超大体系(>100原子,K-mesh=4x4x4, 每电子布800s以上,或GW和 精细光学性质等)的长时间运算。速度可为普通cpu的10倍以上。

改建后软件信息

改建后的优点

改建中可能出现的成本和困难

改建成本

Handle 0x110B, DMI type 17, 28 bytes
Memory Device
       Array Handle: 0x1000
       Error Information Handle: Not Provided
       Total Width: 72 bits
       Data Width: 64 bits
       Size: 4096 MB
       Form Factor: DIMM
       Set: 6
       Locator: DIMM_B3
       Bank Locator: Not Specified
       Type: DDR3
       Type Detail: Synchronous Registered (Buffered)
       Speed: 1333 MHz
       Manufacturer: 00AD00B380AD
       Serial Number: 03691E86
       Asset Tag: 01114461
       Part Number: HMT351R7BFR8A-H9  
       Rank: 2

- 加大五舟两个节点作为大内存所需的内存条,增加到256G,型号如下:

Handle 0x0030, DMI type 17, 34 bytes
Memory Device
        Array Handle: 0x0026
        Error Information Handle: Not Provided
        Total Width: 72 bits
        Data Width: 64 bits
        Size: 16384 MB
        Form Factor: DIMM
        Set: None
        Locator: P2_DIMMG1
        Bank Locator: Node1_Bank0
        Type: DDR3
        Type Detail: Registered (Buffered)
        Speed: 1333 MHz
        Manufacturer: Samsung           
        Serial Number: 97EF4A3D    
        Asset Tag: Dimm6_AssetTag
        Part Number: M393B2G70QH0-
        Rank: 1
        Configured Clock Speed: 1333 MHz

困难

储存问题:

分区信息:

[jsy@wz-hpc jsy]$ lsblk
NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda      8:0    0 223.1G  0 disk
|-sda1   8:1    0  97.7G  0 part /
|-sda2   8:2    0  19.5G  0 part /var
|-sda3   8:3    0   9.8G  0 part [SWAP]
|-sda4   8:4    0     1K  0 part
`-sda5   8:5    0  96.1G  0 part /state/partition1
sdb      8:16   0   9.1T  0 disk
`-sdb1   8:17   0   9.1T  0 part /public
sr0     11:0    1  1024M  0 rom  
[jsy@wz-hpc jsy]$ df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda1              97G   19G   73G  21% /
tmpfs                  64G   84K   64G   1% /dev/shm
/dev/sda5              95G   79G   12G  88% /state/partition1
/dev/sda2              20G  2.6G   16G  15% /var
/dev/sdb1             9.0T  3.7T  4.9T  44% /public
tmpfs                  31G   79M   31G   1% /var/lib/ganglia/rrds

任务运行和数据备份问题:

A: 以上问题需要服务方协助并提供合理的解决方案。

分区方案: — Jason Yu

A: — 景派科技

不确定性

$$\Delta \chi \Delta \rho \geq \frac{\hbar}{2}$$

A: 有必要。有跨节点的需求。 A: 没必要。没有跨节点的需求。— Prof. Yang

PS

jp提供的20个节点中有三个节点有16个核,且记得提醒其关闭超线程。