TensorFlow分佈式計算

本章將重點介紹如何開始使用分佈式TensorFlow。目的是幫助開發人員瞭解重複出現的基本分佈式TF概念，例如TF伺服器。我們將使用Jupyter Notebook來評估分佈式TensorFlow。使用TensorFlow實現分佈式計算如下所述 -

第1步 - 為分佈式計算導入必需的模組 -

import tensorflow as tf

第2步 - 使用一個節點創建TensorFlow集群。讓這個節點負責一個名稱為“worker”的作業，並在localhost:6688上運行一個作業。

cluster_spec = tf.train.ClusterSpec({'worker' : ['localhost:6688']})
server = tf.train.Server(cluster_spec)
server.target

以上腳本生成以下輸出 -

'grpc://localhost:6688'
The server is currently running.

第3步 - 可以通過執行以下命令計算具有相應會話的伺服器配置 -

server.server_def

以上命令生成以下輸出 -

cluster {
   job {
      name: "worker"
      tasks {
         value: "localhost:6688"
      }
   }
}
job_name: "worker"
protocol: "grpc"

第4步 - 啟動TensorFlow會話，執行引擎是伺服器。使用TensorFlow創建本地伺服器並使用lsof查找伺服器的位置。

sess = tf.Session(target = server.target)
server = tf.train.Server.create_local_server()

第5步 - 查看此會話中可用的設備並關閉相應的會話。

devices = sess.list_devices()
for d in devices:
   print(d.name)
sess.close()

以上命令生成以下輸出 -

/job:worker/replica:0/task:0/device:CPU:0