['Const', , {'outputs': []}, {'value': 0.5}] ['Const', , {'outputs': []}, {'value': 0}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 20000}] ['GreaterEqual', , , , {'outputs': []}] ['Cast', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 0.9998999834060669}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 128], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1}] ['Const', , {'outputs': []}, {'value': 0}] ['Const', , {'outputs': []}, {'value': 1000}] ['RandomUniformInt', , , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1000}] ['OneHot', , , , , , {'outputs': []}] ['NoOp', , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 0}] ['Const', , {'outputs': []}, {'value': array([ 1, 128], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1}] ['Const', , {'outputs': []}, {'value': 0}] ['Const', , {'outputs': []}, {'value': 1000}] ['RandomUniformInt', , , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1000}] ['OneHot', , , , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([1000, 128], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Qr', , , {'outputs': [, ]}] ['DiagPart', , , {'outputs': []}] ['Sign', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([1000, 128], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Mul', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1}] ['ConcatV2', , , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([32768, 256], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Qr', , , {'outputs': [, ]}] ['DiagPart', , , {'outputs': []}] ['Sign', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([1, 0], dtype=int32)}] ['Transpose', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 256, 32768], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Mul', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 32768], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ### INIT NORM ### ['Const', , {'outputs': []}, {'value': array([ 1, 32768], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 32768], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 32768], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ### UPDATED NORM ### ['Const', , {'outputs': []}, {'value': array([ 256, 32768], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 32768}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Fill', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 4, 4, 2048], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1, 2], dtype=int32)}] ['Mean', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RealDiv', , , , {'outputs': []}] ['IdentityN', , , , {'outputs': [, ]}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1, 2], dtype=int32)}] ['Mean', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RealDiv', , , , {'outputs': []}] ['IdentityN', , , , {'outputs': [, ]}] ['Square', , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([2048, 256], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Qr', , , {'outputs': [, ]}] ['DiagPart', , , {'outputs': []}] ['Sign', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([1, 0], dtype=int32)}] ['Transpose', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 256, 2048], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Mul', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 2048], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ### INIT NORM ### ['Const', , {'outputs': []}, {'value': array([ 1, 2048], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 2048], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 2048], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ### UPDATED NORM ### ['Const', , {'outputs': []}, {'value': array([ 256, 2048], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Add', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 1, 1, 2048], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([2048, 256], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Qr', , , {'outputs': [, ]}] ['DiagPart', , , {'outputs': []}] ['Sign', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([1, 0], dtype=int32)}] ['Transpose', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 256, 2048], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Mul', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 2048], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ### INIT NORM ### ['Const', , {'outputs': []}, {'value': array([ 1, 2048], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 2048], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 2048], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ### UPDATED NORM ### ['Const', , {'outputs': []}, {'value': array([ 256, 2048], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 1, 1, 2048], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 2048}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Fill', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 2048}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Fill', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignAddVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignAddVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['AssignAddVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['NoOp', , {'outputs': []}] ['Relu', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([2048, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Qr', , , {'outputs': [, ]}] ['DiagPart', , , {'outputs': []}] ['Sign', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 1, 2048, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Mul', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ### INIT NORM ### ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ### UPDATED NORM ### ['Const', , {'outputs': []}, {'value': array([ 1, 1, 2048, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Conv2D', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['BiasAdd', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1, 2], dtype=int32)}] ['Mean', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RealDiv', , , , {'outputs': []}] ['IdentityN', , , , {'outputs': [, ]}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1, 2], dtype=int32)}] ['Mean', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RealDiv', , , , {'outputs': []}] ['IdentityN', , , , {'outputs': [, ]}] ['Square', , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([512, 256], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Qr', , , {'outputs': [, ]}] ['DiagPart', , , {'outputs': []}] ['Sign', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([1, 0], dtype=int32)}] ['Transpose', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([256, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Mul', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ### INIT NORM ### ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ### UPDATED NORM ### ['Const', , {'outputs': []}, {'value': array([256, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Add', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 1, 1, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([512, 256], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Qr', , , {'outputs': [, ]}] ['DiagPart', , , {'outputs': []}] ['Sign', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([1, 0], dtype=int32)}] ['Transpose', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([256, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Mul', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ### INIT NORM ### ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ### UPDATED NORM ### ['Const', , {'outputs': []}, {'value': array([256, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 1, 1, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignAddVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignAddVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['AssignAddVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['NoOp', , {'outputs': []}] ['Relu', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([4608, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Qr', , , {'outputs': [, ]}] ['DiagPart', , , {'outputs': []}] ['Sign', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 3, 3, 512, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Mul', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ### INIT NORM ### ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ### UPDATED NORM ### ['Const', , {'outputs': []}, {'value': array([ 3, 3, 512, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Conv2D', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['BiasAdd', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1, 2], dtype=int32)}] ['Mean', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RealDiv', , , , {'outputs': []}] ['IdentityN', , , , {'outputs': [, ]}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1, 2], dtype=int32)}] ['Mean', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RealDiv', , , , {'outputs': []}] ['IdentityN', , , , {'outputs': [, ]}] ['Square', , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([512, 256], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Qr', , , {'outputs': [, ]}] ['DiagPart', , , {'outputs': []}] ['Sign', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([1, 0], dtype=int32)}] ['Transpose', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([256, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Mul', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ### INIT NORM ### ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ### UPDATED NORM ### ['Const', , {'outputs': []}, {'value': array([256, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Add', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 1, 1, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([512, 256], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Qr', , , {'outputs': [, ]}] ['DiagPart', , , {'outputs': []}] ['Sign', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([1, 0], dtype=int32)}] ['Transpose', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([256, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Mul', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ### INIT NORM ### ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ### UPDATED NORM ### ['Const', , {'outputs': []}, {'value': array([256, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 1, 1, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignAddVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignAddVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['AssignAddVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['NoOp', , {'outputs': []}] ['Relu', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([4608, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Qr', , , {'outputs': [, ]}] ['DiagPart', , , {'outputs': []}] ['Sign', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 3, 3, 512, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Mul', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ### INIT NORM ### ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ### UPDATED NORM ### ['Const', , {'outputs': []}, {'value': array([ 3, 3, 512, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Conv2D', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['BiasAdd', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1, 2], dtype=int32)}] ['Mean', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RealDiv', , , , {'outputs': []}] ['IdentityN', , , , {'outputs': [, ]}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1, 2], dtype=int32)}] ['Mean', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RealDiv', , , , {'outputs': []}] ['IdentityN', , , , {'outputs': [, ]}] ['Square', , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([512, 256], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Qr', , , {'outputs': [, ]}] ['DiagPart', , , {'outputs': []}] ['Sign', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([1, 0], dtype=int32)}] ['Transpose', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([256, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Mul', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ### INIT NORM ### ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ### UPDATED NORM ### ['Const', , {'outputs': []}, {'value': array([256, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Add', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 1, 1, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([512, 256], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Qr', , , {'outputs': [, ]}] ['DiagPart', , , {'outputs': []}] ['Sign', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([1, 0], dtype=int32)}] ['Transpose', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([256, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Mul', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ### INIT NORM ### ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ### UPDATED NORM ### ['Const', , {'outputs': []}, {'value': array([256, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 1, 1, 512], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignAddVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignAddVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['AssignAddVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['NoOp', , {'outputs': []}] ['Relu', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([2048, 512], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Qr', , , {'outputs': [, ]}] ['DiagPart', , , {'outputs': []}] ['Sign', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([1, 0], dtype=int32)}] ['Transpose', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 1, 512, 2048], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Mul', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 2048], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ### INIT NORM ### ['Const', , {'outputs': []}, {'value': array([ 1, 2048], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 2048], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 2048], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 9.999999747378752e-05}] ['Add', , , , {'outputs': []}] ['Rsqrt', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['MatMul', , , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['StopGradient', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1], dtype=int32)}] ['Sum', , , , {'outputs': []}] ['Sqrt', , , {'outputs': []}] ['Squeeze', , , {'outputs': []}] ['RealDiv', , , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ### UPDATED NORM ### ['Const', , {'outputs': []}, {'value': array([ 1, 1, 512, 2048], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Conv2D', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 2048}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Fill', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['BiasAdd', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1, 2], dtype=int32)}] ['Mean', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RealDiv', , , , {'outputs': []}] ['IdentityN', , , , {'outputs': [, ]}] ['Square', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([0, 1, 2], dtype=int32)}] ['Mean', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RealDiv', , , , {'outputs': []}] ['IdentityN', , , , {'outputs': [, ]}] ['Square', , , {'outputs': []}] ['Sub', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([2048, 256], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['RandomStandardNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Qr', , , {'outputs': [, ]}] ['DiagPart', , , {'outputs': []}] ['Sign', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([1, 0], dtype=int32)}] ['Transpose', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 256, 2048], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': 1.0}] ['Mul', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ -1, 2048], dtype=int32)}] ['Reshape', , , , {'outputs': []}] ### INIT NORM ### ['Const', , {'outputs': []}, {'value': array([ 1, 2048], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 2048], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal', , , {'outputs': []}] ['Mul', , , , {'outputs': []}] ['Add', , , , {'outputs': []}] ['Placeholder', , {'outputs': []}] ['VarIsInitializedOp', , , {'outputs': []}] ['AssignVariableOp', , , , {'outputs': []}] ['ReadVariableOp', , , {'outputs': []}] ['Const', , {'outputs': []}, {'value': array([ 1, 2048], dtype=int32)}] ['Const', , {'outputs': []}, {'value': 0.0}] ['Const', , {'outputs': []}, {'value': 1.0}] ['TruncatedNormal',