tensorflow2.0 自定义层，tensorflow手机版

一、如何快速上手Tensorflow

还是建议理论结合实际的方法。

人工智能技术的发展现在越来越趋向工程化。tensorflow本身封装好了大部分的业务场景，初学者可以先从具体的业务方向入手，比如图像分类等。把业务层做熟练后，在逐步的向底层研究。

tensorflow的好处是初学者几乎可以不用具备高深的数学知识，就可以快速的上手典型的神经网络模型。@整理猫儿App

二、怎样用C++写出你自己的TensorFlow

在我们开始讲解前，可以先看看最终成型的代码：

1.分支与特征后端

2.仅支持标量的分支

这个工程是我与MinhLe一起完成的。

如果你修习的是计算机科学（CS）的人的话，你可能听说过这个短语「不要自己动手____」几千次了。它包含了加密，标准库，解析器等等。我想到现在为止，它也应该包含机器学习库（MLlibrary）了。

不管现实是怎么样的，这个震撼的课程都值得我们去学习。人们现在把TensorFlow和类似的库当作理所当然了。他们把它看作黑盒子并让他运行起来，但是并没有多少人知道在这背后的运行原理。这只是一个非凸（Non-convex）的优化问题！请停止对代码无意义的胡搞——仅仅只是为了让代码看上去像是正确的。

TensorFlow

在TensorFlow的代码里，有一个重要的组件，允许你将操作串在一起，形成一个称为「图形运算符」（此处英文错误？正确英文应为GraphOperator）的东西。这个操作图是一个有向图G=(V,E)G=(V,E),在某些节点处u1,u2,…,un,v∈Vu1,u2,…,un,v∈V，和e1,e2,…,en∈E,ei=(ui,v)e1,e2,…,en∈E,ei=(ui,v)。我们知道，存在某种操作图从u1,…,unu1,…,un映射到vv.

举个例子，如果我们有x+y=z，那么(x,z),(y,z)∈E(x,z),(y,z)∈E.

这对于评估算术表达式非常有用，我们能够在操作图的汇点下找到结果。汇点是类似v∈V,?e=(v,u)v∈V,?e=(v,u)这样的顶点。从另一方面来说，这些顶点从自身到其他顶点并没有定向边界。同样的，输入源是v∈V,?e=(u,v)v∈V,?e=(u,v).

对于我们来说，我们总是把值放在输入源上，而值也将传播到汇点上。

如果你觉得我的解释不正确，可以参考下这些幻灯片的说明。

差异化是Tensorflow中许多模型的核心需求，因为我们需要它梯度下降的运行。每一个从高中毕业的人都应该知道差异化的意思。如果是基于基础函数组成的复杂函数，则只需要求出函数的导数，然后做链式法则。

在5分钟内倒转模式

所以现在请记住我们运行操作符时用的有向无环结构（DAG=DirectedAcyclicGraph=有向无环图），还有上一个例子用到的链式法则。做出评估，我们能看到像这样的

x->h->g->f

作为一个图表，在f它能够给予我们答案。然而，我们也可以反过来：

dx<-dh<-dg<-df

这样它看起来就像链式法则了！我们需要把导数相乘到最终结果的路径上。

这里是一个操作符的例子：

所以这将衰减为一个图的遍历问题。有谁感觉到这是个拓扑排序和深度优先搜索／宽度优先搜索？

是的，所以为了在双方面都支持拓扑排序，我们需要包含一套父组一套子组，而汇点是另一个方向的来源。反之亦然。

在学校开学前，MinhLe和我开始设计这个工程。我们决定使用后端的特征库进行线性代数的运算。他们有一个叫做MatrixXd的矩阵类。我们在这儿使用那个东西。

classvar{//Forwarddeclarationstructimpl;public://Forinitializationofnewvarsbyptrvar(std::shared_ptr<impl>);var(double);var(constMatrixXd&);var(op_type,conststd::vector<var>&);...//Access/ModifythecurrentnodevalueMatrixXdgetValue()const;voidsetValue(constMatrixXd&);op_typegetOp()const;voidsetOp(op_type);//Accessinternals(nomodify)std::vector<var>&getChildren()const;std::vector<var>getParents()const;...private://PImplidiomrequiresforwarddeclarationoftheclass:std::shared_ptr<impl>pimpl;};structvar::impl{public:impl(constMatrixXd&);impl(op_type,conststd::vector<var>&);MatrixXdval;op_typeop;std::vector<var>children;std::vector<std::weak_ptr<impl>>parents;};

在这儿，我们曾使用过一个叫「pImpl」的习语，意识是「执行的指针」。它对很多东西都很好，比如接口的解耦实现，以及当我们在堆栈上有一个本地接口时，允许我们实例化堆上的东西。一些「pImpl」的副作用是微弱的减慢运行时间，但是编译时间缩短了很多。这允许我们通过多个函数调用/返回来保持数据结构的持久性。像这样的树形数据结构应该是持久的。

我们有一些枚举来告诉我们目前正在进行哪些操作：

enumclassop_type{plus,minus,multiply,divide,exponent,log,polynomial,dot,...none//nooperators.leaf.};

执行此树的评估的实际类称为expression:

classexpression{public:expression(var);...//Recursivelyevaluatesthetree.doublepropagate();...//Computesthederivativefortheentiregraph.//Performsatop-downevaluationofthetree.voidbackpropagate(std::unordered_map<var,double>&leaves);...private:varroot;};

在回溯里，我们有一些做成类似这样的代码：

backpropagate(node,dprev):

derivative=differentiate(node)*dprev

forchildinnode.children:

backpropagate(child,derivative)

这几乎是在做一个深度优先搜索；你看到了吧？

为什么是C++？

在实际过程中，C++可能不是合适的语言来做这些事儿。我们可以在像「Oaml」这样的函数式语言中花费更少的时间来开发。现在我明白为什么「Scala」被用于机器学习中，主要就是因为「Spark」

然而，这很明显有利于C++。

Eigen（库名）

举例来说，我们可以直接使用一个叫「Eigen」的TensorFlow的线性代数库。这是一个不假思索就被人用烂了的线性代数库。有一种类似于我们的表达式树的味道，我们构建表达式，它只会在我们真正需要的时候进行评估。然而，对于「Eigen」来说，他们在编译的时间内就决定使用什么模版，这意味着运行的时间减少了。我对写出「Eigen」的人抱有很大的敬意，因为查看模版的错误几乎让我眼瞎！

他们的代码看起来类似这样的：

MatrixA(...),B(...);autolazy_multiply=A.dot(B);typeid(lazy_multiply).name();//theclassnameissomethinglikeDot_Matrix_Matrix.Matrix(lazy_multiply);//functional-stylecastingforcesevaluationofthismatrix.

这个特征库非常的强大，这就是为什么它是TensortFlow使用这些代码作为主要后端之一的原因。这意味着除了这个慢吞吞的评估技术之外还有其他的优化。

运算符重载

在Java中开发这个库很不错——因为没有shared_ptrs,unique_ptrs,weak_ptrs;我们得到了一个真实的，有用的图形计算器（GC=GraphingCalculator）。这大大节省了开发时间，更不必说更快的执行速度。然而，Java不允许操作符重载，因此它们不能这样:

//These3linescodeupanentireneuralnetwork!varsigm1=1/(1+exp(-1*dot(X,w1)));varsigm2=1/(1+exp(-1*dot(sigm1,w2)));varloss=sum(-1*(y*log(sigm2)+(1-y)*log(1-sigm2)));

顺便说一下，上面是实际的代码。是不是非常的漂亮？我想说的是对于TensorFlow里面，这比使用Python封装来的更优美！这只是让你知道，它们也是矩阵而已。

在Java中，有一连串的add(),divide()等等是非常难看的。更重要的是，这将让用户更多的关注在「PEMDAS」上，而C++的操作符则有非常好的表现。

特性，而不是一连串的故障

在这个库中，有一些东西是可以指定的，它没有明确的应用程序编程接口（API=ApplicationProgrammingInterface），或者有但我知道。举例子，实际上，如果我们只想训练一个特定的权重子集，我们只可以回溯到我们感兴趣的特定来源。这对于卷积神经网络的转移学习非常有用，因为很多时候，像VGG19这样的大网络被斩断，会附加了一些额外的层，根据新的域名样本来训练权重。

基准

在Python的TensorFlow库中，对虹膜数据集上的10000个「Epochs」进行训练以进行分类，并使用相同的超参数，我们有:

1.TensorFlow的神经网络：23812.5ms

2.「Scikit」的神经网络：22412.2ms

3.「Autodiff」的神经网络，迭代，优化：25397.2ms

4.「Autodiff」的神经网络，迭代，无优化：29052.4ms

5.「Autodiff」的神经网络，带有递归，无优化：28121.5ms

令人惊讶的是，Scikit是所有这些中最快的。这可能是因为我们没有做庞大的矩阵乘法。也可能是TensorFlow需要额外的编译步骤，如变量初始化等等。或者，也许我们不得不在python中运行循环，而不是在C中（Python循环真的非常糟糕！）我对自己也不是很自信。我完全意识到，这绝不是一种全面的基准测试，因为在特定的情况下，它只适用于单个数据点。然而，库的表现并不能代表行为状态，因为我们不需要回滚我们自己的TensorFlow。

三、tensorflow读取各层输出

tf1.0中通过带weight的pb文件与get_tensor_by_name函数可以获取每一层的输出

importos

importos.pathasops

importargparse

importtime

importmath

importtensorflowastf

importglob

importnumpyasnp

importmatplotlib.pyplotasplt

importcv2

os.environ["CUDA_VISIBLE_DEVICES"]="-1"

gragh_path='./model.pb'

image_path='./lvds1901.JPG'

inputtensorname='input_tensor:0'

tensorname='loss/inference/encode/resize_images/ResizeBilinear'

filepath='./net_output.txt'

HEIGHT=256

WIDTH=256

VGG_MEAN=[103.939,116.779,123.68]

withtf.Graph().as_default():

graph_def=tf.GraphDef()

withtf.gfile.GFile(gragh_path,'rb')asfid:

serialized_graph=fid.read()

graph_def.ParseFromString(serialized_graph)

tf.import_graph_def(graph_def,name='')

image=cv2.imread(image_path)

image=cv2.resize(image,(WIDTH,HEIGHT),interpolation=cv2.INTER_CUBIC)

image_np=np.array(image)

image_np=image_np-VGG_MEAN

image_np_expanded=np.expand_dims(image_np,axis=0)

withtf.Session()assess:

ops=tf.get_default_graph().get_operations()

tensor_name=tensorname+':0'

tensor_dict=tf.get_default_graph().get_tensor_by_name(tensor_name)

image_tensor=tf.get_default_graph().get_tensor_by_name(inputtensorname)

output=sess.run(tensor_dict,feed_dict={image_tensor:image_np_expanded})

ftxt=open(filepath,'w')

transform=output.transpose(0,3,1,2)

transform=transform.flatten()

weight_count=0

foriintransform:

ifweight_count%10==0andweight_count!=0:

ftxt.write('\n')

ftxt.write(str(i)+',')

weight_count+=1

ftxt.close()