我是一个工作时间比较久的全栈工程师，做过web开发，前端，后端，移动端，HTML5的开发。2016年底开始学习机器学习，做深度学习大概不到半年。目前在研究手机端侧人工智能。在人工智能技术方面我肯定没有研究人工智能很多年的人有经验，但在怎样转型人工智能方面我还是有些体会的。

学习人工智能为什么比学习其他的编程技术要困难

• 首先是人工智能整个领域特别大
  我们常说的深度学习是机器学习的一个小分支，而机器学习又只是人工智能的一个小分支。但目前深度学习比较热，因此很多人就把深度学习当成人工智能了。具体到业务领域，就有计算机视觉，语音识别，自然语言处理等，每一个领域都很专业，会用到机器学习的各种方法。后面的内容主要是说深度学习和机器学习。

• 其次人工智能是不确定性的
  思维模式和传统编程不一样,我们平常接触的编程语言无论前端，后端还是移动端,都是确定性的,确定性是什么意思呢？例如你要修改个传统系统的bug，你弄明白了逻辑，就可以修改代码改掉bug。但做人工智能不一样，它是不确定性的，目前深度神经网络可能会有几百层，几千万个参数，我们没有严格的数学逻辑确定这些参数的意义，只能根据经验和一些原理进行调参，修改数据集等优化结果，过程中充满了不确定性。

• 第三，学习人工智能对于数学和英语有一定要求
  特别是做模型优化的时候。数学方面需要知道一些微积分，线性代数，概率论的知识，英文方面需要能够比较顺利的看懂一些英文的资料和论文，例如很多著名模型的结构相关的论文都发表在arxiv上，需要能大概看懂这些论文。

• 第四，学习深度学习对于计算机有一定要求
  模型训练在GPU上做能够明显加快速度，例如在Imagenet2012数据集上训练InceptionV3模型， 大概有130万张图片， 在一个nVidia Tesla P100 GPU上训练到95%的召回率需要3天，在普通CPU上训练可能需要几个星期。如果你学习一个东西，几星期后才能知道结果那肯定是让人崩溃的。万幸的是，现在Amazon，Goolge，阿里云，腾讯云等都有GPU服务器可以租用。

程序员学习人工智能的三个阶段

学习人工智能的三个阶段是 应用，优化，和定义问题，这个观点是我在某大牛的一篇文章中看到的，然后我针对程序员的学习特点做了一些优化。

应用应该是学习的第一步，就是想怎么样才能把人工智能应用到你的业务中，在这一步之前你需要对人工智能的现状有个基本清晰的认识，抛弃不实际的想法。具体的做法大概是针对自己的问题，收集数据，建立模型，可以用传统模型或深度学习模型。这一块程序员去做还是有一定优势的， 做到这一步需要对机器学习和深度学习有一定了解， 熟悉python， 能用tensorflow做一些模型训练。举个应用的例子，人工智能跨界农业实现“桃脸识别”，用人工智能实现桃子的智能筛选。

优化是学习的第二步，这一步就有些难度了，需要对卷积神经网络的原理和计算过程很清楚，需要对tensorflow，caffe，pyTorch等框架比较熟悉，需要对Inception，Resnet等经典模型的结构有一定研究，能够看懂论文和代码，并能够结合数据进行分析和实验，对模型结构，参数等不断进行优化，达到提高识别率等目的， 这个优化过程需要耗费大量的时间。

定义问题是学习的第三步，能够做到这一步应该是大神级的存在了，例如谷歌大脑，AlphaGO，百度大脑等顶级团队和学术界的科学家和资深工程师等。这一步的难点是如果用数学语言定义清楚问题，并能够用工程上可行的机器学习算法进行优化求解。做到这一步是很难的，能够做到这一步的人应该是很少的，大部分都是大公司某个方向的领军人物。

应该怎样转型人工智能

对于想转型人工智能的程序员， 我觉得首先要想清楚，自己想不想做这样一个不确定性的事情，自己的学习能力，数学和英语基础怎么样，不能看到行业热工资高就盲目转行。其实无论是前端，后端还是移动端，只要技术做到一定深度，收入都会不错，互联网行业的高薪还会持续很多年，做好技术可以有个不错的收入。

当然，学习和了解一些人工智能技术总是没有坏处的，可以先在自己感兴趣的领域尝试应用下人工智能技术，试试有没有这方面的兴趣和能力。毕竟IT行业变化很快，说不定几年后无论做什么开发都需要懂一些人工智能知识呢？

在人工智能这个热门的行业，早起的鸟有虫吃，但前提是鸟才行。

大会介绍

“架构迎接未来变化”这是本届互联网架构峰会（Internet Architecture Summit，简称IAS）的主题思想，我们将以全新的“互联网结构视角”来看待当前发生着的一切，其中包括互联网的技术性范式和组织性范式。伴随着年初NJSD全球软件大会（NJSD Global）的脚步以及本次APSEW亚太软件工程周的技术节，12月初的南京，我们又将迎来一个引领行业发展的技术交流高峰!

本文独立博客地址

TfSlim提供的预训练模型

准备数据集，生成TFRecord文件

1. 整理自己的图片数据集目录结构
   数据集根目录下建立train和val2个文件夹，分布放置训练数据和验证数据， 每个类别一个目录

2. 生成TFRecord文件
   参考
   https://github.com/tensorflow/models/tree/master/research/inception#how-to-construct-a-new-dataset-for-retraining

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

# location to where to save the TFRecord data.
OUTPUT_DIRECTORY=$HOME/my-custom-data/

# build the preprocessing script.
cd tensorflow-models/inception
bazel build //inception:build_image_data

# convert the data.
bazel-bin/inception/build_image_data \
  --train_directory="${TRAIN_DIR}" \
  --validation_directory="${VALIDATION_DIR}" \
  --output_directory="${OUTPUT_DIRECTORY}" \
  --labels_file="${LABELS_FILE}" \
  --train_shards=128 \
  --validation_shards=24 \
  --num_threads=8

在research/slim/datasets下创建自己的dataset文件，例如mydata.py
把flowers.py中内容复制过来，
按照数据实际情况修改下面几行：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

_FILE_PATTERN = 'flowers_%s_*.tfrecord'

SPLITS_TO_SIZES = {'train': 3320, 'validation': 350}

_NUM_CLASSES = 5

_ITEMS_TO_DESCRIPTIONS = {
    'image': 'A color image of varying size.',
    'label': 'A single integer between 0 and 4',
}

```python
修改`research/slim/datasets/dataset_factory.py`， 增加自己的数据集mydata
from datasets import mydata

datasets_map = {
    'cifar10': cifar10,
    'flowers': flowers,
    'imagenet': imagenet,
    'mnist': mnist,
    'mydata': mydata,
}

## 从头训练模型（From Scratch）

具体参数需要按照实际训练情况修改
```shell

 CUDA_VISIBLE_DEVICES=2  nohup  python train_image_classifier.py   --train_dir=/tmp/md_train     --dataset_name=mydata   --dataset_split_name=train     --dataset_dir=/data5/mydata_tfrecording/   --model_name=mobilenet_v1  > /tmp/md.txt &

基于预训练模型优化（fune turning）

1
2
3
4
5
6
7
8
9
10

CUDA_VISIBLE_DEVICES=3 nohup  \
python train_image_classifier.py \
   --train_dir=/tmp/m2_train \
   --dataset_dir=/data5/zxt/fdata/log \
   --dataset_name=dishes \
   --dataset_split_name=train \
   --model_name=mobilenet_v1 \
   --checkpoint_path=/data5/model/mobilenet_v1_1.0_224.ckpt
   --checkpoint_exclude_scopes=MobilenetV1/Logits,MobilenetV1/AuxLogits \
  --trainable_scopes=MobilenetV1/Logits,MobilenetV1/AuxLogits > /tmp/m3.txt &

评估模型

修改代码错误research/slim/eval_image_classifier.py , 具体错误参考https://github.com/tensorflow/models/issues/694

1
2
3
4
5

#line 156修改
Change
slim.metrics.streaming_recall_at_k(logits, labels, 5)
to
slim.metrics.streaming_sparse_recall_at_k(logits, labels, 5)

然后运行就可以了！

1

CUDA_VISIBLE_DEVICES=2 python eval_image_classifier.py     --alsologtostderr     --checkpoint_path=/tmp/m2_train/ --eval_dir=/tmp/m2_eval --dataset_dir=/data5/zxt/fdata/log     --dataset_name=dishes     --dataset_split_name=validation --model_name=mobilenet_v1

最后放个可以同时训练多个模型的python脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

import os
import tensorflow as tf

slim = tf.contrib.slim

SLIM_DIR = '/data5/zxt/models/research/slim/'
LOG_DIR = '/data5/zxt/flowers/train_log/'
MODELS = ['inception_v3', 'inception_resnet_v2']

model = "inception_v4"
DATASET_NAME = 'flowers'
DATASET_DIR = '/data5/zxt/flowers/log'

CMD_TRAIN = 'CUDA_VISIBLE_DEVICES={0} nohup python train_image_classifier.py --learning_rate=0.01 --num_epochs_per_decay=2.0 --optimizer=adam --train_dir={1}/{2}_train ' \
            '--dataset_name={3} --dataset_dir={4} --dataset_split_name=train --model_name={2} > {1}/{3}_{2}_train.txt & '
CMD_VAL = 'CUDA_VISIBLE_DEVICES={0} nohup python eval_image_classifier.py --alsologtostderr --checkpoint_path={1}/{2}_train' \
          ' --eval_dir={1}/{2}_eval  --dataset_name={3} --dataset_dir={4} --dataset_split_name=validation ' \
          '--model_name={2} --preprocessing_name inception --eval_image_size 299 --eval_loop=True > {1}/{3}_{2}_eval.txt &'


def race():
    # os.makedirs(LOG_DIR)
    for index, model in enumerate(MODELS):
        index += 1
        # print(index)
        cmd_train = CMD_TRAIN.format(index * 2 - 1, LOG_DIR, model, DATASET_NAME, DATASET_DIR)
        cmd_eval = CMD_VAL.format(index*2, LOG_DIR, model, DATASET_NAME, DATASET_DIR)

        print(cmd_train)
        print(cmd_eval)
        # os.system(cmd_train)
        # os.system(cmd_eval)
        # os.system("CUDA_VISIBLE_DEVICES=0 tensorboard --logdir {0} &".format(LOG_DIR))


if __name__ == '__main__':
    race()

参考资料

• https://github.com/tensorflow/models/blob/master/research/slim/README.md

本文独立博客地址

本次研究完成了Redex在Ubuntu linux上的安装和配置，进行了Redex优化测试， 实验了Redex优化的主要流程, 包括Inderdex。

Redex优化的基础知识

可以先看看这几篇文章：

• 基于 Facebook Redex 实现 Android APK 的压缩和优化
• Facebook App 优化工具 ReDex 优化的 6 点及未优化的一大方面
• Optimizing Android bytecode with ReDex

Ubuntu上安装Redex

Redex目前支持Ubuntu Linux和Mac系统， 安装时需要编译源码，Ubuntu下面需要有sudo权限才能安装。
安装过程参考官方文档。

Ubuntu 14.04 LTS (64-bit)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

sudo apt-get install \
    g++ \
    automake \
    autoconf \
    autoconf-archive \
    libtool \
    libboost-all-dev \
    liblz4-dev \
    liblzma-dev \
    make \
    zlib1g-dev \
    binutils-dev \
    libjemalloc-dev \
    libiberty-dev \
    libjsoncpp-dev

Download, Build and Install

Get ReDex from GitHub:

1
2

git clone https://github.com/facebook/redex.git
cd redex

Now, build ReDex using autoconf and make.

1
2

autoreconf -ivf && ./configure && make
sudo make install

然后就可以在命令行下运行Redex了

Redex Indexdex介绍

Interdex优化比较复杂，默认配置是不开启的，具体看Interdex文档。
Interdex Pass 可以优化dex中class的顺序，以及class在不同的dex中的分布（如果是app使用了multidex）
按照class在实际运行中调用的顺序在dex中进行重新排序，可以带来几个好处：

• 更少的IO
• 更少的内存占用
• 更少page cache污染

Redex默认的配置文件是不包含Inderdex这一步的。增加Inderdex后的配置文件如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

{
  "redex" : {
    "passes" : [
      "ReBindRefsPass",
      "BridgePass",
      "SynthPass",
      "FinalInlinePass",
      "DelSuperPass",
      "SingleImplPass",
      "SimpleInlinePass",
      "StaticReloPass",
      "RemoveEmptyClassesPass",
      "ShortenSrcStringsPass",
      "InterDexPass"
    ],
   "coldstart_classes":"app_list_of_classes.txt" //class调用顺序列表
  }
}

生成输入数据

如何得到实际运行中class的调用顺序？

首先需要收集app的运行数据

按照典型使用场景操作app，获取heap dump文件， 使用redex提供的脚本redex/tools/hprof/dump_classes_from_hprof.py分析dump文件，得到class列表。
这里有个坑，首先是dump_classes_from_hprof.py在python2运行都有错误， Python2需要安装enum34后才能正常运行， 不兼容python3
在ubuntu上安装enum34后，用python2.7运行，可以得到class列表

具体操作过程如下

// get the process if of your app

1

adb shell ps | grep YOUR_APP_NAME | awk '{print $2}' > YOUR_PID ( if you don't have awk, the second value is the pid of your app)

// dump the heap of your app. You WILL NEED ROOT for this step

1
2

adb root
adb shell am dumpheap YOUR_PID /data/local/tmp/SOMEDUMP.hprof

// copy the heap to your host computer

1

adb pull /data/local/tmp/SOMEDUMP.hprof YOUR_DIR_HERE/.

// pass the heap dump to the python script for parsing and printing out the class list
// Note that the script needs python 2

1

YOUR_PYTHON_2_PATH redex/tools/hprof/dump_classes_from_hprof.py --hprof YOUR_DIR_HERE/SOMEDUMP.hprof > list_of_classes.txt

测量优化效果

主要是看app内存占用和 .dex mmap

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56

adb shell ps | grep com.test.app | awk '{ print $2 }'
9003

[R:\AndroidM\packages\apps]$ adb shell dumpsys meminfo 9003
Applications Memory Usage (kB):
Uptime: 2329984 Realtime: 2329984

** MEMINFO in pid 9003 [com.test.app] **
                   Pss  Private  Private  Swapped     Heap     Heap     Heap
                 Total    Dirty    Clean    Dirty     Size    Alloc     Free
                ------   ------   ------   ------   ------   ------   ------
  Native Heap    10711    10044        0        0    44416    40455     3960
  Dalvik Heap     2201     2172        0        0    35719    33937     1782
 Dalvik Other     5424     4984        0        0                           
        Stack      516      516        0        0                           
       Ashmem        4        0        0        0                           
    Other dev        5        0        4        0                           
     .so mmap      967      152      148      360                           
    .apk mmap      271        0       56        0                           
    .ttf mmap        8        0        0        0                           
    .dex mmap     4531        8     4464        0                           
    .oat mmap     2274        0      776        0                           
    .art mmap     2761     1352     1020        0                           
   Other mmap       94        8        8        0                           
    GL mtrack     4196     4196        0        0                           
      Unknown      190      188        0        0                           
        TOTAL    34153    23620     6476      360    80135    74392     5742

 App Summary
                       Pss(KB)
                        ------
           Java Heap:     4544
         Native Heap:    10044
                Code:     5604
               Stack:      516
            Graphics:     4196
       Private Other:     5192
              System:     4057

               TOTAL:    34153      TOTAL SWAP (KB):      360

 Objects
               Views:       48         ViewRootImpl:        0
         AppContexts:        2           Activities:        1
              Assets:        3        AssetManagers:        2
       Local Binders:       12        Proxy Binders:       27
       Parcel memory:       13         Parcel count:       52
    Death Recipients:        0      OpenSSL Sockets:        0

 SQL
         MEMORY_USED:      663
  PAGECACHE_OVERFLOW:       88          MALLOC_SIZE:       62

 DATABASES
      pgsz     dbsz   Lookaside(b)          cache  Dbname
         4       68            512      225/36/22  /data/user/0/com.test.app/databases/MyTicket

App冷启动时间测试

我们常说的App冷启动,是指启动时你的应用程序的进程是没有创建的. 这也是大部分应用的使用场景.用户在桌面上点击你应用的 icon 之后,首先要创建进程,然后才启动 MainActivity.
这时候adb shell am start -W packagename/MainActivity 返回的结果,就是标准的应用程序的启动时间（注意 Android 5.0 之前的手机是没有 WaitTime 这个值的）
具体可以参考怎么计算apk的启动时间？
如果只关心某个应用自身启动耗时，参考TotalTime；如果关心系统启动应用耗时，参考WaitTime；如果关心应用有界面Activity启动耗时，参考ThisTime。

我编写了一个python脚本，可以自动进行多次冷启动，并画出启动时间统计图，计算平均启动时间。用这个脚本可以很方便的测量任意app的启动时间。
打开app，马上运行adb shell dumpsys activity top，可以看到app的包名和启动Activity， 测试脚本需要输入包名和启动activity的完整类名。

Redex优化效果分析

使用以前开发的App做测试，体积20M，使用了multidex。由于app有启动页，本身启动速度已经很快，1s多一点，因此优化效果不够明显。

1
2
3
4
5
6
7
8
9
10
11

优化前数据
['465', '1122', '1163']
[['444', '1123', '1149'], ['440', '1150', '1191'], ['410', '1450', '1520'], ['439', '1081', '1112'], ['419', '1072', '1117'], ['409', '1055', '1084'], ['423', '1101', '1135'], ['427', '1079', '1120'], ['465', '1122', '1163']]
apk launcher avarage times:[ThisTime, TotalTime, WaitTime]
[  430.66665649  1137.          1176.77783203]

redex优化后的数据，优化后TotalTime减少70ms
['453', '1129', '1159']
[['403', '1072', '1099'], ['411', '1077', '1123'], ['414', '1056', '1085'], ['383', '1031', '1077'], ['386', '1056', '1102'], ['381', '1030', '1071'], ['449', '1111', '1148'], ['390', '1095', '1127'], ['453', '1129', '1159']]
apk launcher avarage times:[ThisTime, TotalTime, WaitTime]
[  407.777771    1073.          1110.11108398]

结论

Redex可以在Proguard优化后再在dex层面进行优化，Redex需要配置Proguard配置文件来保护一些不应该被优化的类（如JNI调用、反射调用的类等）。
根据实际测试结果看Redex优化后可以提升冷启动速度10%左右，apk体积减少100k左右，低于Facebook给出的数据（25%）。原因可能是我测试的Apk比较简单，本身启动速度已经比较快，后面应该找启动速度慢的App进行优化测试。
普通App建议在做了Proguard优化后，再根据冷启动测试数据决定是否做Redex优化。

参考文章

ReDex github
Optimizing Android bytecode with ReDex
基于 Facebook Redex 实现 Android APK 的压缩和优化
Facebook App 优化工具 ReDex 优化的 6 点及未优化的一大方面

浅谈Android启动时间
怎么计算apk的启动时间？

本文独立博客地址

我整理了一些遇到的常见问题，希望对大家有帮助。
首先注意的gradle编译比mm方式编译对项目质量的要求更严格，特别是编译release版本，很多命名不规范的资源需要修改， strings缺少的翻译等需要对齐。

问题一：

Error:(26, 9) Attribute application@icon value=(@drawable/logo) from AndroidManifest.xml:26:9
Error:(28, 9) Attribute application@theme value=(@style/ThemeActionBar) from AndroidManifest.xml:28:9
is also present at XXXX-trunk:XXXXLib:unspecified:15:9 value=(@style/AppTheme)
Suggestion: add ‘tools:replace=”android:theme”‘ to element at AndroidManifest.xml:24:5 to override
Error:Execution failed for task ‘:XXXX:processDebugManifest’.

Manifest merger failed with multiple errors, see logs

原因：
AS的Gradle插件默认会启用Manifest Merger Tool，若Library项目中也定义了与主项目相同的属性（例如默认生成的Android:icon和android:theme），则此时会合并失败，并报上面的错误。

解决方法有以下2种：
方法1：在Manifest.xml的application标签下添加tools:replace=”android:icon, android:theme”（多个属性用,隔开，并且记住在manifest根标签上加入xmlns:tools=”http://schemas.android.com/tools"，否则会找不到namespace哦）
方法2：在build.gradle根标签上加上useOldManifestMerger true （懒人方法）

参考官方介绍：
http://tools.android.com/tech-docs/new-build-system/user-guide/manifest-merger

问题二：

Library Project里面的BuildConfig.DEBUG永远都是false。这是Android Studio的一个已知问题，某Google的攻城狮说，Library projects目前只会生成release的包。
Issue 52962: https://code.google.com/p/android/issues/detail?id=52962

解决方法：（某Google的攻城狮推荐的方法）
Workaround: instaed of BuildConfig.DEBUG create another boolean variable at lib-project’s e.g. BuildConfig.RELEASE and link it with application’s buildType.
https://gist.github.com/almozavr/d59e770d2a6386061fcb

参考stackoverflow上的这篇帖：
http://stackoverflow.com/questions/20176284/buildconfig-debug-always-false-when-building-library-projects-with-gradle

问题三：

Duplicate zip entry error， 这个问题一般是引用了不同版本的com.android.support库，或者不同的jar里面有同名的class文件导致的，需要人工排查了。

解决方法：
Settings->IDE Settings->Editor->Other->Strip trailing spaces on Save->None

问题四：

编译的时候，报：Failure [INSTALL_FAILED_OLDER_SDK]。一般是系统自动帮你设置了compileSdkVersion

解决方法：
修改build.gradle下的compileSdkVersion ‘android-L’为compileSdkVersion 24

问题五：

Error:Executionfailed for task ‘:greencar:processDebugManifest’.> Manifest merger failed withmultipleerrors, see logs。
原因：AS的Gradle插件默认会启用Manifest Merger Tool，若Library项目中也定义了与主项目相同的属性（例如默认生成的android:icon和android:theme），则此时会合并失败，并报上面的错误。
解决方案：
在manifest根标签上加入xmlns:tools="http://schemas.android.com/tools"，并在Manifest.xml的application标签下添加tools:replace="name，icon, label，theme"
以及在主项目的 manifest文件中，重复写了 call_phone的权限，网上也有人是某个activity下多写了一句intent-filter，里面没有内容，将这些重复的空的删掉就好，并将作为lib的minisdk与主项目同步（修改library飞build.gradle文件中最小sdk，或者降低主项目的sdk）

问题六：

在作为library的项目中报错：需要常量表达式
解决方案：
在一般的Android项目中，R类的常量都是用final定义的，但ADT 14之后，如果在library 项目中，它会没有final关键字，而我们在作为library的项目中使用了switch ，在switch语句的case中，如果使用 R.id.xxx 则会提示有问题，不允许非常量在case语句中。
Google提供的一个方法就是把它转化为if-else语句。目前我也是用了这个笨办法，还好Android studio 只要按Anter+Enter自动帮改，就是比较烦

本文独立博客地址

微信小程序开发工具初体验

首先当然是先下载个微信小程序开发工具，微信Web开发者工具下载地址, 然后顺便找了个感觉还可以的小程序源码微信中的知乎–微信小程序 demo。目前支持Win32，Win64，Mac版本。
然后下载或git clone上面提到的Demo代码，打开安装好的微信开发者工具，用微信扫二维码登录，选择本地小程序项目 -> 添加项目，导入项目，AppID可以不填，功能会受限。本来我还以为一定有微信小程序开发者帐号才能用呢？微信小程序开发者帐号的开通门槛还是比较高的，必须是企业帐号，还需要用对公帐号转账验证通过。现在看来只是功能受限。如下图

可以看到微信Web开发者工具主要有账户，编辑，调试，项目，刷新，编译，后台，缓存等几个功能，功能还是比较有限的，调试功能主要是整合了Chrome Web开发者工具。

微信Web开发者工具是如何实现的

使用node.js和NW.js框架开发的，UI是基于NW.js框架开发的，支持Windows和Mac跨平台。这是很现实的技术选择，小程序的整个技术栈是基于H5的，虽然在UI框架层面自己实现了一套，但基础的js，css语法大部分还是支持的，因此开发者工具用node.js实现也是很正常的，现在我只是奇怪为什么微信没有选择用Atom Shell呢？就像Facebook的nuclide IDE那样，基于Atom编辑做个IDE？

参考文章

• 使用 NodeJS 框架 NW.js 编写桌面应用入门
• 微信中的知乎–微信小程序 demo

本文独立博客地址

强大的解决问题能力

我觉得强大的解决问题能力是全栈工程师最重要的素质，也是全栈工程师的核心能力。
全栈工程师的解决问题能力，应该不局限于软件研发中碰到的技术问题，范围可以扩展到工程和科学相关的问题。这一点我们要向国外的极客大神们学习，国外很多极客具备硬件，软件，网络和人工智能等领域的全方位能力，例如无人机领域的大神拉菲罗·安德烈。亚马逊运营中心里酷炫的、数以万计的Kiva机器人，就出自他手。公司被亚马逊收购后，这位“疯狂”的科技极客把注意力投向了无人机领域，三年时间研制出全球首个全向无人机。2015年获得“电子工程领域的诺贝尔奖”的IEEE机器人和自动化国际会议大奖，被人称为无人机之父。

在软件开发过程中所遇到的问题，真正的技术问题只占一部分，很多问题可能是工程或管理方面的问题。全栈工程师善于用全领域的知识积累从更本质的层面上找到解决问题的办法，而不是局限于某一种技术上寻求解决方案。例如前段时间遇到的HTML5 Hybrid App在某些安卓手机上兼容问题，最终的解决方案就是修改js代码，而是直接把Cordova的webview内核换成了腾讯X5内核，这个如果没有全栈技术能力是不可能做到的。

快速学习能力，不给自己设限，主动学习新技术

全栈工程师应该时刻保持开放的心态，主动学习新技术，能够快速进入新技术领域。广博的知识面有助于通过类比和知识迁移的方式，提高学习掌握新技术的速度。
例如做Java Web后端可以去熟悉前端开发的技术。做安卓开发的可以去学习iOS开发。做iOS的可以去学习下HTML5移动开发，研究下js。
我们现在计算机体系其实都是相通的，不同的编程语言体系，不同的操作系统平台，同样的任务或技术架构的处理方式可能是类似的，因此全栈工程师
现在我们已经进入了移动互联网的下半场，未来的大趋势是人工智能，全栈工程师对于人工智能，机器学习，深度学习等领域也要尽早准备学习了。

熟悉多种编程语言，熟悉整个系统从上到下的技术实现

我个人认为全栈工程师至少要熟悉5种编程语言，工作中不能只用一种特定编程语言。
现在TIOBE排行榜上主流的编程语言Java, C/C++, C#, Python, Javascript, PHP,Ruby,OC等都应该熟悉，Groovy,Scala,Go,Swift,Kotlin等相对比较新的编程语言也应该熟悉或了解几种。这样就可以根据具体情况（项目特质和团队情况）选择合适的技术栈，而不是整个系统只能用一种语言完成。当然了，大的项目具体的代码肯定应该由团队分工合作完成，但全栈工程师还是应该对项目整个技术栈具备一定的掌控力。
做Java Web应用的全栈工程师，应该熟悉Java,Javascipt,CSS,HTML,SQL,XML等常用语言，并且熟悉常用的前后端技术框架，例如Spring，JPA，Mybatis，Jquery，AngularJs，React等。用PHP，Python，Ruby，微软.net等技术栈做Web应用的应该也类似。
做移动互联网应用的全栈工程师，应该熟悉Android，iOS开发或微信开发，以及服务器端接口的开发，这样才能做到沟通无障碍。

全栈工程师的钱景和前景

成为一名真正的全栈工程师需要经过长期的持续学习和不断折腾，其中的甘苦只有自己知道。但和数年坚持一个领域的专家型人才相比，在薪酬方面全栈工程师可能并没有优势，这是可以理解的，因为在就业市场上，特别是像BAT这些比较大的公司，倾向于给行业顶级水平的人才很高的报酬，这符合赢者通吃的社会法则。而全栈工程师，由于关注和学习的领域太多，有限的精力必然被分散，导致在某个特定领域会比不上领域专家，因此在职业生涯早期和中期并不容易拿到足够高的收入。

从长期回报看，全栈工程师在架构师，CTO，技术合伙人等高端技术职务上会比领域技术专家更有优势，全面的技术背景有助于做出更加全面客观的技术架构和决策，从而对所在组织产生很大的正面影响。

对于创业公司，全栈工程师发挥空间会更大，多面手的特长可以帮助团队快速完成早期技术产品，成为公司创始人或技术合伙人，发展前景会很大。每一个全栈工程师，都有过一个创业梦。能否创业成功，在于是否有足够的勇气，综合能力和机遇。

真正的全栈工程师，对新技术有着强烈的好奇心，敢于不断地走出自己的舒适区，勇敢进入新的技术领域！

本文独立博客地址

在分析了.repo目录下面的文件之后，我找到一个简单的方法，可以只下载部分源码的git项目，现在安卓源码一共由500多个git项目组成，一个人想了解全部源码基本上是不可能的，只能研究下重要的或者是工作涉及的部分。

由于是Mac上，需要按照官方的说明做些准备工作，具体参考http://source.android.com/source/initializing.html#setting-up-a-mac-os-x-build-environment
，具体做法如下：

1
2

# 创建一个大小写敏感的磁盘镜像文件
hdiutil create -type SPARSE -fs 'Case-sensitive Journaled HFS+' -size 40g ~/android.dmg

修改~/.bash_profile，加入2个函数

1
2
3
4

# mount the android file image
function mountAndroid { hdiutil attach ~/android.dmg -mountpoint /Volumes/android; }
# unmount the android file image
function umountAndroid() { hdiutil detach /Volumes/android; }

运行

1
2
3

source ~/.bash_profile
 mountAndroid   #挂载磁盘镜像到/Volumes/android
cd  /Volumes/android

因为本文不涉及到编译源码，所以编译环境相关但步骤就不介绍了，官方文档挺详细的。
下面介绍下repo吧

1. repo是什么？

repo是一种代码版本管理工具，它是由一系列的Python脚本组成，封装了一系列的Git命令，用来统一管理多个Git仓库。

1. 为什么要用repo？

因为Android源码引用了很多开源项目，每一个子项目都是一个Git仓库，每个Git仓库都有很多分支版本，为了方便统一管理各个子项目的Git仓库，需要一个上层工具批量进行处理，因此repo诞生。

最后重点到了，看下.repo/manifests/default.xml文件，内容大概如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

<?xml version="1.0" encoding="UTF-8"?>
<manifest>

  <remote  name="aosp"
           fetch=".." />
  <default revision="refs/tags/android-7.0.0_r14"
           remote="aosp"
           sync-j="4" />

  <project path="build" name="platform/build" groups="pdk,tradefed" >
    <copyfile src="core/root.mk" dest="Makefile" />
  </project>
  <project path="build/blueprint" name="platform/build/blueprint" groups="pdk,tradefed" />
  <project path="build/kati" name="platform/build/kati" groups="pdk,tradefed" />
  <!-- <project path="build/soong" name="platform/build/soong" groups="pdk,tradefed" >
    <linkfile src="root.bp" dest="Android.bp" />
    <linkfile src="bootstrap.bash" dest="bootstrap.bash" />
  </project>
  <project path="abi/cpp" name="platform/abi/cpp" groups="pdk" />
  <project path="art" name="platform/art" groups="pdk" /> -->
  ......
  </manifest>

看到了吧，只要把不需要下载的源码project注释掉，然后运行repo sync就可以只下载没有被注释掉的项目了。当然这种办法只能用了研究源码，如果要编译源码，只下载一部分肯定是不行的。
repo sync后的项目结构如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

tree -L 1
.
├── CleanSpec.mk
├── blueprint
├── buildspec.mk.default
├── core
├── envsetup.sh
├── kati
├── libs
├── target
└── tools

cd kati
repo info .
Manifest branch: refs/tags/android-7.0.0_r14
Manifest merge branch: refs/heads/android-7.0.0_r14
Manifest groups: all,-notdefault
----------------------------
Project: platform/build/kati
Mount path: /Volumes/android/N/build/kati
Current revision: refs/tags/android-7.0.0_r14
Local Branches: 0

这样我们就实现了用repo sync只下载想要的安卓源码项目的目的。

本文独立博客地址

但随着移动端的流行使用庞大的jQuery去支撑移动端的开发显得有些重量级了,于是就出现了一个轻量级兼容库Zepto.js.

Zepto是作为为了支持移动端的浏览器而开发的一个和jQuery API极度相似的一个库, 如果你会用jquery，那么你也会用zepto,这样就大大降低团队协作的成本,不用改变开发习惯也能迅速的进行移动端开发.

Zepto设计的目的是提供jquery的类似的APIs，但并不是100%覆盖jquery为目的。zepto设计的目的是有一个5-10k的通用库、下载并执行快、有一个熟悉通用的API，所以你能把你主要的精力放到应用开发上。

具体到我们的项目，由于各种原因，开始时并没有使用Zepto而是使用了Jquery。这轮性能优化打算换成Zepto，毕竟size查了10倍啊。但是简单的把js引入替换成zeptp显然是不行的。由于用了lazyload等插件，依赖了jQuery的$.Defered, 还用了css3的一些selector，因此还有需要引入Zepto的一些扩展模块，Zepto默认提供的压缩文件只包含几个默认模块，可以通过命令自定义打包其它模块，也可以通过http://github.e-sites.nl/zeptobuilder/进行在线自定义打包和压缩。

兼容Zepto的lazyload插件可以用这个https://github.com/jieyou/lazyload

Zepto modules

Zepto modules are individual files in the “src/“ directory.

本文独立博客地址

本次大会的主题是Pythonic, C’est la vie! 法语：Pythonic，这就是生活！
这次大会很好的体现了这个主题，演讲的嘉宾来自不同的行业，而不仅仅是传统的软件和互联网行业。印象比较深刻的2场演讲是vn.py的作者介绍Python和vn.py在Quant量化投资领域中的运用，《基于Python的谷歌TensorFlow深度学习框架的介绍》，《用高魔的姿势调Python程序》。具体的日程和PPT在这里。

根据大会一场演讲中互动环境的Python用户情况现场调查，现场只要不到30%的人专职做Python开发的，其它的参会者都是在工作部分用到或业余用到Python。这个应该和Python的适用场景有关， Python作为一个有20多年历史，有着特殊的缩进语法风格，历史上积累的大量第三方库，跨平台，开始时是作为脚本语言推广，现在已经发展成了通用编程语言，有着广泛的使用场景。我自己主要是在工作中的小项目上用Python，例如几个月前用Python做了Android和iOS App的持续集成系统，通过jenkins自动调用Python脚本生成App，H5下载网页和二维码，方便测试。另外，以前折腾树莓派也是Python，使用RPi.GPIO库控制硬件，写代码效率比用C语言高很多，适合折腾。后面有兴趣研究下TensorFlow深度学习框架。

还有一个演讲是介绍基于Python的ERP系统Odoo, 但我感觉ERP这种产品是企业的神经啊，需要贴合国情，而Odoo是主要是在欧洲使用的，不一定适合国内情况，虽然可以做扩展。基于Python对系统的维护也会带有一些问题，国内熟悉Python的人相对较少，并且也不一定愿意去做ERP，搞机器学习多高端啊。

总之，今年的PyCon2016大会上海站还是诚意满满的，分享的东西都比较有意思。

本文独立博客地址

问题背景

熟悉Cordova生态圈的朋友可能听说过Crosswalk，Crosswalk是Intel维护的Webkit开源项目，可以通过插件安装命令cordova plugin add cordova-plugin-crosswalk-webview 安装，它的缺点就是太大了，集成后apk会增加20M，安装后会占用50M空间，因此一般不推荐普通App使用Crosswalk。

然后我就找到了腾讯浏览服务X5,它是直接使用微信/手机QQ/空间的X5浏览器内核的，SDK只有250k，因此可以放心使用。鉴于这几个产品国内广泛的装机量，用户覆盖方面不用担心，如果微信/手机QQ/空间都没有安装，会自动降级到系统浏览器内核，或提示用户安装X5内核。

腾讯X5内核介绍

X5SDK是通过调用微信/手机QQ/空间的X5内核，解决系统webview兼容性差、加载速度慢、功能缺陷等问题，开发接入便捷，大小只有253K，仅需几行代码，即可解决一切令开发者们头疼的问题，为用户提供最优秀的浏览体验。

同时，QQ浏览器团队还将持续更新和优化X5内核，持续优化功能，并保证兼容各种web新特性。

其相对于系统webview，具有下述明显优势：

1) 速度快：相比系统webView的网页加载速度有近30%的提升。
2) 省流量：云端优化技术使流量节省20%
3) 更安全：24小时安全问题解决机制
4) 更稳定：经过亿级用户的使用考验，CRASH率0.15%
5) 集成强大的视频播放器，支持各种视频格式直接打开
6) 适屏排版、字体设置等浏览增强功能的提供
7) Html5更完整支持。
8) 无系统内核的碎片化问题，更少的兼容性问题

Cordova整合腾讯X5内核

腾讯浏览服务官方只提供了如何把系统Webview替换成X5的接入文档，并没有提供Cordova集成的方法，论坛里有人问这个问题也没有官方回复。现在项目里面用了很多Cordoca插件提供拍照，扫二维码，App支付宝支付等功能，因此就需要把cordova和x5结合起来。

Cordova框架现在已经很完善，Cordova的Web Engine也是基于接口开发的，因此我参考系统engine的实现，写了一个x5engine插件，解决了Cordova调用X5内核的问题。

后面我会把这部分功能做成了一个Cordova插件，方便大家使用,github地址https://github.com/offbye/cordova-plugin-x5engine-webview。

遇到的问题

1. 64位手机上加载包含x5 so文件的插件报错
   `TBS:initX5Core – loadSucc: false; exception: java.lang.reflect.InvocationTargetException; cause: java.lang.UnsatisfiedLinkError: dlopen failed: “/data/data/com.tencent.mm/app_tbs/core_share/libmttwebview.so” is 32-bit instead of 64-bit

   `
   

   解决办法是在armeabi增加一个32位的jni so， 随便弄个小一点的so加上就可以，如果已经用了其它的JNI so应该不会有这个错误。

2. X5内核不支持file://本地域url，但支持本地相对路径。

本文独立博客地址

1. 变量定义比较

Swift用var定义变量，let定义常量，一般情况我会先把所有变量都用let定义，需要时再改成var。
Javascript ES6以前版本没有let，只有var， var不支持块级作用域，如果一个变量没有用var定义，则默认是全局变量。
Javascript ES6引入了let和const， let用来定义变量，const用来定义常量；let定义的变量支持块级作用域，var定义的不支持块级作用域，因此推荐用let定义变量。
由此可见，Swift的变量定义更友好合理，毕竟是新语言，没有历史包袱。

2. 类和继承

本文独立博客地址

Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。
Redis 与其他 key - value 缓存产品有以下三个特点：

• Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。
• Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。
• Redis支持数据的备份，即master-slave模式的数据备份。

Redis常用命令可以参考http://www.runoob.com/redis/redis-keys.html

Node.js已经有很多redis相关的库，我在npm.org上搜了下大概有十几个吧，其中经常使用的redis,co-redis。 由于我用koa做web框架，因此就直接用了koa-redis。这篇文章涉及koa.js，yield生成器和Promise相关的知识，需要先对这些概念有一定的认识。

下面介绍下redis和koa.js相关的操作吧，我是在Mac下操作的。

1. 安装redis，并启动客户端和服务器端

brew install redis

• 启动服务器端 redis-server

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

  29322:C 06 Sep 17:39:25.109 # Warning: no config file specified, using the default config. In order to specify a config file use redis-server /path/to/redis.conf 29322:M 06 Sep 17:39:25.111 * Increased maximum number of open files to 10032 (it was originally set to 1024). _._ _.-``__ ''-._ _.-`` `. `_. ''-._ Redis 3.0.6 (00000000/0) 64 bit .-`` .-```. ```\/ _.,_ ''-._ ( ' , .-` | `, ) Running in standalone mode |`-._`-...-` __...-.``-._|'` _.-'| Port: 6379 | `-._ `._ / _.-' | PID: 29322 `-._ `-._ `-./ _.-' _.-' |`-._`-._ `-.__.-' _.-'_.-'| | `-._`-._ _.-'_.-' | http://redis.io `-._ `-._`-.__.-'_.-' _.-' |`-._`-._ `-.__.-' _.-'_.-'| | `-._`-._ _.-'_.-' | `-._ `-._`-.__.-'_.-' _.-' `-._ `-.__.-' _.-' `-._ _.-' `-.__.-' 29322:M 06 Sep 17:39:25.116 # Server started, Redis version 3.0.6 29322:M 06 Sep 17:39:25.116 * The server is now ready to accept connections on port 6379

• 启动客户端 redis-cli

  1 2 3 4 5

  127.0.0.1:6379[1]> select 0 OK 127.0.0.1:6379> keys * (empty list or set) 127.0.0.1:6379>

2. 安装node.js和koa.js，node的安装这里就不讲了，通过brew install就可以。

npm install koa redis koa-redis

可以看到koa-redis已经依赖了co-redis, es6-promisify等库

1
2
3
4
5
6
7

`-- koa-redis@2.1.2
  +-- co-redis@2.1.1
  | `-- es6-promisify@4.1.0
  |   `-- es6-promise@3.2.1
  `-- hiredis@0.5.0
    +-- bindings@1.2.1
    `-- nan@2.4.0

3. koa.js操作redis数据

这块是本文重点，由于官方的文档和例子不太详细，不熟悉node的同学折腾起来会比较累，所以本文提供了一个比较完整的例子。具体代码里面注释已经写的比较清楚了。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111

var session = require('koa-generic-session');
var redisStore = require('koa-redis');
var koa = require('koa');
var redis = require('redis');
// 注意: client默认是异步callback方式调用;
// store.client是经过了co-redis包装,返回Promise, 在koa里面用yield异步编程比较方便
var client = redis.createClient(6379, "172.19.65.240");

var app = koa();
app.keys = ['keys', 'keykeys'];
// var option={host: "172.19.65.240", db:1};
var options = {client: client, db: 1};

var store = redisStore(options);
app.use(session({
  store: store
}));

app.use(function *() {
  switch (this.path) {
    case '/get':
      get.call(this);
      break;

    case '/testKV':
      // 保存key value
      if (this.query.adminId) {
        yield store.client.set("test1", this.query.adminId);
      }
      //同步读取key value
      this.body = yield store.client.get("test1");
      break;

    case '/testHM':
      //操作hashmap
      var result = yield store.client.hmset("hosts", "mjr", "123", "another", "23", "home", "1234");
      console.log(result);

      var obj = yield store.client.hgetall("hosts")
      console.dir(obj);
      //获取hashmap key的值
      this.body = yield store.client.hget("hosts", "home");

      //保存hashmap,使用默认的callback方式
      // client.hset("hash key", "hashtest 1", "some value", redis.print);
      // client.hset(["hash key", "hashtest 2", "some other value"], redis.print);
      // client.hmset("hosts", "mjr", "1", "another", "23", "home", "1234");
      // client.hmset(["key", "test keys 1", "test val 1", "test keys 2", "test val 2"], function (err, res) {
      //   console.log(res);
      // });

      break;
    case '/testSet':
      //保存set
      var key = "key1";
      store.client.sadd("key1", "v1");
      store.client.sadd("key1", "v2");
      store.client.sadd("key1", "v3");

      //读取set
      store.client.multi()
        .sismember(key, 'v1')
        .smembers(key)
        .exec(function (err, replies) {
          console.log("MULTI got " + replies.length + " replies");
          replies.forEach(function (reply, index) {
            console.log("Reply " + index + ": " + reply.toString());
          });
        });

      //读取set
      this.body = yield store.client.smembers("key1");
      break;
    case '/testList':
      //保存list
      store.client.rpush("mylist", "bbb")
      store.client.rpush("mylist", "ccc")
      store.client.lpush("mylist", "aaa")

      this.body = yield store.client.rpop("mylist");
      break;
    case '/remove':
      remove.call(this);
      break;
    case '/regenerate':
      yield regenerate.call(this);
      break;
  }
});

function get() {
  var session = this.session;
  session.count = session.count || 0;
  session.count++;
  var test = store.client.get("test");
  console.log(test);
  this.body = session.count;
}

function remove() {
  this.session = null;
  this.body = 0;
}

function *regenerate() {
  get.call(this);
  yield this.regenerateSession();
  get.call(this);
}

app.listen(8080);

关于在koa框架中使用redis就写这么多吧，其实还有发布-订阅等的用法，这里就不说了。

本文独立博客地址

首先我找了star最多的插件，https://github.com/charleyw/cordova-plugin-alipay， 结果发现这个插件已经过时了，API和最新的支付宝SDK对不上， 然后签名竟然是在客户端计算，导致安全问题和iOS需要增加很大的静态库，于是放弃这个了，充分说明了star多的项目不一定就能用。

然后我找到了一个更新时间比较近的项目，https://github.com/chenyuanchn/cordova-plugin-alipay，这个项目比较简单合理，服务器端负责生成payInfo字符串，客户端支付调用支付宝。问题是iOS上编译有错误，原因是有几个库没有加入到插件config.xml中，不熟悉iOS的人就郁闷了，我参考了[iOS接入支付宝](http://caoyudong.com/2016/01/03/iOS%E6%8E%A5%E5%85%A5%E6%94%AF%E4%BB%98%E5%AE%9D/)解决问题。
这个库还有个问题是没有实现callback回调。

然后我fork了这个插件，并完善了上面提到的几个问题，放在git上了。需要的可以拿去用。地址如下
https://github.com/offbye/cordova-plugin-alipay

最后强烈建议支付宝维护个官方的Cordova插件吧，毕竟这是涉及到支付安全的产品啊。

本文独立博客地址

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

常用的快捷键：
Ctrl + d        删除一个字符，相当于通常的Delete键（命令行若无所有字符，则相当于exit；处理多行标准输入时也表示eof）
Ctrl + h        退格删除一个字符，相当于通常的Backspace键
Ctrl + u        删除光标之前到行首的字符
Ctrl + k        删除光标之前到行尾的字符
Ctrl + c        取消当前行输入的命令，相当于Ctrl + Break
Ctrl + a        光标移动到行首（Ahead of line），相当于通常的Home键
Ctrl + e        光标移动到行尾（End of line）
Ctrl + f        光标向前(Forward)移动一个字符位置
Ctrl + b        光标往回(Backward)移动一个字符位置
Ctrl + l        清屏，相当于执行clear命令
Ctrl + p        调出命令历史中的前一条（Previous）命令，相当于通常的上箭头
Ctrl + n        调出命令历史中的下一条（Next）命令，相当于通常的上箭头
Ctrl + r        显示：号提示，根据用户输入查找相关历史命令（reverse-i-search）

次常用快捷键：
Alt + f         光标向前（Forward）移动到下一个单词
Alt + b         光标往回（Backward）移动到前一个单词
Ctrl + w        删除从光标位置前到当前所处单词（Word）的开头
Alt + d         删除从光标位置到当前所处单词的末尾
Ctrl + y        粘贴最后一次被删除的单词

以上就是快捷键了，在这里我只想揭露一些事情，这些快捷键都是emacs的快捷键！熟悉终端的同学应该知道，终端里可以设置快捷键的类型是vim还是emacs。当然了大多数的终端都用的emacs，因为啥自己想去吧。我估计原因是这些东西都是早期的C/C++大神写的，一脉相承下来的！
mac os x虽然是图形界面，但是chrome，xcode啥的也支持这些快捷键！

本文独立博客地址

Tower is a Ground Control Station (GCS) Android app built atop 3DR Services, for UAVs
running Ardupilot software.

Tower中国用户适配版本–cTower手机地面站 by offbye

3DR官方Tower手机地面站在国内不适用，国内多数手机没有谷歌服务和谷歌市场，因此没法安装3DR services服务，谷歌地图在国内由于众所周知的原因，也不好用。

因此我为了自己玩的开心，Fork了Tower项目并逐步改的让国内主流安卓手机能正常使用，希望能够造福魔友，也欢迎有能力的朋友一起开发完善，不欢迎商业闭源使用。

cTower在尽量保留Tower原版最新功能不变的基础上，针对国内手机用户进行适配和增强，版本号和Tower保持同步。

3.2.2 更新说明

1. cTower地面站，实现支持去掉谷歌gms服务的国产手机
2. 去掉3DR服务检查 by [i]offbye[/i]
3. 增加高德地图支持，并设为默认地图，可以设置切换谷歌地图
4. 修改了应用ID，避免和原版Tower冲突
5. 修改gradle配置，适配高德地图，解决GFW导致一些repo下载慢无法编译的问题

6. 增强简体中文翻译

   下载cTower3.2.2版本

   

下载Tower官方版本

Usage Guide

The wiki has some basic documentation (Help us by making it better!)

For help, visit the Tower Discuss forum.

本文独立博客地址

Small的应用场景

开发时：让你完全透明的像开发普通工程一样完成插件开发
编译时：自动化的帮助你分离各个公共库、业务模块插件（插件仅保留自身的代码跟资源，达到最小化）
运行时：运用最少量的Hook无缝的将各个插件并入宿主，让代码跟资源完全融合，自由调用
所以撇开开发者不用关注的(2)来说，Small的目的就是要做到保证开发者「畅快开发」的体验，以及App使用者「顺畅使用」的体验。

插件化方案有很多，很难有统一的形态，各有各的适用场景。如果你需要分发你的插件给别人使用，Small无法满足；如果你想利用插件化拆分、重组自己的应用，我认为Small在这方面已经走在了前面，并且将不断完善，做到极致。

插件化的工程（开发）结构

关于工程（开发）结构的讨论
1.依赖管理：Small使用同一个ClassLoader加载不同的插件，因此不同插件中的依赖在运行时对其他插件和宿主都是可见的，所以依赖的管理一定要收敛，统一管理，避免各自引入。
2.插件之间的通信：插件的开发一般都是多team并行的，插件之间应避免直接调用来减少耦合
3.资源的使用：由于small的特性，runtime各插件的资源也是可以相互访问的，但在开发上需要组织和统一管理好，包括命名和安全的使用资源。

老项目集成Small插件的官方建议

基本原则

宿主中不要放业务逻辑。只做加载插件以及调起主插件的操作。

重构步骤

1. 拆lib. - 公共模块插件
   把各个第三方库拆出来做成一个个`lib.`插件模块，包括统计、地图、网络、图片等库。
   把老项目积累的业务公共代码(utils)分离出来封装成一个lib.utils插件
   把基础的样式、主题分离出来封装成一个lib.style插件
2. 拆app. - 业务模块插件
   把业务模块拆成`app.模块，他们可以依赖lib.模块，显示调用lib.`中的各个API
   相对独立的业务模块先拆，比如“详情页”、“关于我们”，如果剩下的业务不好拆，先放一个插件里
   如果都不好拆，先把全部业务做成一个app.main主插件

插件之间的通信

插件之间的通信/互调
目前的插件之间的通信仅限于Small.openUri()，用来调起其它插件的页面。

但有些时候，我们还是需要操作一下其它插件。 比如说在跳转到另一个插件的页面之前，需要查询一下对方插件的一个状态。
我觉得应该借助v4包的LocalBroadcastManager来实现

老项目集成Small插件化遇到的坑

1. 插件中通过startActivityForResult获取不到数据问题。如果启动的Activity是SingleTask启动模式，有这个问题。

2. 插件lib2依赖插件lib1，导致同时依赖lib1和lib2的插件app1编译时出现找不到类的情况。

3. 一个lib依赖另一个lib，buildLib时出现Duplicate package错误
   一个lib依赖另一个lib，buildLib时出现下面的错误，目前还没有找到解决吧，clean工程和cleanLib都做了，但还不行，只好把依赖去掉了才行。原因未知

4. 如果插件用到了百度地图等，需要把相关的功能放在一个插件下面，注意那些很大的.so是放在插件里面的

5. Small插件中是支持aar引用的，实际使用过了

6. Small的插件限制了包名，因此已有代码复制过来会有改变。特别要注意layout文件中自定义控件包名的改动，能够通过编译但运行时会找不到类。

7. 通过assembleRelease单独编译一个插件出现下面的错误，但有的电脑能正常单独编译插件，原因未知，已经提issue。

   1 2 3 4 5 6 7 8 9 10 11 12 13 14

   下午2:30:54: Executing external task 'assembleRelease'... Configuration on demand is an incubating feature. Incremental java compilation is an incubating feature. FAILURE: Build failed with an exception. * What went wrong: A problem occurred configuring project ':app.me'. > Could not find property 'android' on project ':app'. * Try: Run with --stacktrace option to get the stack trace. Run with --info or --debug option to get more log output. BUILD FAILED

8. 第三方SDK的meta，Service等需要在宿主App的manifest中声明，例如百度地图SDK的定位Service。

9. lib.utils删除资源后出现编译错误，解决办法是删除public.txt，重新编译lib和bundle
10. 老代码一些业务上耦合比较紧的页面不容易拆开，可以作为一个模块存在，我们最后拆成了6个大模块。

11. 目前1.0版本不支持gradle并行编译，在gradle.properties中打开org.gradle.parallel=true 编译会报错

    1 2 3 4 5 6 7 8 9 10

    gradle buildLib -q [Small] [Small] building library 1 of 2 - app (0x7f) [Small] [Small] building library 1 of 2 - app (0x7f) building library 2 of 2 - lib.utils (0x73) FAILURE: Build failed with an exception. * What went wrong: Execution failed for task ':lib.utils:preBuild'. ./build-small/intermediates/small-pre-link/aar/app-D.txt (No such file or directory)

    参考gradle文档
    这个不是Bug，有依赖的工程肯定是不能并行编译的

后面遇到问题会持续更新

参考文章

https://github.com/wequick/Small/issues

本文独立博客地址

航模爱好趣无穷，正确操纵是关键。莫把器材当玩具，忽视安全悔一生。
新手好问勤练习，远离人群勿炫耀。天下模友一家人，共建美好新生活。

首先说下无人机这个概念吧，无人机应该是指拥有自主飞行能力的飞行器，即可以不需要人干预的情况下自动飞行，大疆和零度无人机多数型号是可以设置航点自主飞行的。现在消费市场上所说的无人机很多都只能算是航拍机，本文的讨论对象也主要是航拍机。

玩无人机安全问题需要时刻放在第一位，不在闹市区和人群密集的地方，不在机场附近等禁飞区飞，不在高大建筑物附近飞，不在发生重大事件或灾害的现场飞，除非得到了相关部门的明确授权，否则可能会触发相关法律。个人精神状态不好的时候不能飞，无人机有故障隐患没排除时不能飞。

在了解了这些后你还想入手无人机的话请继续往下看。

你为什么想买无人机？

每个人在入手无人机前都有自己的需求和动机，有人是为了在朋友圈发图和炫耀，有人是为了新奇，有人是为了学习和了解相关的技术。这些都是常见也是正常的需求，还有人是为了用无人机送给戒指什么的，这种需求还是交给专业团队做吧，就不要自己买无人机了，太危险。
需要知道的是，自己组装无人机并不比买商业无人机便宜，一般用户就不要为了省钱自己组装无人机了。但组装无人机是一件很有乐趣和挑战的事情，需要投入大量的时间和金钱。

无人机相关的法规

目前无人机方面的规定是怎样的情况呢？原则上，超过一定重量，在视距外飞行的无人机每次飞行前都需要申报飞行计划。尽管不少人有驾驶执照，申请计划的不便还是让多数无人机处于“黑飞”之中。中国航空器拥有者及驾驶员协会（以下简称AOPA）牵头，多家企业联合开发的针对轻小无人机的监管系统Ucloud已经上线。中国民用航空局飞行标准司已经正式批准轻小型无人机监管系统“优云（U-Cloud）”实施运行。批准文件有效期两年：自颁发日期2016年3月4日起至2018年3月3日。
但这个规定现在很多地方并没有认真执行过，倒是AOPA在通过发无人机执照赚钱，航模圈里业余玩的航模爱好者很少有人会去办这个执照，但商业无人机领域好像挺认这个证书的，会花1-2万考个证书。具体参考下知乎如何评价AOPA及ASFC颁发的相关无人机证件？

玩无人机需要的技术技能

玩商业无人机对于技能的要求比较低，只需要熟悉遥控器的操作和功能，较好的心理素质，了解无人机飞行的基本原理，熟悉手机和电脑操作。无人机经常会升级更新固件的，当然你也可以选择不升级。
如果是你打算自己组装无人机，需要知道的东西就很多了。需要有机械，电子，空气动力学，计算机等方面的知识，还需要有很强的动手能力和各种工具，熟悉飞控，电机，电调，动力锂电池，接收机，遥控器，图传，各种传感器等部件，还要熟悉APM，Pixhawk，CC3D等飞控和相关地面站软件，就不展开说了，总之门槛还是比较高的。

飞行场地问题

无人机特别是固定翼飞机对于飞行场地要求还是比较高的，需要较大面积的空旷场地，并且不能在机场等设施附近，我一般是在湖边的大草坪飞，并且不在周末人比较多的时候飞，一般早上人很少时晚会比较方便。大疆等无人机都有禁飞区的设定，GPS定位到在禁飞区内是无法起飞的，北京四环以内好像都是禁飞区。
如果你生活在城市中心，附近没有合适的场地，入手无人机就需要考虑了，使用的频率会非常低。

最后祝大家飞的开心！

本文独立博客地址

测试http2发现android打印了下面的LOG

1
2
3
4
5
6
7
8

07-08 14:33:57.182 13670-13697/com.qianmi.shine I/System.out: [CDS]connect[shineapi2.qianmi.com/120.55.247.77:443] tm:20
07-08 14:33:57.187 13670-13697/com.qianmi.shine E/Posix: [Posix_connect Debug]Process com.qianmi.shine :443
07-08 14:33:57.251 13670-13697/com.qianmi.shine D/libc-netbsd: [getaddrinfo]: hostname=shineapi2.qianmi.com; servname=(null); cache_mode=(null), netid=0; mark=0
07-08 14:33:57.252 13670-13697/com.qianmi.shine D/libc-netbsd: [getaddrinfo]: ai_addrlen=0; ai_canonname=(null); ai_flags=4; ai_family=0
07-08 14:33:57.300 13670-13697/com.qianmi.shine E/NativeCrypto: ssl=0xd25d4000 cert_verify_callback x509_store_ctx=0xdec78080 arg=0x0
07-08 14:33:57.301 13670-13697/com.qianmi.shine E/NativeCrypto: ssl=0xd25d4000 cert_verify_callback calling verifyCertificateChain authMethod=ECDHE_RSA
07-08 14:33:57.431 13670-13697/com.qianmi.shine I/System.out: gba_cipher_suite:TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256

到github上找下相关的Android源码，
https://github.com/ACSOP/android_libcore/blob/88e2ca00cc0c161d9aa3e512b8ae58b3091dbf87/luni/src/main/native/org_apache_harmony_xnet_provider_jsse_NativeCrypto.cpp

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

/**
 * Verify the X509 certificate via SSL_CTX_set_cert_verify_callback
 */
static int cert_verify_callback(X509_STORE_CTX* x509_store_ctx, void* arg __attribute__ ((unused)))
{
    /* Get the correct index to the SSLobject stored into X509_STORE_CTX. */
    SSL* ssl = reinterpret_cast<SSL*>(X509_STORE_CTX_get_ex_data(x509_store_ctx,
            SSL_get_ex_data_X509_STORE_CTX_idx()));
    JNI_TRACE("ssl=%p cert_verify_callback x509_store_ctx=%p arg=%p", ssl, x509_store_ctx, arg);

    AppData* appData = toAppData(ssl);
    JNIEnv* env = appData->env;
    if (env == NULL) {
        LOGE("AppData->env missing in cert_verify_callback");
        JNI_TRACE("ssl=%p cert_verify_callback => 0", ssl);
        return 0;
    }
    jobject sslHandshakeCallbacks = appData->sslHandshakeCallbacks;

    jclass cls = env->GetObjectClass(sslHandshakeCallbacks);
    jmethodID methodID
        = env->GetMethodID(cls, "verifyCertificateChain", "([[BLjava/lang/String;)V");

    jobjectArray objectArray = getCertificateBytes(env, x509_store_ctx->untrusted);

    const char* authMethod = SSL_authentication_method(ssl);
    JNI_TRACE("ssl=%p cert_verify_callback calling verifyCertificateChain authMethod=%s",
              ssl, authMethod);
    jstring authMethodString = env->NewStringUTF(authMethod);
    env->CallVoidMethod(sslHandshakeCallbacks, methodID, objectArray, authMethodString);

    int result = (env->ExceptionCheck()) ? 0 : 1;
    JNI_TRACE("ssl=%p cert_verify_callback => %d", ssl, result);
    return result;
}

JNI_TRACE其实就是个封装了LOG的宏，定义如下：

1
2
3
4
5
6
7
8
9
10
11

#ifdef WITH_JNI_TRACE
#define JNI_TRACE(...) \
        ((void)LOG(LOG_INFO, LOG_TAG "-jni", __VA_ARGS__));     \
/*
        ((void)printf("I/" LOG_TAG "-jni:"));         \
        ((void)printf(__VA_ARGS__));          \
        ((void)printf("\n"))
*/
#else
#define JNI_TRACE(...) ((void)0)
#endif

但是最后还是有一点疑惑，源码打印的LOG是info级别的，但手机上logcat打印出的error log，这也是我为什么会注意到的原因，目前只能认为是手机和源码的代码不同了。

OkHttp3Stack是参考了下面的Gist代码实现的，评论里面说不支持https。但是我实际测试过是支持https和http2的。
https://gist.github.com/alashow/c96c09320899e4caa06b

在app/gradle.settings的android块增加下面代码

1

useLibrary 'org.apache.http.legacy'

另外一种方法是不再使用org.apache.http相关的类，参考http://blog.csdn.net/qq_28656671/article/details/50608239

最后提醒一下，Volley框架现在已经不再升级了，后面的新项目不建议使用了，推荐使用基于Retrofit和OkHttp3的请求框架，老项目升级成本有点高，就不折腾了。

参考文章

• http://www.jianshu.com/p/b022eed6b427
• http://blog.csdn.net/qq_28656671/article/details/50608239
• http://blog.csdn.net/android_ls/article/details/50493581
• https://github.com/square/okhttp/blob/master/CHANGELOG.md
• https://gist.github.com/alashow/c96c09320899e4caa06b
• http://www.cnblogs.com/richiewang/p/5140040.html
• https://github.com/mcxiaoke/android-volley
  本文独立博客地址

1. 什么是JWT？

   JSON Web Token (JWT)是一种基于 token 的认证方案。
   JSON Web Tokens are an open, industry standard RFC 7519 method for representing claims securely between two parties.
   简单的说，JWT就是一种Token的编码算法，服务器端负责根据一个密码和算法生成Token，然后发给客户端，客户端只负责后面每次请求都在HTTP header里面带上这个Token，服务器负责验证这个Token是不是合法的，有没有过期等，并可以解析出subject和claim里面的数据。

   注意JWT里面的数据是BASE64编码的，没有加密，因此不要放如敏感数据。

   可以通过https://jwt.io/这个网站对JWT Token进行解析。

   一个JWT token 看起来是这样的:

   1	eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjEzODY4OTkxMzEsImlzcyI6ImppcmE6MTU0ODk1OTUiLCJxc2giOiI4MDYzZmY0Y2ExZTQxZGY3YmM5MGM4YWI2ZDBmNjIwN2Q0OTFjZjZkYWQ3YzY2ZWE3OTdiNDYxNGI3MTkyMmU5IiwiaWF0IjoxMzg2ODk4OTUxfQ.uKqU9dTB6gKwG6jQCuXYAiMNdfNRw98Hw_IWuA5MaMo

   可以简化为下面这样的结构:

   1	base64url_encode(Header) + '.' + base64url_encode(Claims) + '.' + base64url_encode(Signature)

2. 为什么用JWT？

   JWT只通过算法实现对Token合法性的验证，不依赖数据库，Memcached的等存储系统，因此可以做到跨服务器验证，只要密钥和算法相同，不同服务器程序生成的Token可以互相验证。

3. JWT Token需要持久化在Memcached中吗？
   不应该这样做，这样就背离了JWT通过算法验证的初心。

4. 在退出登录时怎样实现JWT Token失效呢？
   退出登录， 只要客户端端把Token丢弃就可以了，服务器端不需要废弃Token。

5. 怎样保持客户端长时间保持登录状态？

   服务器端提供刷新Token的接口， 客户端负责按一定的逻辑刷新服务器Token。

6. 服务器端是否应该从JWT中取出userid用于业务查询？

   REST API是无状态的，意味着服务器端每次请求都是独立的，即不依赖以前请求的结果，因此也不应该依赖JWT token做业务查询， 应该在请求报文中单独加个userid 字段。
   为了做用户水平越权的检查，可以在业务层判断传入的userid和从JWT token中解析出的userid是否一致， 有些业务可能会允许查不同用户的数据。

7. JWT 在Java项目中如何实现？

   生成Token

   1 2 3 4 5 6

   String token = Jwts.builder().setSubject(userId) .setExpiration(new Date(System.currentTimeMillis() + Constant.TOKEN_EXP_TIME)) .claim("roles", Constant.USER_TYPE_EMP).setIssuedAt(new Date()) .signWith(SignatureAlgorithm.HS256, Constant.JWT_SECRET).compact(); loginResponse.setToken(token);

   验证JWT Token

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

   final String authHeader = request.getHeader("Authorization"); if (authHeader == null || !authHeader.startsWith("Bearer ")) { log.debug("no Authorization ", e); return; } else { try { final String token = authHeader.substring(7); // The part after "Bearer " log.debug("token " + token); final Claims claims = Jwts.parser().setSigningKey(Constant.JWT_SECRET) .parseClaimsJws(token).getBody(); log.debug(claims.toString()); } catch (Exception e) { //包含超时，签名错误等异常 log.debug("JWT Exception", e); return; } }

   注意客户端发送的Authorization HTTP HEADER格式是 “Bearer YOUR_JWT_TOKEN”,这是OAuth的规范规定的。

本文独立博客地址