Skypolis

通过GIS数据在Unity中创建3D地形

Thu, 19 Jul 2018 00:00:00 +0000

高程数据源ASTER GDEM

ASTER GDEM数据由日本METI和美国NASA联合测量处理后提供，有V1和V2两个版本。在中科院网站可下载到。

V1版本 http://www.gscloud.cn/sources/dataset_desc/310?cdataid=302&pdataid=10&datatype=gdem_utm

V2版本 http://www.gscloud.cn/sources/dataset_desc/421?cdataid=302&pdataid=10&datatype=gdem_utm2

在下载到的压缩包里可以找到readme.pdf解释具体格式。主要内容抽取如下：

提供的高程数据范围是83°N - 83°S的全球部分，按照1° * 1°的瓦片大小划分，每个瓦片标注经纬度位置，共有22702块。每张图像大小是24.7M。
每个瓦片文件的格式是GeoTIFF，图片长宽是3601*3601，对应经纬度1° * 1°范围，每个像素约合一角秒。
像素使用signed 16-bit描述，单位是米，高度基准以WGS84 / EGM96为参考系。-9999表示空值。
GDEM 2 has an overall accuracy of around 17-m at the 95% confidence level, and a horizontal resolution on the order of 75-m

Unity中的高程格式

Unity中的terrain采用RAW文件格式进行导入导出

没有header，根据Unity中的Height Resolution设置的像素数读取像素，必须是2的整次幂+1
与ASTER GDEM不同，像素灰度值代表的是相对高度。像素值相对于8位的256和16位的65536比例是该点高度相对于Terrain Height的百分比。
可以选择windows和mac两种字节序
Unity中的X轴正向 = raw图像右，Z轴正向 = raw图像下。所以从Y轴负方向看时导入需要选择Flip Vertical。
Unity的Terrain Width/Length上限是100000，Terrain Height上限是10000

从ASTER GDEM到Unity的高程格式转换

使用Global Mapper进行转换，原始的多张ASTGTM2数据tif文件可以在GlobalMapper中自动拼成大地形
选择Export→Export Elevation Grid→RAW，选择16位精度，v17可以选择signed short或unsigned short
在导出时通过Sampling可以进行重采样，对高程进行插值，可以选择不同的插值算法
通过Gridding设置切块，可以设置多块地形的自动切分和命名
可以对导出的raw文件进行自定义处理，调整异常点或海拔高度

卫片处理

从Google Map上下载指定区域的卫片作为原始数据
Unity中的纹理必须是正方形，分辨率是2的整次幂，因此需要通过Photoshop或Global Mapper处理成此格式

用Lubuntu让旧电脑重生

Sun, 17 Jun 2018 00:00:00 +0000

家里有台Thinkpad T410i，卖了可惜，想办法把它用起来。

硬件配置如下：

处理器系列英特尔酷睿 i3
内存 2GB
硬盘容量320GB
显卡芯片NVIDIA Quadro NVS 3100M
屏幕尺寸14.1英寸
无线网卡Intel 1000 BGN
1000Mbps以太网卡

需求

因为本人对硬件不熟，何况硬件更新换代还需要继续买买买，所以还是在软件上打主意。

对旧笔记本的需求主要是日常使用，以上网为主，偶尔看pdf，能看片看YouTube，顺便写写python。

Windows

当年的系统用的是Win7和XP，首先XP现在已经很多软件装起来麻烦，上网查了查Win10对旧电脑的要求貌似比Win7还要低，所以先装个Win10试试看。

因为内存只有2G，所以32位系统对我已经够用了。装完后看上去效果还可以，裸系统也就用了1G多点儿的内存。不过用了Google全家桶，chrome一打开内存基本不会低于1.7G，关键是硬盘IO基本保持100%，所以平均点一下鼠标等3、4秒，必须不能忍。

下来看看有什么办法优化一下。首先不想换别的浏览器，还在chrome上做文章。

关闭了“隐私设置和安全性”中的“保护您和您的设备不受危险网站的侵害”，chrome对硬盘的读写降了不少，不过整体上还是不够快。

在Win10系统上继续优化

在控制面板—高级系统设置—视觉效果中选为最佳性能，有明显的性能提高
在服务中关闭各种不需要的服务项，superfetch是最明显的一个，但是同时打开个图片需要等1-2秒的黑屏是什么鬼
狠心下了个360安全卫士进行系统优化，的确关闭了一堆系统选项，然而速度提升不明显

优化过程中还有其他各种治疗和偏方，但最终对着一个慢性子Win10无可奈何。老电脑的CPU不是不能凑合，但硬盘是硬伤，给硬盘的压力由主要是因为现在的软件过于吃内存（在这里点名批评chrome），安迪比尔定律依然发挥着作用。如果装xp或win7跑当时的老版本软件应该速度可以保证，不过各种好用的功能也就byebye了。同理win10系统的持续更新应该不会让情况变得更好。这真是个令人绝望的前景。

至此，windows弃疗。

Linux

多年前用过centos，用过ubuntu，各种手动配置和硬件驱动就像时不时钻进鞋里的石头渣。不过考虑到在一个日益成熟的个人电脑操作系统领域，Windows已经接近天花板，linux有理由已经大大缩短了跟windows的距离，这个选项值得考虑。虽然琳琅满目的发行版乍一看挺唬人，但什么都挡不住一个技术宅达到目的心。

首先调研一下装哪个发行版。根据之前的经验centos稳定耐用，但不适合桌面使用。 Ubuntu最流行，但按照大家的经验，新版本似乎也不适合老电脑的硬件配置。于是进入备选的是小众的轻量级linux，可以参考韩毅弘：老笔记本电脑装什么Linux系统比较流畅？。

在这里，linux的开源性充分体现了优势。虽然Linux一样会遵循安迪比尔定律，但众多的发行版提供了更灵活的选择。 Win10如果出个针对低配电脑的版本应该还是会完爆Linux（我是指针对我的需求），然而那是在另一个平行时空，我们已经退相干（decoherence）了。

最终选定的是Lubuntu。

Lubuntu是一个轻量级的、运行快速的操作系统，特别适用于配备老旧的计算机。
Lubuntu具有类似Windows的UI用户界面，而不是简化到只有命令行。
Lubuntu默认带有firefox、记事本（Leafpad），PDF（Document Viewer），Word（AbiWord），Excel（Gnumerics），可以看片（GNOME MPV），所以满足日常需要是没问题的。
Lubuntu基于Ubuntu，可以使用Ubuntu的软件源安装上面的任何软件。

因此Lubuntu是一个兼顾日常桌面电脑使用、能折腾Ubuntu、同时又能在老电脑上跑的飞起的操作系统。

安装过程

系统安装

到官网下载镜像 https://lubuntu.net/

2GB内存老电脑的话，32位操作系统足够。

安装时一直下一步就好，跟装windows区别不大，对t410i也能正确识别无线网卡，联网无压力。

安装过程可以参考https://blog.csdn.net/OSUfish/article/details/79292763

在刚才win10的基础上装双系统，万不得已的时候还有一条后路。

双系统安装可以参考windows 10中安装ubuntu-实现双系统

修改apt源地址

执行命令：vim /etc/apt/sources.list；
使用命令：%d 清空所有内容；
清华数据源地址：https://mirrors.tuna.tsinghua.edu.cn/help/ubuntu/ 选择相应的版本复制内容
更新源：sudo apt-get update
更新软件：sudo apt-get upgrade

中文输入

在系统preference的language support中选择汉语

到搜狗官网下载sougoupinyin.deb安装

安装完毕后可以在启动菜单-System Tools-Fcitx中设置

shadowsocks

sudo apt install shadowsocks

修改/etc/shadowsocks/config.json

启动命令 nohup sslocal -c /etc/shadowsocks/config.json

chrome

确切点儿说时chromium。在lubuntu software中安装chromium

安装switchOmega插件，实现shadowsocks的pac流量控制模式

至此作为家用的lubuntu已经就位，和win10比起来真的是SpaceX和蜗牛的区别。

来看看用起来的效果

chrome用起来的时候整体内存应用都没有超过1G，而且很流畅呦～

python

系统自带或安装shadowsocks时会安装python 2.7版本 apt install python3，注意此时系统的python仍指向python2.7，需要修改.bashrc，添加alias python=python3

修改pip源地址

vi ~/.pip/pip.conf

内容修改为

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
trusted-host = pypi.tuna.tsinghua.edu.cn

boot分区空间不足无法升级系统的解决办法

Lubuntu系统也是有自动更新的，surprise！如果碰到了boot分区空间不足的提示，可以参考下面的方法解决。

https://askubuntu.com/questions/345588/what-is-the-safest-way-to-clean-up-boot-partition

VS Code

Linux下的python编程可以用Vim这样的原生编辑器，也可以安装PyCharm这样的重量级选手，不过VS Code在形似Visual Studio的基础上既开源又轻快便捷，让我觉得微软大法实在也不坏。

在官网Download Visual Studio Code - Mac, Linux, Windows下载32位vs code，又可以愉快的搬砖啦。不过现在调试还有Exception: failed to attach的问题，下来看看怎么解决。

智能时代

Thu, 14 Jun 2018 00:00:00 +0000

这是吴军所著《智能时代》的笔记，前一段时间已经读完了，现在整理一下发出来。总体来说是本值得推荐的书。

数据是什么

数据：并非所有数据都承载信息
信息：对现实的描述
知识：系统性

大数据与机器智能

机器智能与图灵测试：通过效果而不是实现方式判断是否智能

鸟飞派：首先了解人类是如何产生智能的，然后让计算机按照人的思路去做。

统计+数据派

先驱Fred Jelinek，语音识别
Google翻译，Franz Och，对同样的方法使用了上万倍数据

大数据的特征

大量（Vast）
多样性（Variety）：通过互联网和多维度解决传统统计中的采样问题
全面性（完备性）：全面覆盖需要解决问题的可能性
及时性（Velocity）：非必须

变智能问题为数据问题：通过大数据+统计方法实现对效果的复现

大数据思维

机械思维

世界的变化规律是确定的
规律可以通过简单公式或语言描述
规律具有普适性

机械思维引发了工业革命

信息时代的变化

规律难以用简单原理描述，因果关系难以找到

世界的不确定性

简单的规律通过复杂组合后难以处理，可以近似为随机
客观世界本身的不确定性：量子力学中的测不准，人类社会的测不准

信息熵：基于信息论，通过引入信息降低不确定性，因此谁掌握了信息，谁就能够获取财富，这就如同在工业时代，谁掌握了资本谁就能获取财富一样。

通过信息论诠释大数据的本质

数据量需要大到消除不确定性
多维度：互信息和交叉验证
完备性：建立模型的数据和使用模型的数据之间要有一致性，两个概率模型的交叉熵等于0

从因果关系到相关关系

大数据商业

大数据和智能革命的技术挑战

数据的产生

用户产生内容
物联网传感器
历史信息数字化

数据的存储：磁带 - 磁盘 - SSD

数据压缩与备份
数据格式标准化 Google Protocol Buffer

数据的传输：4G、WIFI、蓝牙

数据的处理：云计算

并行计算
计算实时性
数据挖掘与机器学习

数据的收集：看似简单的难题

数据安全：安全性与易用性的平衡

隐私保护：大数据时代没有隐私，而且大众为了便利会牺牲隐私

未来智能化产业

农业：以色列精确灌溉

体育：通过数据分析指导训练和策略

制造业：特斯拉机器人化制造

医疗

降成本：AI医生，新药研发
资源短缺：AI医生
医疗水平提高：通过大数据研究基因

律师

记者编辑

未来社会

智能化、精细化、无隐私

对生产关系的冲击

蒸汽革命：开拓全球市场
电气革命：美国的全面开发和德国的世界大战
信息革命
- 尚未消化完，还要叠加上智能革命
- 全球化的推进导致没有新的市场
- 代替人类的大脑

被淘汰的产业工人很难进入新行业

成为使用和制造智能的2%，或被淘汰

用Github Pages搭建个人博客

Wed, 13 Jun 2018 00:00:00 +0000

有了Github帐号之后创建github pages，然后找一个合适的模板。

注册GitHub Account

If you know how, you dont need to read. If you dont, you have no chance to come here.

建立github.io Repository

建立与你用户名对应的仓库，仓库名必须为【your_user_name.github.io】这是官方教程

找一个中意的github.io，抄一下

找一个看着舒服的github.io，复制过来，然后修改_config.yml和博客内容。如果还有问题，请