Python文本文件编码格式批量转换

发表于 2023-07-11 | 更新于 2023-08-17

最近获得一个Matlab高版本的项目代码，其文本文件时utf8编码格式，而我的Matlab版本比较低，只支持gbk编码格式，于是采用Python批量转换文本编码格式。代码如下：

import os,sys

extArray=(".m",".txt")
 
def convert( filename, in_enc = "UTF-8", out_enc="GBK" ):
    try:
        print("convert " + filename)
        targetFile = open(filename,'r',encoding=in_enc)
        content = targetFile.read()
        targetFile.close()

        targetFile = open(filename,'w',encoding=out_enc)
        targetFile.write(content)
        targetFile.close()
    except:
        targetFile.close()
 
 
def explore(dir):
    for root, dirs, files in os.walk(dir):
        for file in files:
            path = os.path.join(root, file)
            if(path.endswith(extArray)):
                convert(path)
 
def main():
    for path in sys.argv[1:]:
        if os.path.isfile(path):
            convert(path)
        elif os.path.isdir(path):
            explore(path)
 
if __name__ == "__main__":
    main()

运行时采用如下命令：

1
2
3

python -m venv env
.\env\Scripts\activate
python utf8_to_gbk.py filepath

参考链接

Python遍历路径下文件并转换成UTF-8编码,by weixin_33826268.
Python 批量转换文件编码格式,by huang_0430.
GB2312、GBK、GB18030 这几种字符集的主要区别是什么？,by zhihu.
一图弄懂ASCII、GB2312、GBK、GB18030编码,by horstxu.
Unicode、UTF-8、UTF-16 终于懂了,by LinuxThings.

提取安卓已安装应用APK文件的方法

发表于 2023-06-15

需要从安卓系统中已安装的APP中提取出APP的安装包，因此研究了以下。

安装adb

下载adb：

https://dl.google.com/android/repository/platform-tools-latest-windows.zip

配置环境变量PATH

提取Apk

提取Apk的步骤如下：

用usb数据线连接手机和电脑，启用手机开发模式，设置usb调试模式
在cmd窗口中输入命令adb devices，查看手机和电脑是否连接成功
执行 adb shell pm list packages 命令，查看需要提取的APP
执行 adb shell pm path package_name 命令，获取APP安装路径
执行 adb pull 安装包路径输出路径命令，生成APP的apk安装文件

参考链接

ADS-B数据解析方法

发表于 2023-06-09 | 更新于 2025-04-26

广播式自动相关监视（英语：Automatic dependent surveillance – broadcast，缩写ADS–B）是一种飞机监视技术，飞机通过卫星导航系统确定其位置，并进行定期广播，使其可被追踪。空中交通管制地面站可以接收这些信息并作为二次雷达的一个替代品，从而不需要从地面发送问询信号。其他飞机也可接收这些信息以提供姿态感知和进行自主规避。

ADS-B地面接收设备系统结构

请参考ADS-B数据报文采集与解析系统的设计与实现。

ADS-B数据解析

请参考以下链接：

Virtual Radar Server

Virtual Radar Server 是一个运行本地 Web 服务器的开源 .NET 应用程序。

参考链接

ADS-B数据格式解析,by 陈晓伟.
Cat021 报文解析,by 刘佳华.
接口和解析软件——ADS-B数据解析软件,by 北京通航电科.
广播式自动相关监视,by wikipedia.
ADS-B数据报文采集与解析系统的设计与实现,by 索国伟，王金锁，郭荣华，赵盼.
asterix,by CroatiaControlLtd.
jASTERIX,by hpuhr
EUROCONTROL Specification for Surveillance Data Exchange ASTERIX,by eurocontrol.

协议分析

使用WireShark分析私有网络协议的难度很高，具体方法可以参考以下链接：

WireShark使用方法

请参考wireshark抓包新手使用教程。

协议分析插件开发

请参考以下链接：

注意事项：

一个端口只能绑定一个协议解析器，不管改端口下有多少中报文格式
解析树的TreeItem添加协议字段时，应使用TvbRange数据类型，否则对应hex数据无法高亮显示，示例如下：

local t = tree:add( proto_foo, buf() )
t:add_le( proto_foo.fields.bytes, buf(0,4) )
# 实现日期字段的显示
t:add_le( proto_foo.fields.string, buf(0,8), datetime)

数据包回放

wireshark以pcap格式保存抓取的流量。pcap的具体格式请参考Wireshark文件pcap的格式详细解析有实例（Global Header、Packet Header）

可使用tcpreplay、scap、xcap、netassisnt等工具回放pcap文件。

参考链接

wireshark抓包新手使用教程,by Beng Dou.
一次私有协议的流量分析,by 聚铭网络.
私有协议的解密游戏：从秘文到明文,by Smoke0901.
Wireshark文件pcap的格式详细解析有实例（Global Header、Packet Header）,by Hollake.
实战编写 wireshark 插件解析私有协议,by 信安之路.
Wireshark C 插件开发之插件框架,by 大川搬砖.
Tcpreplay安装和使用,by lanyou1900.
tcpreplay 快速入门使用,by CAPTIAN船长.
pcap回放——tcpreplay,by zhuxian2009.
Pcap,by wikipedia.
两款造包工具，科来和xcap,by 周中山.
报文回放工具：xcap的使用方法,by 荭知.
wireshark插件开发 - 自定义协议,by m0w3n.
Wireshark录取自定义报文的方法,by 卓_然.
Adding Information To The Dissection Tree,by wireshark.

如何看待绩效考核

发表于 2023-06-06

陈浩大神关于绩效考核的观点我很认同，可惜大神已仙逝，无缘一见。以下是他的主要观点：

1）制定目标和绩效，目的不是用来考核人的，而用来改善提高组织和人员业绩和效率的。

2）人是复杂的，人是有状态波动的，任何时候都不应该轻易否定人，绩效考核应该考核的是事情，而不是人。

背景知识

OKR – Objectives, Key Result
KPI – Key Performance Indicator

重要观点

绩效分应该打给项目，打给产品，打给部门，打给代码，而不是打给人。

OKR 三大特性：0）由员工提出，1）以目标为导向。2）全员共享。

KPI 最大的问题就是用 OKR 里的 Key Results 拿来当目标，从而导致员工只知道要做什么，不知道为什么，不知道为什么，不能理解目标，工作也就成了实实在在的应付！

KPI本身是一种被动的、后置的考察，在工作完成之后考察员工的行为是否符合标准。因此，员工对于公司的目标漠不关心，只关心自己的KPI，因为这才是自己的最大的利益，为了达到KPI，有的员工开始不思考，并使用一些简单粗暴的玩法，其实这样既害了公司，也害了自己。自己的成长和进步也因为强大的 KPI 而抛在了脑后。

当然，KPI 绩效考核一般来说，不一定会毁掉公司的，相反，对于喜欢使用蛮力的劳动密集型的公司来说，可能还有所帮助，然而，KPI毁掉的一定是团队的文化和团队的挑战精神，以及创新和对事业的热情，甚至会让其中的人失去应有的正常的判断力（分不清充分和必要条件，分不清很多事的因果关系）。

参考链接

我看绩效考核,by 陈浩.

Vue.js封装echarts的方法

发表于 2023-04-15

在Vuejs项目中封装echarts的主要目的是简化echart的使用难度，使之不再需要编写复杂的options，只需传递需要绘制的数据即可。

请参考vue项目中封装echarts的比较优雅的方式。

参考链接

vue项目中封装echarts的比较优雅的方式,by liyoro.

C#之NuGet打包和离线安装

发表于 2023-04-08 | 更新于 2023-10-26

最近研究一个C#开源项目，发现在离线的情况下无法顺利编译链接，其原因是缺乏NuGet安装的程序集。因此研究一下NuGet打包和离线安装的方法。

NuGet简介

NuGet是一个自由开源软件包管理系统。用于Microsoft开发平台。以前称NuPack。 2010年首次发布。已经进化为一个庞大的工具与服务生态系统。

下载Nuget程序包

进入Nuget官网：https://www.nuget.org/，
搜索框里搜索需要的安装包，例如MaterialDesignThemes，一个主题包，点击自己所需的安装包。

NuGet离线安装软件包

参考链接

Java之SSH框架学习笔记

发表于 2023-04-03 | 更新于 2023-04-04

最近处理的几个项目都是用Java语言编写的，学习一下。

Web.xml配置文件

Listener

为web应用程序定义监听器，监听器用来监听各种事件，比如：application和session事件，所有的监听器按照相同的方式定义，功能取决去它们各自实现的接口，常用的Web事件接口有如下几个：

ServletContextListener：用于监听Web应用的启动和关闭；
ServletContextAttributeListener：用于监听ServletContext范围（application）内属性的改变；
ServletRequestListener：用于监听用户的请求；
ServletRequestAttributeListener：用于监听ServletRequest范围（request）内属性的改变；
HttpSessionListener：用于监听用户session的开始和结束；
HttpSessionAttributeListener：用于监听HttpSession范围（session）内属性的改变。

主要用于监听Web应用事件，其中有两个比较重要的WEB应用事件：应用的启动和停止（starting up or shutting down）和Session的创建和失效（created or destroyed）。

Filter

Filter可认为是Servle的一种“加强版”，主要用于对用户请求request进行预处理，也可以对Response进行后处理，是个典型的处理链。使用Filter的完整流程是：Filter对用户请求进行预处理，接着将请求HttpServletRequest交给Servlet进行处理并生成响应，最后Filter再对服务器响应HttpServletResponse进行后处理。Filter与Servlet具有完全相同的生命周期，且Filter也可以通过来配置初始化参数，获取Filter的初始化参数则使用FilterConfig的getInitParameter()。

换种说法，Servlet里有request和response两个对象，Filter能够在一个request到达Servlet之前预处理request，也可以在离开Servlet时处理response，Filter其实是一个Servlet链。

以下是Filter的一些常见应用场合：

认证Filter
日志和审核Filter
图片转换Filter
数据压缩Filter
密码Filter
令牌Filter
触发资源访问事件的Filter
XSLT Filter
媒体类型链Filter

Servlet

Servlet通常称为服务器端小程序，是运行在服务器端的程序，用于处理及响应客户的请求。Servlet是个特殊的java类，继承于HttpServlet。客户端通常只有GET和POST两种请求方式，Servlet为了响应则两种请求，必须重写doGet()和doPost()方法。

Bean

JavaBeans是Java中一种特殊的类，可以将多个对象封装到一个对象（bean）中。特点是可序列化，提供无参构造器，提供getter方法和setter方法访问对象的属性。名称中的“Bean”是用于Java的可重用软件组件的惯用叫法。

Web.xml加载顺序

总的来说，web.xml的加载顺序是:->->->。其中，如果web.xml中出现了相同的元素，则按照在配置文件中出现的先后顺序来加载。

对于某类元素而言，与它们出现的顺序是有关的。以为例，web.xml中当然可以定义多个，与相关的一个元素是，注意，对于拥有相同的和元素而言，必须出现在之后，否则当解析到时，它所对应的还未定义。web容器启动初始化每个时，按照出现的顺序来初始化的，当请求资源匹配多个时，拦截资源是按照元素出现的顺序来依次调用doFilter()方法的。同类似，此处不再赘述。

Servlet里有request和response两个对象，Filter能够在一个request到达Servlet之前预处理request，也可以在离开Servlet时处理response，Filter其实是一个Servlet链。