MongoDB莫名崩溃的问题定位与解决纪实
国庆之前发布的软件版本一直运行正常，国庆之后，测试同事跑自动化测试脚本，发现该软件频繁异常，通过查看log发现，该软件使用的MongoDB崩溃了。
该软件是个Windows的桌面软件，由于需要存储大量数据，会后台启动MongoDB，并以此作为数据存储库。
报错信息
## error 1
[thread1] WiredTiger error (16) [1697520288:390687][8764:140707646429280], log-server: __win_fs_rename, 125: D:\data5\mongodb\data\journal\WiredTigerTmplog.0000000002 to D:\data5\mongodb\data\journal\WiredTigerPreplog.0000000001: file-rename: MoveFileExW: 另一个程序正在使用此文件，进程无法访问。\r\n: Resource device Raw: [1697520288:390687][8764:140707646429280], log-server: __win_fs_rename, 125: D:\data5\mongodb\data\journal\WiredTigerTmplog.0000000002 to D:\data5\mongodb\data\journal\WiredTigerPreplog.0000000001: file-rename: MoveFileExW: 另一个程序正在使用此文件，进程无法访问。\r\n: Resource device
## error 2
2023-10-12T15:17:52.032+0800 W FTDC [ftdc] Uncaught exception in 'FileRenameFailed: 另一个程序正在使用此文件，进程无法访问。' in full-time diagnostic data capture subsystem. Shutting down the full-time diagnostic data capture subsystem.
原因分析
- 这是mongodb的数据目录里面的文件，按理其他程序不会去操作这些文件，难道是因为启动了多个mongod进程？
措施：重启电脑，重新运行软件，结果还是会有这个报错
- 已发布版本，国庆之前都正常，而且从来没出现过这个error，莫非是系统有啥升级？
咨询IT，反馈系统没有升级
- mongodb bug？
直觉和理性告诉我，应该不是，不然为啥国庆节前没有出现过，节后频繁出现。
类似案例查找
一顿搜索。。。结果99.99999%都是无用信息，直到在mongodb社区发现这篇帖子
Mongod random crashes on Windows: FileRenameFailed
社区工作人员回复：
Sorry you’re having difficulty with this issue, but unfortunately I believe the error FileRenameFailed originated from outside the server, so it’s typically an OS level issue.这句话基本印证了我的猜想，不是mongodb的问题，也不是我的软件问题
再继续。。看到最后个回复，
I just had the same issue with mongodb 4.4.22. I enabled file auditing on windows and it appears Kaspersky is to blame: 卡巴斯基是罪魁祸首！！！我电脑没装卡巴斯基，但是装了“腾讯安全管家”，欣喜若狂呀，赶紧把安全管家退出了！！！
但，高兴的有点早，测试下来mongodb还是会报错，一样一样的。
不过，这个回答还是给了有用信息，I enabled file auditing on windows，如果能监控下是哪个软件占用了程序，就知道是谁在搞事情！
问题是，怎么监控呢？
监控文件被哪些软件读写
- 通过本地组策略编辑器 修改 审核策略，访问文件都增加审核
- “本地组策略编辑器” 怎么打开呢，win+r，输入gpedit.msc，回车
报错：gpedit.msc不存在！！！又是一顿搜索，windows家庭版默认不开启gpedit.msc。。。
- 安装gpedit.msc，powershell运行如下命令：
Get-ChildItem -Path "C:\Windows\servicing\Packages\*" |
Where-Object{
($_.Name -like "Microsoft-Windows-GroupPolicy-ClientExtensions-Package~3*.mum")`
-or ($_.Name -like "Microsoft-Windows-GroupPolicy-ClientTools-Package~3*.mum")} |
foreach {
dism.exe /online /norestart /add-package:$_}
- 修改审核策略
计算机配置->Windows 设置 -> 安全设置 -> 本地策略 -> 审核策略 -> 审核对象访问
- 添加待审核文件夹
选中D:\data5\mongodb\data\journal目录，右键->属性->安全->高级->审核->添加，添加Everyone -> 应用，保存
- 查看“事件查看器”中的审核日志
windows 搜索直接搜索“事件查看器”即可，Windows日志->安全，选中任意一条事件，就能看到事件详细信息，如下图所示：
搜索被占用的文件名，看看这个文件被哪些软件占用了（也就是触发了访问审核的，有审核日志的），在事件查看器中按Ctrl+F搜索文件名
终于找到了罪魁祸首！这个奇怪的exe再读写mongodb的文件！！！！
这是啥呢？找IT，IT说这是公司的安全管理软件。。。。得了，终于找到证据了，IT同事你上吧。。
最后IT同事通过修改这个软件的配置信息，忽略mongodb文件夹的读写规避了这个问题。
参考资料
- Mongod random crashes on Windows: FileRenameFailed
- Complete Guide to Windows File System Auditing - Varonis
后言
- 要理性分析，并相信自己的专业判断。
- 别人说的话，不要全信，如果你怀疑，那要拿出证据来，不然别人不会承认的。
- 证明自己没错很难，证明是别人的错，更难。
