包含关键字 21 的文章 - 第 6 页 - 我的学记|刘航宇的博客

登录 / 注册

21(共153篇)

找到 153 篇与 21 相关的结果 - 第 6 页

2022-04-07
STM32CubeMX 软件安装明细教程 STM32CubeMX 软件的安装分为三个部分： 1-安装 JRE，JAVA 运行环境。 2-安装 STM32CubeMX 软件。 3-安装芯片的固件支持包，也就是 HAL 库。清单：请依据清单进行复制在网上查对应版本下载（推荐用必应搜索） 1、JRE-8u201-windows-x64：64 位的 JRE 安装文件。参考下载地址： https://www.java.com/zh_CN/download/windows-64bit.jsp（尽量安装最新版 64 位的Java） 2、en.stm32cubemx_v5-5-0：STM32CubeMX V5.50 安装文件。（可以最新版，STM32CubeMX 官网上可以免费下载） 3、STM32Cube_FW_F1_V1.8.0：STM32F1 系列芯片的固件支持包 V1.80。 4、STM32Cube_FW_L1_V1.9.0：STM32L1 系列芯片的固件支持包 V1.90。目录第 1 部分：安装 JRE。第 2 部分：安装 STM32CubeMX 5.50 第 3 部分：安装固件支持包第 1 部分：安装 JRE。【01】点击“jre-8u201-windows-x64.exe”可执行文件，在欢迎界面中，点击“安装”按钮开始安装 64 位的 JRE（注意：如果电脑操作系统为 32 位，请安装 32 位的 JRE）。图片【02】点击“确定”按钮，接受软件安装许可。图片【03】等待 JRE 安装完成。图片【04】点击“关闭”按钮，结束安装程序，JRE 安装完成。图片第 2 部分：安装 STM32CubeMX 5.50 【01】点击“en.stm32cubemx_v5-5-0”文件夹中的“SetupSTM32CubeMX-5.5.0.exe”，即可开始安装 STM32CubeMX 5.50 版本，点击“Next”进入下一个界面。图片【02】接受安装许可协议，点击“Next”进入下一个界面。图片【03】把 2 个选项都勾选，才能点击“Next”进入下一个界面进行后续的安装。图片【04】指定安装路径，一般默认即可，点击“Next”，会弹出一个创建文件夹的消息框。图片【05】在弹出的消息框中，点击“确定”进入下一个安装界面。图片【06】在快捷图标的配置界面中，保持默认即可，点击“Next”进图片【07】点击“Next”，开始安装软件，等待安装完成。图片【08】点击“Next”，你将会看到安装完成的界面，点击“Done”结束安装程序。图片第 3 部分：安装固件支持包【01】点击桌面上“STM32CubeMX”快捷图标，打开该软件。图片【02】点击“Help”菜单中的“Manage embedded software packages”菜单项。图片【03】在弹出的“Embedded Software Packages Manager”对话框中，可以看到 ST 公司的各个 STM32 系列微处理器，展开某一系列的微处理器就可看到你可以获取的固件支持包的版本和大小。对于没有安装的固件支持包，其左侧的小方框是空白的，如果安装成功的固件支持包，改小方框内部则填充为浅绿色。在该对话框中，你可以通过左下角的“From Loacal…”按钮进行导入本地离线包，或者通过“From Url…”按钮进行在线下载解压安装。选一个最新的库也可以的，安装只需要点击安装那个单词！安装完毕后就结束了可以听课了！报错看这个： https://blog.csdn.net/it_angel_/article/details/104442217 图片【04】在本教程中采用的是最方便快捷的安装方式-解压离线包。首先创建一个文件夹，用来存放你已经下载并解压好的芯片固件支持包，例如：在 C 盘下创建名为“STM32Cube_FW”的文件夹，并将解压后的固件支持包拷贝过来。图片【05】在 STM32CubeMX 主界面中点击“Help” 菜单中的“Updater Settings”菜单项。图片【06】在弹出的“Updater Settings”对话框中，你看到固件支持包保存的默认路径。图片【07】点击默认路径右边的“Browse”按钮，指定到我们下载并压缩好的固件支持包保存的文件夹位置，即 C 盘下的“STM32Cube_FW”的文件夹。图片【08】点击“OK”即可完成固件支持包的安装。再次打开“Embedded Software Packages Manager”对话框，此时，你将看到已经安装好的芯片固件支持包左侧的小方框里面填充满了浅绿色，同时显示你安装的版本号。至此，整个 STM32CubeMX 的软件安装完成。图片

刘航宇 4年前
2 3,513 15
西北大学数字电子技术个人考研笔记西北大学843、849历年真题下载地址：https://wwaqw.lanzoue.com/i2nMY2g3qh4j 提取码：警告若个人或辅导机构擅自复制本文直接或间接盈利、请向我举报，举报方式见下面，本人以著作权法追查！本站域名由sciarm.com更变为ee.ac.cn 和下文页面中信息不冲突举报方式 1.邮箱hyliu@ee.ac.cn 2.点击博客中留言或私聊都可

嵌入式＆系统 # 电子线路

刘航宇 4年前
0 1,610 20
2022-04-07
西北大学模拟电子技术个人考研笔记西北大学843、849历年真题下载地址：https://wwaqw.lanzoue.com/i2nMY2g3qh4j 提取码：警告若个人或辅导机构擅自复制本文直接或间接盈利、请向我举报，举报方式见下面，本人以著作权法追查到底！同时核查该机构/个人是否有非法出书情况、是否有出版权与书号，一并交于公安机关追查！本站域名由sciarm.com更变为ee.ac.cn 和下文页面中信息不冲突举报方式-请携带证据举报 1.邮箱hyliu@ee.ac.cn 2.点击博客中留言或私聊都可

嵌入式＆系统我的随笔 # 电子线路

刘航宇 4年前
0 1,914 32
UltraSE: Single-Channel Speech Enhancement Using Ultrasound阅读感悟目录一、论文基本信息二、论文主要内容2.1 研究的背景 2.2 研究的目标 2.4 困难与拟解决对策， 2.5 技术优势 2.6 研究技术简述 2.6.1 ULTRASE DNN 模型概述2.6.2 基于 CGAN 的跨模态训练 2.6.3 ULTRASE 实现 2.7 研究验证2.7.1 微基准比较 2.7.2 消融研究 2.7.3 系统效率 2.8 文章结论三、阅读理解与心得参考文献一、论文基本信息作者：孙科（加州大学圣地亚哥分校）；张新宇（加州大学圣地亚哥分校）出版源：第27届移动计算和网络国际会议论文集2021年10月第160-173页摘要：鲁棒语音增强被认为是音频处理的圣杯，也是人机交互的关键要求。用单通道、纯音频方法解决这个任务仍然是一项艰巨的挑战，尤其是在涉及相互竞争的扬声器和背景噪声混合的实际场景中。在本文中，我们提出了UltraSE，它使用超声波传感作为一种补充模式，将所需说话者的声音从干扰和噪声中分离出来。UltraSE使用商用移动设备（例如智能手机）发射超声波并捕捉说话者发音手势的反射。它引入了一种多模态、多领域的深度学习框架来融合超声多普勒特征和可听语音频谱图。此外，它还利用一个基于跨模态相似性测量网络的经过对抗性训练的鉴别器来学习两种异质特征模式之间的相关性。我们实验验证了UltraSE同时提高了语音清晰度和质量，并且大大优于最先进的解决方案。二、论文主要内容 2.1 研究的背景人类听觉系统非常有能力在干扰扬声器和噪音的混合中挑选出语音源，这仍然是机器听觉的基本挑战。在当今人机交互和人机交互的数字通信系统的激增下，但这个问题仍然存在。示例：移动VoIP、语音命令、现场语音的后期制作等。语音分离与增强(SSE)的相关研究问题通常被认为是音频处理的圣杯。经典解决方案需要依赖先验知识（即每个扬声器的特征工程）或[1] 定向麦克风阵列来将所需的源与环境声音隔离开来。在过去的几年里，深度学习技术已经激增并显着推进了该领域，实现了单麦克风扬声器独立SSE。在分离2个净语音的混合物时，最先进的解决方案已证明平均音频质量提高了约 10 dB。然而，超过2个扬声器与背景噪声混合的具有挑战性的情况很少受到关注。最近的一个初步测试表明，现有的深度学习模型在这种情况下通常表现不佳，因为非结构化背景噪声损害了它们识别语音流中可分离结构的能力。此外，现有的纯音频方法无法解决标签排列问题，即将模型输出与所需的说话者相关联。视听算法利用说话者面部的视频记录来同时解决SSE和排列问题。然而，在特定视角和可调节照明条件下对相机的需求限制了它们的实际可用性[2]。 2.2 研究的目标利用超声传感作为一种补充方式，将所需的说话者语音与噪声和干扰分开。这种方法称为 UltraSE，适用于配备单个麦克风和扬声器的商品移动设备（例如智能手机）。图1说明了该文的基本思想。在录音过程中，UltraSE 不断发出听不见的超声波，该超声波由靠近智能手机的说话者的发音（嘴唇运动）调制。因此，麦克风记录的信号既包含可听见的声音，也包含听不见的反射。如图1 所示，虽然可听声音（“绿色”）混合了目标清晰的语音（“黑色”）和其他干扰以及背景噪声（“蓝色”），但听不见的反射（“橙色”）仅捕捉目标用户与清晰语音相关的发音手势动作。UltraSE采用DNN框架捕捉这种相关性，并对可听声音进行去噪图片图1：UltraSE 针对用户手持智能手机在嘈杂环境中录制语音的场景。UltraSE 使用超声波传感作为一种补充方式，将所需说话者的声音与干扰分开。 2.4 困难与拟解决对策，问题一：尽管存在干扰，如何通过超声波描述发音姿势？捕捉精细的发音手势是一项挑战，因为它们速度快（80厘米/秒），位移小（小于5厘米）。此外，由于谐波和硬件伪影，语音和超声波之间存在相互干扰解决对策：充分利用了超声波的优势，即高采样率和与时间域中清晰语音的完美对齐。作者设计了发射超声波形来捕获短期高分辨率多普勒频谱图，并采用一次性发射体积校准来减少跨模态干扰。问题二：如何设计一个 DNN 模型来融合这两种模态并表示它们的相关性？没有现有方法能够解决作为 UltraSE 基础的跨模态降噪问题，即使用一种模态（超声波）来重建受噪声/干扰污染的另一种模态（语音）。解决对策：由于两种模态的物理特征特征不同，我们设计了一个双流 DNN 架构来处理每个模态，并设计一个自注意力机制来融合它们。此外，作者提出了一种基于条件 GAN (cGAN) 的训练模型，该模型具有新颖的跨模态相似性测量网络，以实现这种能力。问题三：如何提高增强语音的清晰度和质量？解决对策：时频 (T-F) 频谱图的幅度对于语音清晰度至关重要，而相位决定了语音质量。作者将 UltraSE 扩展为两阶段多域 DNN 架构，该架构优先优化 T-F 域中的清晰度，然后在T域中重构相位以提高语音质量。根据经验观察，我们将多模态融合网络置于 T-F 域内，即发音手势与语音清晰度更相关。 2.5 技术优势纯音频语音增强：利用T-F 域方法、T域方法和多领域方法对非语音噪声表现出可接受的性能，但它们仍然无法处理涉及多个干扰。为了解决此类语音分离问题，Deep clustering 为每个源训练语音嵌入，然后使用聚类算法将它们分离。PIT在训练过程中迭代地改变源的排列，以训练一个排列不变的语音分离模型。这些方法仍然需要先验地知道说话人的数量，并且不适用于超过3个说话人加上噪声的情况。此外，标签排列问题仍然存在——它们可以分离多个语音源，但不能自动识别哪个来自目标说话者，这可能会阻碍某些机器操作的后端任务（例如，智能手机上的语音助手）。UltraSE克服了所有这些缺陷。多模态语音增强为了解决排列问题：视听(AV)方法使用对象面部的视频记录作为音频的提示，有许多缺点。例如除了麦克风之外，他们还需要一个额外的摄像头，在良好的光照条件下指向拍摄对象的脸部，这在许多典型用例中是不方便的，甚至是不可行的。此外，相机在许多对隐私敏感的地方无法使用。前人探索了使用超声作为增强语音的补充方式的想法。然而，这些作品都需要特殊的超声波硬件。相比之下，UltraSE 只需要智能手机上的单个音频通道，并克服了模态之间的相互干扰等实际挑战。此外，他们使用传统的方法，即非负矩阵分解和非线性回归，只显示了对环境噪声的语音增强性能，而不是语音干扰。UltraSE 通过设计多模态多域 DNN 框架进一步突破了这一想法的极限，以实现与视听方法类似的语音分离和增强性能。无需设备的超声波传感：无设备超声波传感技术可以利用商品移动设备上的扬声器和麦克风来跟踪附近物体的距离/方向变化。最先进的超声波手势跟踪方案可以达到毫米级的精度。除了位置和手势跟踪，最近的研究还尝试使用超声波传感进行唇读[41]。然而，由于空间分辨率不足，它们只适合粗略的传感应用，相比之下，UltraSE 率先展示了超声波传感可以作为一种补充方式来解决鸡尾酒会问题并将语音增强提升到一个新的水平。 2.6 研究技术简述 UltraSE 代表了首个使 SSE 性能接近多通道解决方案的纯音频方法，同时克服了标签排列问题。下面简述出三个重要技术贡献： • 作者设计了一个多模态多域 DNN 框架，用于单通道语音增强，融合了超声和语音特征，同时提高了语音清晰度和质量。 2.6.1 ULTRASE DNN 模型概述第一步是从原始信号创建 DNN 输入特征。然后，我们设计一个两阶段、多模态、多域的 DNN 模型，该模型包括三个关键模块，简述如下。 T-F 域多模态振幅网络模块通过使用语音和超声波作为输入来生成幅度理想比率掩码 (aIRM)，即净和噪声频谱图的幅度之间的比率。它由两个子网组成。子网 (i) 双流特征嵌入：我们的模型首先使用嘈杂语音的 T-F 频谱图和并发超声多普勒频谱图作为输入。然后，我们设计了一个双流特征嵌入架构，将不同的模态转换到相同的特征空间，同时保持它们的时域对齐。子网 (ii) 语音和超声融合网络：然后，我们在频率维度上连接每个流的特征。进一步应用自我注意机制来融合级联特征图，让多模态信息相互“串扰”。融合的特征随后被送入 BiLSTM 层，然后是三个 FC 层。结果输出是一个幅度掩模，它与原始噪声幅度谱图相乘以生成幅度增强的T-F 谱图。图片图2：UltraSE的多模态多域 DNN 设计概览。卷积层表示法：Channels@Kernel size 如图3说明了DNN 输入特征的预处理步骤工作流程。 l1ev5znd.png图片图3：DNN 输入特征设计 l1ev76fq.png图片图4：UltraSE基于cGAN的跨模态训练概览基于cGAN 的跨模式训练，如图 4 所示，我们设计了一种基于 cGAN 的训练方法，以进一步去噪幅度增强的T-F频谱图。在我们的cGAN 模型中，生成器就是上面的 T-F 域多模态幅度网络；鉴别器被设计成鉴别增强的频谱图是否对应于超声传感特征。T 域相位网络。我们使用iSTFT（一个固定的 1D 卷积层）将幅度增强的 T-F 频谱图转换为T域波形。为了微调增强信号的相位，我们设计了一个编码器-解码器架构来重建相位以接近 T 域中的净语音。 • 作者设计了一个基于cGAN 的跨模态训练模型，该模型有效地捕捉了超声和语音之间的相关性以进行多模态去噪。 2.6.2 基于 CGAN 的跨模态训练 UltraSE 的基本问题是多模态降噪，即使用一种模态（超声波）来恢复被噪声/干扰污染的另一种模态（语音）。前者感知分辨率低，但无干扰，与后者相关。尽管我们有意保持两者之间的时间对齐，但很难强制多模态融合网络“理解”这种多模态相关性，因为传统的损失函数（例如MSE）只能训练网络来清理端到端的TF频谱。因此，我们提出了一种基于 cGAN 的训练方法，该方法隐含地将跨模态相关性的最大化本身作为训练目标。任何GAN设计中的一个关键要素是定义鉴别器使用的相似度度量。与在相同类型特征之间进行比较的传统 GAN 应用程序（例如图像生成）不同，我们的跨模态 cGAN 需要区分增强的 TF 语音频谱图是否与超声多普勒频谱图匹配（即，它们是“真实的”还是“假”对）。我们提出了一个跨模式的 Siemese 神经网络来应对这一挑战。Siamese 神经网络使用共享权重和模型架构，同时在两个不同的输入向量上协同工作以计算可比较的输出向量。它传统上用于测量来自相同模态的两个输入之间的相似性，例如，两个图像。为了启用跨模态连体神经网络，我们创建了两个独立的子网络（图7），旨在分别表征语音和超声的时频域特征之间的对应关系。基本架构下，这两个输入是一个 CNN-LSTM 模型。由于人类语音在 F 域中包含谐波和空间关系，因此语音 CNN 子网络使用扩张卷积进行频域上下聚合。超声传感的多普勒频移主要包含局部特征。因此，超声 CNN 子网络仅包含传统的卷积层。在卷积之后，使用 Bi-LSTM 层来学习两种模式的长期时域信息。最后，引入三个全连接（FC）层来分别学习两个可比较的输出向量。我们强调，这种跨模态设计不共享架构和参数，这与传统的 Siamese 网络不同。 l1ev87c1.png图片图5：跨模态相似性测量网络的输出 PDF 图5显示了输出的概率密度函数 (PDF)，其中较小的值表示较高的相似性。很明显他输出的真对和假对的PDF完美分离，这意味着我们的相似性测量网络可以有效地区分一对语音和超声输入是否由相同的发音姿势生成。 • 我们收集了一个新的语音数据集——UltraSpeech，并与最先进的解决方案相比验证了 UltraSE 的性能。 2.6.3 ULTRASE 实现传统的语音数据集只包含原始语音，没有超声波传感信号。为了评估 UltraSE，我们创建了一个名为 UltraSpeech 的新数据集，其中包含两者。数据收集：我们招募了20名流利的英语人士（4名女性，16 名男性，平均年龄 25 岁）来收集 UltraSpeech 数据集。每个参与者被要求在安静的环境中使用 2 种典型的电话持有方式（“电话”模式和“走向麦克风”模式，如图8（b）所示）在 TIMIT 语音语料库[3]中说出至少300个句子。同时，我们使用定制的 Android 应用程序 UltraRecord，通过智能手机底部的扬声器和麦克风以 96 kHz 的采样率发出超声波信号并捕获音频片段。请注意，我们不限制用户将智能手机与嘴巴保持特定距离。总的来说，我们为每种握持方式收集了8k 5秒净的语音片段。我们遵循现有的 SSE 工作，合成混合生成嘈杂的语音数据集。干扰语音来自 TIMIT 数据集，其中包含 6300 个不同的英语句子，由 630 位说话者生成，总共持续 3.5 小时。环境噪声数据集来自 AudioSet，其中包含来自现实生活的526种噪声类型的超过170万个10秒片段，包括广泛的人类和动物声音、乐器和流派以及日常生活中常见的噪声。此外，我们生成了一个训练集，其中干扰语音和净语音来自同一个说话者。这被广泛认为是 SSE [4] 最具挑战性的案例，因为干扰具有与所需语音无法区分的相同听觉模式。我们将其添加到训练数据集中，以强制模型利用除了听觉特征之外的超声特征。我们的训练数据集包含由三星 Galaxy S8 智能手机收集的 15 名参与者的净语音。每个参与者的净语音都混合了 20 种不同的噪音设置。对于每个噪声设置，干扰扬声器的数量 ? 均匀分布在 [0,4]中，SNR 均匀分布在 [−9, 6] dB（平均为 -1.5 dB）中。训练数据总共包含 120k 5 秒的嘈杂语音片段（300 小时）。 l1evaw7s.png图片 l1evbffv.png图片我们在 Pytorch 中实现了 UltraSE DNN模型。特征图的维度和每一层的参数如图 2、6、7 和表 1、2、3所示。除了最后一层应用了sigmoid 之外，ReLU 激活跟随所有层。对于训练，我们使用 Adam 优化器，初始学习率为 1? − 04，每 5 个 epoch 下降25%，总共 20 个 epoch。UltraSE有15.5M和3.1M参数用于第一阶段和第二阶段 DNN。 2.7 研究验证 2.7.1 微基准比较在本节中，我们的默认测试数据集包括另外 5 名参与者在“Towards mic”模式下的净语音，使用三星 S8 收集。我们的测试环境包括 6 种不同的干扰加噪声设置：1? +?、2? +?、3? +?、> 3? +?、2?（“s”和“a”表示干扰扬声器和环境噪声）和最难的情况 >= 2 个同说话者干扰加上噪声 (>= 2?? + ?)。噪声语音信号的 SNR 水平均匀分布在 [−9, 6] dB 中。 UltraSE 的所有结果都来自从训练数据集生成的单个模型。我们将 UltraSE 与 4 种最先进的 SSE 方法进行比较，PHASEN [5]（TF 域方法）、SEGAN（T 域方法）、AVSPEECH （视听方法）、Conv-TasNet（语音分离法）。为了公平比较，我们重新实现了 PHASEN、SEGAN 和 Conv-TasNet，并在 UltraSpeech 数据集上训练和测试它们。PHASEN 和 SEGAN 只使用 1? + ? 训练集，因为它们是为语音增强而不是分离而设计的。PHASEN 和 SEGAN 在 1? + ?（见表 4）下的结果与原始工作相似，这表明了我们实现的正确性。对于语音分离方法，即 Conv-TasNet，我们首先在“2?”环境中对其进行训练和评估，以检查我们实现的正确性。然后，我们使用“2? + ?”数据集以 2 位说话者的净语音作为基本事实来训练模型，并在表 4 中比较其他环境中的结果。对于AVSPEECH，由于我们的数据集没有录像，我们直接使用[6]中的结果作为基线。 l1evc762.png图片与最先进的语音增强方法相比，UltraSE 显着提高了嘈杂和多说话人环境中的语音质量和清晰度。表4显示了在 [−9, 6] dB 范围内均匀分布的所有输入 SNR 水平下的测试结果。UltraSE 在所有4个指标上均优于 PHASEN 和 SEGAN。在 1? + ? 环境中，UltraSE 实现了平均 17.25 SiSNR (18.75 ΔSiSNR) 和 3.50 PESQ。在具有多扬声器干扰的其他环境中，超声传感模式的作用更为突出，在2个基线上分别平均提高了 6.04 dB 和 9.77 dB 的 SiSNR。即使对于最困难的情况 >= 2?? + ?，UltraSE 仍可实现 8.97 dB SiSNR 和 2.52 PESQ。此外，UltraSE 的性能略高于AVSPEECH，这可能是因为超声波特征的采样时间粒度比视频帧更精细，并且可以更好地与语音信号对齐。大多数现有的语音分离方法只能在有限数量的干扰说话者（2∼3）和没有环境噪声的情况下工作[29,30,73,76]。如表4所示，当使用“2? + ?”数据集训练 Conv-TasNet 时，Conv-TasNet 在“2? + ?”和“2?”设置中取得了良好的性能，但在其他复杂的设置中表现不佳环境。相比之下，在 > 3? + ? 设置下，UltraSE 优于 Conv-TasNet 约 6 dB 的 SDR 或 SiSNR，STOI 为 10%，PESQ 为 24%。 l1evcov7.png图片图8中的散点图显示了测试数据集中每个句子的输入和输出 SiSNR，其中包括所有 6 个环境。UltraSE 在不同环境和句子中始终如一地实现高性能，平均 14.75 dB SiSNR 增益。即使在 -9 dB 输入的最坏情况下，增强型语音平均达到 8.86 dB SiSNR。 2.7.2 消融研究我们进行了消融研究，以更好地了解 UltraSE 中不同设计组件的性能。这里的测试数据集包括除了“>= 2?? + ?”之外的所有环境，这在实践中并不常见。表 5 总结了结果。 l1evdhei.png图片 “No T domain”表示没有“T do-main波形语音增强”的DNN模型。结果表明，该模块几乎不影响 STOI，这是一种语音清晰度指标。但它有助于分别获得 0.46 dB SDR、0.58 dB SiSNR、0.12 PESQ，这证明它可以进一步提高 T-F 域多模态网络，生成语音的感知质量。 “No cGAN”表示没有“基于 cGAN 的跨模态模型训练”的模型。应用 cGAN 时，所有指标都显着提高，因为我们的 cGAN 设计迫使网络学习超声和语音之间的相关性，这是 UltraSE 设计背后的关键原则。 “No Fusion Network”是指超声和语音信号的特征图在时频域中直接拼接，没有融合块。性能略有下降，因为融合块有助于多模态特征相互“串扰”。 “No Ultrasound”表示网络开头没有超声流的网络。结果变得接近于没有超声传感的传统语音增强方法，例如，PHASEN。 2.7.3 系统效率时间消耗：我们评估 UltraSE 在 3 个平台上的运行时处理延迟，包括 NVIDIA GTX 2020 (GPU)、Intel i9-9980 3.00GHz (CPU) 和配备 Qual comm Snapdragon 835 CPU 的三星 Galaxy S8 （手机）。前两个对应于 UltraSE 被卸载到受信任的云或边缘服务器的情况。表6总结了结果。GPU 服务器仅经历 14.85 毫秒的延迟，这对于 VoIP 应用程序来说是可以接受的（最多 150 毫秒 [7]）。智能手机外壳是使用三星 Galaxy S8 上的 Pytorch Mobile [8] 测量的。请注意，最新版本的 Pytorch Mobile [8] 仅支持单 CPU 处理，没有任何 GPU/NPU 支持。因此，延迟相对较高（处理 5 秒语音需要 25.08 秒），这仅适用于离线处理应用程序，例如音频消息和录音。有大量关于提高智能手机 DNN 效率的文献 [9]，表明使用移动 GPU/NPU 可以减少 50 倍以上的延迟。我们将为我们未来的工作探索这些解决方案。另请注意，由于使用了 Bi-LSTM 块，UltraSE 需要以 5 秒为单位处理输入。这意味着它的 SSE 在 5 秒的初始引导期后开始生效。 l1eve81q.png图片能耗：我们的实验表明，典型的智能手机（Samsung S8）可以连续使用 UltraSE 录制语音，同时发射超声波信号 60.57 小时（不显示）。我们使用 Android Profiler [80] 进行的测量显示 UltraSE 的 CPU 负载平均为 48.7%，功耗为在 0 到 3 之间的“1”级别。当卸载到服务器时，计算能量消耗变得可以忽略不计。唯一的开销是 UltraSE 需要将原始的 48/96 kHz 采样率的音频流上传到服务器，然后从服务器下载增强的语音。我们的实验表明，三星 S8 可以在卸载模式下连续运行 UltraSE 并通过 WiFi 上传/下载音频流 10.82 小时。服务器卸载可能会引发其他问题，例如安全性，但这超出了我们当前工作的范围。 2.7.4 泛化采样频率通过 96 kHz 采样率数据集训练的 UltraSE 模型可直接用于增强以 48 kHz 采样率记录的测试语音。只要超声传感特征的 FFT 窗口长度和跳跃长度分别保持 85 ms 和 10 ms，48 kHz 采样率的特征分辨率与 96 kHz 采样率的情况相同。表5 显示在 96 kHz 采样率训练模型上测试 48/ 96 kHz 采样率数据集时性能下降可忽略不计。 l1evf1bn.png图片图8：发音手势的 SNR。握持方式：在“电话通话”模式下（图 8（a）），用户的面部部分遮挡了超声波信号，因此我们训练了一个与“朝向麦克风”模式不同的模型（图 8（c））。 UltraSE 可以使用智能手机内置的基于 IMU 的握持方式检测算法自动选择模型 [81]。我们的实验表明，在 -1.5 dB 平均输入 SNR 下，由于遮挡，“电话呼叫”（12.47 dB SiSNR）的性能略低于“Towards mic”（13.12 dB SiSNR）。我们进一步评估了每个模型在不同嘴到麦克风距离下的灵敏度。图8(b) 和图 8(d) 显示了超声的平均 SNR (SNR?) 与增强语音的 SiSNR。对于两种握持方式，???? 远远超过 10 dB，语音 SiSNR 在 20 cm 距离内保持在 12 dB 左右。实验表明，只要嘴到麦克风的距离保持在 20 厘米以内，UltraSE 模型的性能就会始终如一。运动干扰：我们测量来自 3 种主要运动伪影的干扰影响，即呼吸、手势和行走。在“朝向麦克风”和“打电话”模式下，分别在嘴巴距离麦克风 15 厘米和 2 厘米时进行了实验。(i) 呼吸频率 (~30 bpm) 远小于关节运动 (> 10 Hz)，因此它对 UltraSE 的影响可以忽略不计。(ii) 手势引入与关节运动相似的多普勒效应 [36, 40, 51]，这可能造成不可忽视的干扰。我们在推动手势干扰下测量关节手势的 SNR?。 SNR? 在 0° 到 90° 的 7 个不同角度每 2 cm 处进行采样，步长为 15°，靠近用户的嘴。图 13 显示了“朝向麦克风”模式下 SNR? 的空间分布 [82]。只要手势距离嘴巴 > 25 厘米（这在日常使用场景中很常见），SNR? 就会保持在 10 dB 以上，这对于 UltraSE 来说已经足够了（图 8）。麦克风阵列可用于聚焦用户的嘴部区域以进一步减轻干扰 [40]，但这超出了 UltraSE 的范围。我们省略了“电话通话”模式，因为麦克风离嘴更近，并且感应 SNR? 保持较高。(iii) 当其他人走近（0.8 m 远）时，我们发现 SNR? 几乎没有受到影响，因为超声音量相对较低，并且用户的嘴更近。总体而言，发音手势的 SNR? 足够高（> 10 dB），并且 UltraSE 模型在日常使用场景中不受运动伪影的影响。智能手机的概括：不同的智能手机可能有不同的扬声器麦克风布局。例如，三星 S8、LG G8S ThinQ 和 VIVO X20 的底部麦克风和扬声器之间的距离分别为 5 毫米、25 毫米和 25 毫米。扬声器和麦克风的高频响应也可能因手机型号而异[83]。将三星 S8 数据集训练的 DNN 模型直接应用到 LG G8S ThinQ 和 VIVO X20 时，增强语音的 SiSNR 分别变为 9.21 dB 和 9.53 dB。低于同款手机壳13.21 dB），但仍高于无超声传感的 SiSNR（7.68 dB）。为了保持最佳性能，一种直接的方法是为每个电话模型执行一次训练数据收集。或者，我们可以使用涵盖典型硬件配置的各种智能手机来丰富 UltraSpeech 数据集。这留给我们以后的工作。 l1evfc20.png图片真实环境使用实验：我们要求用户在 4 个不同的真实世界环境中使用 UltraSE，即 1) 带有排气扇和流水噪音的浴室环境（平均 75 dBA）； 2）有电视噪音的客厅环境（平均55分贝）； 3) 有谈话噪音的室内会议环境（平均 60 dBA）； 4) 有车辆噪音的室外路边环境（平均 60 dBA）。与合成嘈杂语音不同，我们无法在这些场景中捕获真实净的语音并评估 SDR、SiSNR、STOI 和 PESQ 等指标。因此，为了评估 UltraSE 在实际使用中的性能，我们使用 ASR 单词错误率???=(?+?+?)/? 作为指标，其中?、?、?和?是替换、删除的数量，插入，目标用户的口语总数。具体来说，我们要求用户在 TIMIT 语音语料库中跨不同环境说出至少 50 个句子。图 9 显示了在不同环境中使用和不使用 UltraSE 的WER。在非语音噪声环境下，即浴室和路边，UltraSE 略微提高了 ASR 语音识别率，因为 ASR 本身具有减轻背景环境噪声干扰的能力。在语音嘈杂的环境中，即客厅和会议室，WER 高于 100%，因为非目标用户的语音引入了许多词插入和替换。UltraSE 在这种情况下取得了显着的改进，因为它能够通过使用超声波感应将所需的说话者语音与噪声分开。 2.8 文章结论超声波传感可以作为解决鸡尾酒会问题的补充方式。UltraSE系统引入了通用DNN机制来实现这些功能，例如，多模态多域融合网络和基于新型跨模态连体网络的基于cGAN的训练模型。UltraSE指向了一个新的方向，它融合了无线传感能力，将机器感知提升到一个新的水平。三、阅读理解与心得作者提出了UltraSE，它使用超声波传感作为一种补充模式，将所需说话者的声音从干扰和噪声中分离出来。UltraSE使用商用移动设备发射超声波并捕捉说话者发音手势的反射。它引入了一种多模态、多领域的深度学习框架来融合超声多普勒特征和可听语音频谱图。并且利用一个基于跨模态相似性测量网络的经过对抗性训练的鉴别器来学习两种异质特征模式之间的相关性。最后实验验证了UltraSE同时提高了语音清晰度和质量，并且优于当下先进的解决方案。作者在第一二节分别介绍了该技术的背景与优势，中间章节介绍技术路线，最后就微观基准比较、消融研究、系统效率与泛化采样频率四个方面对实验进行评估得出超声波传感可以作为解决鸡尾酒会问题的补充方式。UltraSE 系统引入了通用 DNN 机制来实现此类功能，融合了无线传感功能，将机器感知提升到一个新的水平。但是在实验分析中不乏存在一个小问题，在系统延时上UltraSE 需要以 5 s 的片段处理输入，这意味着其SSE在5秒的初始引导期后开始生效，如果设备不支持GPU / NPU话，延迟将会很高大于可接受的范围了，基于此这将是进一步研究的对象。通过本次阅读，使我对电子与通信技术了解了不少，让我懂得专业基本素养及其重要，一方面是专业知识的积累，另一方是英语水平的训练。今后要养成不断阅读文献的习惯，将输入更好的转化为输出，同时在阅读文献方面要做到四知，一、“知事”，了解所读论文的研究内容和研究结果，即英文中的“What had been done? What was the result”。通过阅读摘要（Abstract）或概要（Summary），可以知道研究结果，即知道“What”；而参读全文则可以知道实验方法和策略，即知道“How”。二、“知人”，学会了解研究人员以及他或他们所在研究机构等背景资料。三、“知因”，阅读一篇文章时，有三个问题需要我们思考。一是，为什么研究者能够想到做这个研究。一是，研究者为什么这样设计实验。另一个就是，如果让我们来做，我们会怎样设计我们的研究。四、“知短”，不是所有的研究论文是完美的，许多实验设计可以改进。至于所引出的未解决的问题，更是无穷尽，“真理不是绝对的”。参考文献 [1] Quan Wang, Hannah Muckenhirn, Kevin Wilson, Prashant Sridhar, Zelin Wu, John Hershey, Rif A Saurous, Ron J Weiss, Ye Jia, and Ignacio Lopez Moreno. Voice filter: Targeted voice separation by speaker-conditioned spectrogram masking. In Proceedings of Interspeech, 2019. [2] Triantafyllos Afouras, Joon Son Chung, and Andrew Zisserman. My lips are concealed: Audio-visual speech enhancement through obstructions. In Proceedings of Interspeech, 2019. [3] John S Garofolo et al. Darpa timit acoustic-phonetic speech database. National Institute of Standards and Technology (NIST), 1988. [4] Aviv Gabbay, Asaph Shamir, and Shmuel Peleg. Visual speech enhancement. In Proceedings of Interspeech, 2018. [5] Dacheng Yin, Chong Luo, Zhiwei Xiong, and Wenjun Zeng. Phasen: A phaseand-harmonics-aware speech enhancement network. In Proceedings of AAAI, 2020. [6] Ariel Ephrat, Inbar Mosseri, Oran Lang, Tali Dekel, Kevin Wilson, Avinatan Hassidim, William T Freeman, and Michael Rubinstein. Looking to listen at the cocktail party: A speaker-independent audio-visual model for speech separation. In Proceedings of ACM SIGGRAPH, 2018. [7] Chris Lewis and Steve Pickavance. Implementing quality of service over cisco mpls vpns. Selecting MPLS VPN Services, 2006 [8] Pytorch Mobile, 2020. https://pytorch.org/mobile/home/. [9] Siqi Wang, Anuj Pathania, and Tulika Mitra. Neural network inference on mobile socs. IEEE Design & Test, 2020.

刘航宇 4年前
1 1,184 1
2022-03-30
西北大学843&849备考小经验目录 843&849历年真题下载地址：https://wwu.lanzoub.com/i3si90ai9k3g 提取码：正文本人22考研已经上岸西北大学电子科学与技术专业图片本文不会长篇大论，节省彼此时间，不建议天天看经验贴，有这时间建议做个题跑个步比啥都好。英语和政治篇英语和政治篇不多叙述、我相信这个难不倒大家，过线肯定能过，多年国家线分数线尚未超过40，精简回答政治7、8月起每天1-2小时，英语前期单词后期真题，真题建议做到2刷。数学篇本人数学这次没发挥好105分，，本人正式备考在7月份开始考研，时间短，那么这么短时间如何提高数学与专业课呢？答案就是不断做题，看视频是次要的本人由于起步晚，直接不看视频就做题，不会就翻书查答案，再不行就看对应知识点，一下节省了好几个月时间。咳咳，不建议大家学我。数学前期建议选任何一本考研书都可，1800不建议因为答案非最简答案，很多同学看不懂原因是这个思路有问题，不是最简思路，并非见到极限我就用泰勒！9月前完成强化，强化方式1.强化卷、2.题目少的习题册（张、汤、李都有）选一个精做，别欺骗自己只求数量、不求质量那是害人！9月-10月先做各机构的模拟题，先不要做真题，模拟题做多少是多少！10月-12月中旬做真题，数一必须后期真题，真题每年有好多以前考过的类型你在二刷时候就能发现22年、21年、20年、19年等等都有很多和19xx年、200x年很类似题目，千万别后期光刷模拟题质量不是一个层次哦！第一个月2天1张卷子第一天做完第二天改错吃透，第二个月1天1份，最后半月二刷1天2份根据程度只刷错题也行一定一定要吃透！历年真题。。我们偶数年吃透考个100+不是问题,奇数年吃透110+不是问题。数学就是题海战术和反复吃透，真题很重要有可能就从1987年起刷2次，真题错题能做到我遇到必会就是一个反反复复克服定势思维的过程。专业篇不要迷信押题卷，我们这一届843、849也没几个报班、还有有些微博网上讲题的老师水平，emmm我不评价！? ，我考研期间都免费给别人讲了一些题，我相信学弟学妹应该也需要学习那么就挂出来吧，如下所示集成运放深度理解讲解专业课如何学？ 1.前期（7、8月左右）看上海交大模电视频、认真做笔记，有空课后题 2.数电呢？数电再模电之后学、数电可以看书自学23456章很重要，课后题必做，比如逻辑代数，编码、译码器，寄存器，计数器，加法器这些等等视频课后题9月中旬前建议完成 3.后期9月中旬后，建议好好研究真题?学长可以免费提供我的个人笔记 4.真题建议做到二刷、吃透，最后1个月看自己笔记和书本和做过的习题即可，基本没有什么大问题的迷茫指导结语西北大学很好，老师也很强，希望各位学弟学妹都能上岸，加油！考研过程最忌讳形式主义、自我感动，合理规划，适合自己是最总要的，我的仅仅是个提示，不要老是看这些，7月前有时间多多锻炼一下身体，西北大学目前843、849在211考研中难度不是很大，既然选择了认真对待肯定没问题！学长希望大家都能上岸，一战成硕！免费笔记入口模拟电子技术数字电子技术

我的随笔

刘航宇 4年前
0 1,265 15
2022-03-13
数字电路基础-最大项与最小项目录 1.定义 2.性质 3.关系 1.定义最小项：n个变量的逻辑乘，即与形式，每个变量以原变量或者反变量的形式出现一次。n个变量共有2n个最小项。用m表示，如ABC，表示为m0。最大项：n个变量的逻辑和，即或形式，每个变量以原变量或者反变量的形式出现一次。n个变量共有2n个最大项。用M表示，如A+B+C，表示为M0。如下为三变量最小项和最大项的表示方法：图片 2.性质对于n个变量来说，若给定这些变量确定的值，那么2n个最小项中仅有一组值为1，其余全为0；2n个最大项中仅有一组值为0，其余全为1. 全部最小项之和恒等于1；全部最大项之积恒等于0。（可由第一条性质中看出）任意两个最小项之积等于0；任意两个最大项之和等于1。（可由第一条性质中看出）若干个最小项的和等于其余最小项和的反。简单可以记做为卡诺图上分成两部分，他们之间为反关系。 3.关系最小项的反是最大项，最大项的反是最小项。图片

嵌入式＆系统

刘航宇 4年前
0 2,048 6
【美文】平常烟火，珍惜一段春色习惯了，一个人早晨的时候去呼吸新鲜的空气，公园散步，与早起的人们一起，沿着一湾清水，走在幽静的小路上，鸟鸣啾啾，春意缓归，也是惬意。散步回来，一杯牛奶，几片面包，也就打发了自己。隔着窗，萧瑟凋零的草木重新焕发生机，醒来时，已是春光乍泄。光阴似箭，走过曾经的时光，拥抱春天，当最后一片雪花飘落，风霜雨雪便是人生的足迹，一步一步走向美好。春已至，站在春天里，遥看春色渐暖，浅淡颜色，渐渐有了模样，物候秩序，水墨丹青细细描摹。枝头的蓓蕾藏，期待着花期，用自己的方式，各自准备着给春天的厚礼。图片苏醒的枝蔓，缓缓伸展着腰肢，春意盎然，只是时间问题，那些醉人的风景和迷人的姿态，慢慢的，都会一一到达。时光不老，却是又重返青春，跟着流云，掠过一帧一帧的花影，在疏影横斜的背景里，日子可以走的亦是轻松，沿着季节的方向，明媚着未来的路途。凝眸春风过处，款款春意盎然恣意，似淡墨染成的画卷。许多时候，一点灵犀，便是曼妙，在蕾枝之间彼此守护。就如某种默契，无需言说即可心领神会。就如岁月的枝头，只要春风一来，无论静默多久，都会开出鲜艳的花瓣，释放出一分欢喜和几分明媚。那画卷里，风景旖旎，千丝万缕细枝，沿途摇暖了一季风景，眸中清寒，也是时光里的潋滟，春来时，轻轻翻开一个个冬天埋下的伏笔，瞬间花苞炸裂，芳菲开遍。图片平淡的事情，用心感悟才有了意味深长，万千风景，用心了才是清欢有味。在最美的时光里，安静知足，对任何喜欢的人或事都学会有所期待，耐心等待，无需刻意，只是顺其自然，只怕不经意间就失去平淡的光泽。在春天的希望里，看似水流年，看绿肥红瘦，淡然之间，让生命有了柔和的温度。春在路上，花在枝上，所有的美好都在心上，努力过好自己的日子，冷暖之间，各自安好。心怀美好，用一份付出与努力，善待自己，接纳生活，摈弃杂念，别让鸡零狗碎的事情，耗尽你对美好生活的向往。守住生命与自然的本色，自然而然，以淡泊宁静的心态去面对现实，无需仰视枝头的花朵，生活还需简单明了，只是珍爱，与这尘世和睦相处，再多一份心头的默契，如此，甚好。图片不念过往，不惧将来，我们无须铭记或者忘记，每一段岁月都是值得拥有的，你曾经拥有过的，都是最好的时光。活在当下，你看，春风春雨春烟，让山河有了温柔的气息，一花一草一木都是春天的美丽。平淡日子，让自己安静下来，用最美心情接受春天得到来，缘之所寄，是淡淡时光；一往而深，深情之处，平淡生活也是春天。

励志美文

刘航宇 4年前
1 929 5
SIM900A发送与接受短信目录一.SMS简介二.短信的控制模式与编码1.Text Mode 2.PDU Mode 3.GSM编码 4.UCS2编码三.收发英文短信1.AT+CPMS查询短信数量 2.AT+CNMI设置新消息提示类型 3.AT+CMGF选择短信模式 4.AT+CSCS设置编码 5.AT+CSMP设置短信文本模式 6.AT+CMGS发送消息到指定手机号四.收发中文短信一.SMS简介 SMS(Short Messaging Service）中文名称短信服务，短信是当下每一部手机上必备的功能之一，顾名思义，它是在手机之间发送文字信息或从个人计算机或手持设备向手机发送信息的一种方式，其文本信息的最大发送量为160个字符（字母、数字或者拉丁字母中的字符），对于中文一般最大发送量为70个字符。这里我想用SIM900A模块实现短信的收发。图片二.短信的控制模式与编码先说一下：我采用的是Text Mode下使用GSM编码收发英文短信、使用UCS2编码收发中文短信对于短信的控制一共有三种模式：Block Mode、基于AT指令的Text Mode、基于AT指令的PDU Mode 。目前手机中默认使用PDU Mode，通过PDU编码的短信可以是文字、声音或者图像。Text Mode只能用于发送ANSI范围的字符，发送方式比较简单。 SIM900A模块只提供Text Mode 和PDU Mode。中文短信中，所有汉字和字符都是采用UNICODE编码。 1.Text Mode Text Mode下，发送及接收到的数据均以ASCII码的显示来表示，可以发送指令"AT+CMGF=1"，将GSM短信发送方式更改为文本模式。文本模式下接收的数据会自动解码，比如你收到一条短信息，GSM会返回：+CMGR: “REC UNREAD”,"+8613806XXXXXX",“11/10/21,13:22:13+32” hello （短信内容会自动换行）不需要自己解码，便可得到短信的发送者、发送时间和短信内容，比较容易操作。理论上Text Mode下，是只能够收发英文短信，但是SIM900A模块可以在Text Mode下使用UCS2编码，从而可以发送接收中文短信。 2.PDU Mode PDU相当于一个数据包，它由SMS的信息组成，作为一种数据单元，必须包含源地址、目的地址、有效时间、数据格式、协议类型、正文、正文长度（可达140字节），这些信息都以十六进制表示。 PUD Mode被所有手机支持，可以使用任何字符集，其编码方式分为：7bit、8bit、UCS2。 7-bit编码用于发送普通的ASCII字符，它将一串7-bit的字符(最高位为0)编码成8-bit的数据，每8个字符可“压缩”成7个；8-bit编码通常用于发送数据消息，比如图片和铃声等；而UCS2编码用于发送Unicode字符。在这三种编码方式下，PDU串的用户信息(TP-UD)段最大容量(可以发送的短消息的最大字符数)分别是160、140和70。这里，将一个英文字母、一个汉字和一个数据字节都视为一个字符。理论上发送中文短信需要使用PDU Mode的UCS2编码，上面也说了，SIM900A模块可以使用Text Mode发送UCS2编码，而且PDU Mode比Text Mode更加复杂，所以我采用了Text Mode收发中英文短信。 PDU Mode的详细讲解可以借鉴此博客：点击链接跳转 3.GSM编码在GSM编码模式下，收发消息的内容和电话号码，都是以ASCII字符的形式显示的，发送英文短信时使用十分方便。所以我使用GSM编码来收发英文短信。 4.UCS2编码谈到UCS2编码就不得不说UNICODE，UNICODE又叫统一码、万国码，是计算机科学领域里的一项行业标准，包括字符集、编码方案等。UNICODE 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。简单来说，UNICODE编码可以表示世界上任意一种语言（有点夸张），自然也可以表示中文。而UCS2编码是UNICODE的一种，UCS2中每个字符都占俩个字节。使用UCS2编码后，发送短信的手机号码、短信内容都要经过UCS2编码转换才可以，但UCS2编码发送的消息在手机上可以直接显示为中文。所以，需要UCS2与中文的转换软件，如下，可以实现中文和UCS2的双向转换图片三.收发英文短信 1.AT+CPMS查询短信数量图片 2.AT+CNMI设置新消息提示类型图片 3.AT+CMGF选择短信模式图片 4.AT+CSCS设置编码图片图片 5.AT+CSMP设置短信文本模式使用Text Mode的GSM编码时，短信文本模式设置为： AT+CSMP=17,167,0,240（消息显示在终端） AT+CSMP=17,167,0,241（消息存储在SIM卡中）图片 6.AT+CMGS发送消息到指定手机号使用Text Mode的GSM编码时，直接AT+CMGS="手机号"即可，然后，在>后输入要发送的内容（不要勾选发送新行），最后发送HEX（十六进制）的：1A 即可。如图，我使用本机向本机发送了一条短信，而且，本机收到短信后在终端中显示出来了。图片这是SIM公司给出的例子：图片 CTRL-Z 代表十六进制：1A 使用SIM900A向本机发送一条英文短信的完整步骤如下：图片四.收发中文短信收发中文短信利用的是Text Mode下的UCS2编码。相比于收发英文短信，收发中文短信需要修改的地方有：修改编码：AT+CSCS=“UCS2” 修改短信文本模式：AT+CSMP=17,167,0,24(短消息显示在终端，25：存储在SIM中) 手机号码要用UNICODE码发送的消息要用UNICODE码（有专门的转换软件）这是SIM公司给出的例子：图片我要发送信息：可爱的小白鼠，女朋友收到后回复消息，用软件将UNICODE码转换为中文，串口操作界面如示：图片发消息如示：图片收消息如示：图片这是我的SIM900A 图片

嵌入式＆系统

刘航宇 4年前
0 1,243 2
2022-01-29
【9】基于STM32CubeMX-STM32OLED开发目录必备文件关于OLED的概述 OLED开发相关资源下载基于STM32CubeMX的OLED底层驱动函数移植 OLED驱动库中常用的函数实训案例：STM32控制OLED显示必备文件必备文件见文章末尾关于OLED的概述 OLED：Organic Light-Emitting Display，有机发光显示。 OLED具备自发光、厚度薄、视角广、功耗低、对比度高、响应速度快、可用于挠曲性面板、使用温度范围广、构造及其制作过程较简单等优异特性，并认为是一种比液晶显示更为先进的新一代平板显示技术。以目前的技术，OLED的尺寸还难以大型化，但是分辨率却可以做得很高。基于STM32的OLED应用，要做那些事情：【1】移植OLED的底层驱动函数库。【2】准备需要的中文字符和图片等数据。【3】调用OLED驱动库中的底层函数进行应用开发。图片 OLED开发相关资源下载基于STM32CubeMX的OLED屏驱动程序库（内含4个文件）【1】XMF_OLED_STM32Cube.c：驱动程序的源文件。【2】XMF_OLED_STM32Cube.h：驱动程序的头文件。【3】XMF_OLED_Font.h：字库数据文件。【4】XMF_OLED_BMP.h：图片数据文件。基于STM32CubeMX的OLED底层驱动函数移植【1】将4个驱动文件拷贝到工程文件中，和main.c放在同一目录，并将XMF_OLED_STM32Cube.c添加到工程代码文件中，并在main.c中引入头文件XMF_OLED_STM32Cube.h。【2】根据所选用的芯片型号，修改XMF_OLED_STM32Cube.h头文件中所以用的芯片头文件。【3】根据硬件电路原理图中，修改XMF_OLED_STM32Cube.h中OLED的引脚定义。【4】查看OLED_Initvoidvoidvoid初始化函数的源码，根据电路接口和应用需要进行修改。图片 OLED驱动库中常用的函数 void OLED_Init(void); //OLED初始化函数 void OLED_Clear(void); //OLED清屏函数//显示英文字符串函数 void OLED_ShowString(unsigned char x,unsigned char y,unsigned char *p); 参数1：x，起点列坐标，0～127 参数2：y，起点行坐标，0～7 参数3：*p，字符串指针返回值：void，无。//显示中文字符函数 void OLED_ShowCHinese(unsigned char x,unsigned char y,unsigned char no); 参数1：x，起点列坐标，0～127 参数2：y，起点行坐标，0～7 参数3：no，待显示中文字符在数组Hzk[][32]中的位置。返回值：void，无。//显示图片函数 void OLED_DrawBMP( unsigned char x0, unsigned char y0,unsigned char x1,unsigned char y1,unsigned char BMP[]); 参数1：x0，起点列坐标，0～127 参数2：y0，起点行坐标，0～7 参数3：x1，图片的列范围，1～128 参数4：y1，图片的行范围，1～8 参数5：BMP[]，待显示图片数据的数组。返回值：void，无。实训案例：STM32控制OLED显示要点图片字库软件中行前后缀不需要括号在XMF07A或XMF07C开发板上，利用STM32CubeMX和Keil5协同开发，完成以下的功能：【1】用取字模软件生产一张图片数据，作为开机界面在OLED上显示。【2】0.5秒后进入信息界面，第1行显示网址“sciarm.com”，第2行显示中文“小蜜蜂笔记”，第3行显示日期“2022-02-18”。图片 //用取字模软件生成开机LOGO图片数据，并拷贝到XMF_OLED_BMP.h的数组中。 const unsigned char BMP1[] = { 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, //此处省略64×62个字节元素 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00, };//用取字模软件生成所需中文字符数据，保持到XMF_OLED_Font.h中的Hzk[]数组。 const unsigned char Hzk[][32]={ {0x00,0x00,0x00,0xE0,0x00,0x00,0x00,0xFF,0x00,0x00,0x00,0x20,0x40,0x80,0x00,0x00}, {0x08,0x04,0x03,0x00,0x00,0x40,0x80,0x7F,0x00,0x00,0x00,0x00,0x00,0x01,0x0E,0x00},/*"小",0*/ /* (16 X 16 , 宋体 )*/ {0x10,0x4C,0x24,0x04,0xF4,0x84,0x8D,0x56,0x44,0x24,0x14,0xC4,0x24,0x54,0x0C,0x00}, {0x00,0x41,0x5D,0x55,0x54,0x55,0x55,0x7F,0x55,0x55,0x55,0x55,0x7C,0xC0,0x00,0x00},/*"蜜",1*/ /* (16 X 16 , 宋体 )*/ {0x00,0xF8,0x08,0xFF,0x08,0xF8,0x80,0x90,0x4C,0x57,0xA4,0x54,0x4C,0x84,0x80,0x00}, {0x20,0x63,0x21,0x1F,0x11,0x39,0x10,0x10,0x15,0x15,0xFF,0x15,0x15,0x10,0x10,0x00},/*"蜂",2*/ /* (16 X 16 , 宋体 )*/ {0x10,0x08,0x44,0x47,0x4C,0x54,0x44,0xD4,0x28,0x27,0x24,0x2C,0x34,0x04,0x04,0x00}, {0x00,0x10,0x12,0x12,0x12,0x12,0x12,0x7F,0x89,0x89,0x89,0x89,0x89,0x88,0xF0,0x00},/*"笔",3*/ /* (16 X 16 , 宋体 )*/ {0x40,0x40,0x42,0xCC,0x00,0x00,0x00,0x84,0x84,0x84,0x84,0x84,0xFC,0x00,0x00,0x00}, {0x00,0x00,0x00,0x7F,0x20,0x10,0x00,0x3F,0x40,0x40,0x40,0x40,0x41,0x40,0x70,0x00},/*"记",4*/ /* (16 X 16 , 宋体 )*/ };extern unsigned char BMP1[]; void OLED_display_pic() { OLED_Clear(); OLED_DrawBMP(0,0,128,8,BMP1); }void OLED_display_info() { OLED_Clear(); OLED_ShowString(6,0,(uint8_t *)"sciarm.com"); OLED_ShowCHinese(10,3,0); //小 OLED_ShowCHinese(28,3,1); //蜜 OLED_ShowCHinese(46,3,2); //蜂 OLED_ShowCHinese(64,3,3); //笔 OLED_ShowCHinese(82,3,4); //记 OLED_ShowString(24,6,(uint8_t *)"2022-02-18"); }//在mian()函数中添加下面的代码： /* USER CODE BEGIN 2 */ OLED_Init(); //OLED初始化 OLED_display_pic(); //显示图片 HAL_Delay(500); //延时0.5秒 OLED_display_info(); //显示信息 /* USER CODE END 2 */必备文件

嵌入式＆系统 # 嵌入式

刘航宇 4年前
17 2,128 15
2022-01-16
【1】基于STM32CubeMX-STM32GPIO端口开发目录 STM32CubeMX的声明 protuesSTM32仿真开发板下载 STM32的GPIO端口知识要点 GPIO电平输出HAL库函数 GPIO电平翻转HAL库函数 GPIO初始化函数源码剖析实训案例：基于STM32CubeMX的跑马灯仿真开发实例 protuesSTM32仿真开发板下载 STM32CubeMX的声明【1】STM32CubeMX 是一个代码辅助生成工具，在生成工程代码的同时，根据你的功能选择和配置帮你做了必要的初始化，这也就意味着你不再需要对底层的特殊功能寄存器进行初始化配置，但是不代表你就可以不去学习 STM32 的基本知识和各个外设的工作原理与参数特性等。【2】虽然不再要求你去了解 STM32 底层寄存器的定义，但却要求你要了解由 STM32CubeMX生产的代码内在的逻辑联系以及 HAL 库中的常用函数原型与使用。【3】STM32CubeMX 的最大好处就是，使开发流程、文件结构、库函数等标准化 protuesSTM32仿真开发板下载下载方式见文章末尾 STM32的GPIO端口知识要点 GPIO：General Purpose Input & Output STM32芯片最拥有GPIOA、GPIOB…GPIOG等7组端口，每组端口最多拥有Pin0、Pin1…Pin15共16个引脚。 STM32的每个I/O端口都可以自由编程，但I/O端口寄存器必须按32位字被访问。STM32的每个I/O端口都由7个寄存器来控制。 STM32的GPIO端口可以由软件配置成8种模式：推挽输出、开漏输出、推挽式复用功能、开漏式复用功能；模拟输入、浮空输入、下拉输入、上拉输入。 GPIO电平输出HAL库函数 void HAL_GPIO_WritePinGPIOTypeDef∗GPIOx,uint16tGPIOPin,GPIOPinStatePinStateGPIO_TypeDef* GPIOx, uint16_t GPIO_Pin, GPIO_PinState PinStateGPIOTypeDef∗GPIOx,uint16tGPIOPin,GPIOPinStatePinState; 参数1：GPIOx，端口号，如：GPIOB,GPIOF。参数2：GPIO_Pin，引脚号，如：GPIO_PIN_9,GPIO_PIN_12。参数3：PinState，引脚输出状态。高电平----GPIO_PIN_SET；低电平----GPIO_PIN_RESET。返回值：void，空。应用举例：向PB8引脚输出高电平。 HAL_GPIO_WritePinGPIOB,GPIOPIN8,GPIOPINSETGPIOB, GPIO_PIN_8, GPIO_PIN_SETGPIOB,GPIOPIN8,GPIOPINSET;GPIO电平翻转HAL库函数 void HAL_GPIO_TogglePinGPIOTypeDef∗GPIOx,uint16tGPIOPinGPIO_TypeDef* GPIOx, uint16_t GPIO_PinGPIOTypeDef∗GPIOx,uint16tGPIOPin; 参数1：GPIOx，端口号，如：GPIOB,GPIOF。参数2：GPIO_Pin，引脚号，如：GPIO_PIN_9,GPIO_PIN_12。返回值：void，空。应用举例：将PA3引脚输出电平翻转。 HAL_GPIO_TogglePin(GPIOA, GPIO_PIN_3);GPIO初始化函数源码剖析 void MX_GPIO_Init(void) { GPIO_InitTypeDef GPIO_InitStruct = {0}; /* GPIO端口时钟使能 */ __HAL_RCC_GPIOC_CLK_ENABLE(); __HAL_RCC_GPIOA_CLK_ENABLE(); __HAL_RCC_GPIOB_CLK_ENABLE(); /*配置GPIO端口引脚的初始化输出电平 */ HAL_GPIO_WritePin(GPIOB, GPIO_PIN_8|GPIO_PIN_9, GPIO_PIN_RESET); /*配置GPIO端口输入引脚 : PC13 */ GPIO_InitStruct.Pin = GPIO_PIN_13; //GPIO端口的引脚号是：13 GPIO_InitStruct.Mode = GPIO_MODE_INPUT; //GPIO的模式是：输入 GPIO_InitStruct.Pull = GPIO_NOPULL; //没有上拉 HAL_GPIO_Init(GPIOC, &GPIO_InitStruct); //将参数结构设置到GPIOC端口 /*配置GPIO端口输出引脚 : PB8 PB9 */ GPIO_InitStruct.Pin = GPIO_PIN_8|GPIO_PIN_9; //GPIO端口的引脚号是：8和9 GPIO_InitStruct.Mode = GPIO_MODE_OUTPUT_PP; //GPIO的模式是：输出 GPIO_InitStruct.Pull = GPIO_NOPULL; //没有上拉 GPIO_InitStruct.Speed = GPIO_SPEED_FREQ_LOW; //GPIO的输出速度是：非常低速 HAL_GPIO_Init(GPIOB, &GPIO_InitStruct); //将参数结构设置到GPIOB端口 }实训案例：基于STM32CubeMX的跑马灯在XMF07A或XMF07C开发板上，利用STM32CubeMX对STM32芯片的LED控制引脚进行配置并快速生产项目，在Keil5中进行代码编写，实现跑马灯功能，即：LED1灯亮，过一会，LED2灯亮，过一会，LED1灯熄灭，过一会，LED2灯熄灭….如此循环。 XMF07C开发板：STM32L151C8T6 （电路功能兼容物联网国赛设备） XMF07A开发板：STM32F103C8T6 图片 /* Infinite loop */ /* USER CODE BEGIN WHILE */ while (1) { HAL_GPIO_WritePin(GPIOB,GPIO_PIN_9,GPIO_PIN_SET); //向PB9输出高电平，点亮LED1灯 HAL_Delay(500); //延时500ms HAL_GPIO_WritePin(GPIOB,GPIO_PIN_8,GPIO_PIN_SET); //向PB9输出低电平，熄灭LED1灯 HAL_Delay(500); //延时500ms HAL_GPIO_TogglePin(GPIOB,GPIO_PIN_9); //用翻转电平的方式，实现LED1灯的点亮与熄灭 HAL_Delay(500); //延时500ms HAL_GPIO_TogglePin(GPIOB,GPIO_PIN_8); //用翻转电平的方式，实现LED2灯的点亮与熄灭 HAL_Delay(500); //延时500ms /* USER CODE END WHILE */ /* USER CODE BEGIN 3 */ } /* USER CODE END 3 */仿真开发实例原理图: 图片 1.新建CubeMX工程选择对应的MCU,在proteus8中支持STM32F103的几款muc，这里我们选择STM32R6 图片设置下载方式图片配置LED灯的GPIO l1p0om1l.png图片配置时钟树 l1p0ownv.png图片选择keil5工程（或者其他工程） l1p0pb0l.png图片勾选此处可以使得每个初始化的外设有独立的.c和.h l1p0ptxo.png图片生成MDK工程 l1p0ro0x.png图片添加LED闪烁的代码，并编译生成.hex文件 HAL_GPIO_TogglePin(GPIOA,GPIO_PIN_5); HAL_Delay(0XFF)l1p0sq2c.png图片将hex文件下载到proteus8中去 l1p0t26z.png图片此时仿真会报错，原因是电源为接入，只需要将电源接入即可 l1p0tjr9.png图片此处VDDA，VSSA分别加入到电网VCC与GND中，详细可以百度 l1p0tpli.png图片最后，就可以看到有一个LED灯反复交替闪烁！ l1p0u3mg.png图片 protuesSTM32仿真开发板下载

嵌入式＆系统 # 嵌入式

刘航宇 4年前
8 7,088 119
嵌入式视频流知识点及代码解析-精简版目录背景和意义框架代码及相关知识点一、知识点篇二、问答篇三、代码篇RTSP程序要不要等待播放器器程序请求？请你找出上述代码所在位置 live555（了解） SDL 背景和意义（1）视频的带宽很大，存储，传输不便，故要压缩、解压、播放。（2）应用领域很广，交通，在线教育，播放器，自动驾驶。框架图片下面这个图及其重要以及3个ip关系 abcde代表先后实现顺序注意观看！！！ TO67M8.png图片代码及相关知识点一、知识点篇 Live 555：是一个为流媒体提供解决方案的跨平台的C++开源项目，它实现了标准流媒体传输，对标准流媒体传输协议如RTP/RTCP、RTSP、SIP等的支持。Live555实现了对多种音视频编码格式的音视频数据的流化、接收和处理等支持，包括MPEG、H.263+、DV、JPEG视频和多种音频编码。同时由于良好的设计，Live555非常容易扩展对其他格式的支持。Live555已经被用于多款播放器的流媒体播放功能的实现，如VLC(VideoLan)、MPlayer。在本次开发实践中主要用于接收海康威视摄像头的RTP数据包并通过UDP网络进行转发给PC机。 FFmpeg: Fmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多code都是从头开发的。 FFmpeg在Linux平台下开发，但它同样也可以在其它操作系统环境中编译运行，包括Windows、Mac OS X等。项目的名称来自MPEG视频编码标准，前面的"FF"代表"Fast Forward"。在本次开发实践中主要用于H264数据解码。 SDL: SDL（Simple DirectMedia Layer）是一套开放源代码的跨平台多媒体开发库，使用C语言写成。SDL提供了数种控制图像、声音、输出入的函数，让开发者只要用相同或是相似的代码就可以开发出跨多个平台（Linux、Windows、Mac OS X等）的应用软件。目前SDL多用于开发游戏、模拟器、媒体播放器等多媒体应用领域。在本次开发实践中主要用于YUV数据的显示。二、问答篇 1.什么是YUV？与RGB有什么不同？ YUV 是一种颜色编码方法，FFmpeg 解码后的数据格式。Y 表示明亮度 U 表示色度 V 表示浓度。因为通过研究发现，人类对于图像的感知中对明亮最侧重，色彩和浓度就相对不那么重要，所以在保存图片时，让明亮度占较多的比重，有效的在不影响观看的情况下节约了空间。视频播放器解码出来的格式为 YUV420P，其中明亮度占整个数据的 2/3，色度和浓度占 1/3。 2.RTSP在什么层？答：应用层 3.你关于IP问题你用到了那些命令？答：ipconfig,ifconfig,ping等 4.本次课程设计你用到了那些去年学的知识？答：网络通信，文件开关与读写，第一章shell操作命令下面部分自行百度： 5.TCP与UDP特点（TCP的可靠，UDP 的不可靠，UDP快） 6.简述TCP与UDP 7.了解HTTP/https 8.三次握手和四次挥手过程三、代码篇 RTSP程序要不要等待播放器器程序请求？答：要请你找出上述代码所在位置答:如图所示图片 live555（了解） BasicTaskScheduler 的父类是BasicTaskScheduler0 BasicTaskScheduler0是一个用作传递的类，它继承自TaskScheduler，又派生出BasicTaskScheduler。其定义在live555sourcecontrol\UsageEnvironment\include\BasicUsageEnvironment0.hh文件中。 BasicTaskScheduler0中有 BasicTaskScheduler 这个类主要实现事件的处理 BasicUsageEnvironment 涉及调试语句，输出语句 ourRTSPClient 主要是涉及的数据的发送相关的功能函数，主要的功能继承于父类RTSPClient RequestRecord 创建一个请求记录对象，并将回调函数与之关联 sendRequest 第一次进入调用：openConnection解析URL，并调用setupStreamSocket和connectToServer，然后 envir().taskScheduler().setBackgroundHandling(fInputSocketNum, SOCKET_READABLE|SOCKET_EXCEPTION, (TaskScheduler::BackgroundHandlerProc*)&incomingDataHandler, this); 若不是第一次调用，则打包 RTSP 包协议，并调用 Send函数发送到服务器。重点 RequestRecord入队列等候读取数据。 setupStreamSocket调用createSocket ，createSocket调用： sock = socket(AF_INET, type, 0); connectToServer调用 connect(socketNum, (struct sockaddr*) &remoteName, sizeof remoteName) setBackgroundHandling 主要初始化select 函数的文件描述符集合 incomingDataHandler 中包含函数 readSocket 调用 int bytesRead = recvfrom(socket, (char*)buffer, bufferSize, 0, (struct sockaddr*)&fromAddress, &addressSize);到此发送描述命令结束，等待响应服务器发送过来的数据。 incomingDataHandler1读取服务器的数据 incomingDataHandler1先调用readSocket调用，然后调用 handleResponseBytes 解析RTSP服务器数据调用(*foundRequest->handler())(this, resultCode, resultString); 这个函数就是continueAfterDESCRIBE continueAfterDESCRIBE 调用下一步 setup 功能 SDL 抓1，2，3，4....等每段的关键句，可能考流程 rb为只读，对于不需要进行更新的文件，可以防止用户的错误的写回操作，防止损毁原有数据。具有较高的安全性。 rb+为更新二进制文件，可以读取，同时也可以写入，需要用到fseek之类的函数进行配合，以免出错，对于需要不时更新的文件，比如信息管理系统中的数据，可以这样打开。初始化SDL 使用SDL_Init()初始化SDL。该函数可以确定希望激活的子系统。 int SDLCALL SDL_Init(Uint32 flags) SDL_INIT_VIDEO：视频创建窗口（Window）使用SDL_CreateWindow()创建一个用于视频播放的窗口。 SDL_Window SDLCALL SDL_CreateWindow(const char title,int x, int y, int w,int h, Uint32 flags); SDL＿CreatWindow:第一个参数是窗口名字，第二三是窗口的坐标（SDL_winpos_undefined 为采用系统默认) title ：窗口标题 x ：窗口位置x坐标。也可以设置为SDL_WINDOWPOS_CENTERED或SDL_WINDOWPOS_UNDEFINED。 y ：窗口位置y坐标。同上。 w ：窗口的宽 h ：窗口的高 flags ：支持下列标识。包括了窗口的是否最大化、最小化，能否调整边界等等属性。 flags：SDL_WINDOW_RESIZABLE 自动调整窗口基于窗口创建渲染器（Render）使用SDL_CreateRenderer()基于窗口创建渲染器 SDL_Renderer SDLCALL SDL_CreateRenderer(SDL_Window window,int index, Uint32 flags); window：渲染的目标窗口。 index：打算初始化的渲染设备的索引。设置“-1”则初始化默认的渲染设备。 SDL_RENDERER_PRESENTVSYNC：和显示器的刷新率同步创建纹理（Texture）使用SDL_CreateTexture()基于渲染器创建一个纹理 SDL_Texture SDLCALL SDL_CreateTexture(SDL_Renderer renderer,Uint32 format,int access, int w,int h); renderer：目标渲染器。 format：纹理的格式。 access：定义位于SDL_TextureAccess中 access：SDL_TEXTUREACCESS_STREAMING ：变化频繁 w：纹理的宽 h：纹理的高 SDL_Thread *refresh_thread = SDL_CreateThread(RefreshVideo,NULL,NULL); //创建线程 SDL_Event event; //设置触发事件 6.在SDL中，当事件等待函数监听到事件后，判断事件类型，如果event.type == SDL_KEYDOWN，表明用户按下键盘，保存在event.key.keysym.sym是相应的键值。而根据键值，调用函数SDL_GetKeyName(event.key.keysym.sym))，即可得到按下的按键键名。 SDLK_RETURN == 13 回车！ 7.读文件fread size_t fread(void buffer,size_t size,size_t count,FILE stream) buffer 是读取的数据存放的内存的指针（可以是数组，也可以是新开辟的空间，buffer就是一个索引） size 是每次读取的字节数 count 是读取次数 stream 是要读取的文件的指针 8.循环显示画面 (1)设置纹理的数据使用SDL_UpdateTexture()设置纹理的像素数据 int SDLCALL SDL_UpdateTexture(SDL_Texture texture,const SDL_Rect rect,const void *pixels, int pitch); texture：目标纹理。 rect：更新像素的矩形区域。设置为NULL的时候更新整个区域。 pixels：像素数据。 pitch：一行像素数据的字节数。 (2)纹理复制给渲染目标使用SDL_RenderCopy()将纹理数据复制给渲染目标。在使用SDL_RenderCopy()之前，可以使用SDL_RenderClear()先使用清空渲染目标。实际上视频播放的时候不使用SDL_RenderClear()也是可以的，因为视频的后一帧会完全覆盖前一帧 int SDLCALL SDL_RenderCopy(SDL_Renderer renderer,SDL_Texture texture,const SDL_Rect srcrect,const SDL_Rect dstrect); renderer：渲染目标。 texture：输入纹理。 srcrect：选择输入纹理的一块矩形区域作为输入。设置为NULL的时候整个纹理作为输入。 dstrect：选择渲染目标的一块矩形区域作为输出。设置为NULL的时候整个渲染目标作为输出。 (3) 显示使用SDL_RenderPresent()显示画面 void SDLCALL SDL_RenderPresent(SDL_Renderer * renderer); 参数renderer用于指定渲染目标 9.退出 event.type==SDL_QUIT fclose(fp); //关闭文件！防止遗留无用进程 SDL_DestroyTexture(texture); //关闭纹理 SDL_DestroyRenderer(renderer); //关闭渲染 SDL_DestroyWindow(window); //关闭窗口 SDL_Quit(); //退出线程 FFMPEG解码deco fun_deco_display.c 从void * deco_thread开始 play_ubuntu内功能函数于主函数同时编译多个c编译！ gcc -o demo main.c fun_deco_display.c fun_others.c fun_recv_control.c -I /monchickey/ffmpeg/include -L /monchickey/ffmpeg/lib -lavformat -lavcodec -lavutil -lSDL2 -lpthread AVCodec codec; / 解码CODEC*/ AVCodecContext *cctx; AVFrame frame; / 解码后的图像*/ int byte_buffer_size; //解码器码流长度 uint8_t *byte_buffer = NULL; //h.264码流 AVPacket *pkt; //保存媒体流信息 AVPacket主要保存一些媒体流的基本信息，例如PTS、DTS时间。最重要的当然就是媒体数据的buffer地址了。比较重要的有： pts：控制显示的pts时间 dts：控制解码的dts时间 *data：媒体数据buffer的指针 duration：AVStream-> time_base单位中此数据包的持续时间，如果未知则为0。在演示顺序中等于next_pts - this_pts。 AVFormatContext主要存储视音频封装格式中包含的信息解码前数据：AVPacket 解码后数据：AVFrame 1.AVFormatContext avformat_alloc_context(void)函数用来申请AVFormatContext类型变量并初始化默认参数。申请的空间通过void avformat_free_context(AVFormatContext s)函数释放。 2.avformat_find_stream_info()主要用于给每个媒体流（音频/视频）的AVStream结构体赋值,已经实现了解码器的查找，解码器的打开，视音频帧的读取，视音频帧的解码等工作 3.av_find_best_stream（）函数就是要获取音视频对应的stream_index 获取流的索引 4.解码模块第一步：获取解码器 avcodec_find_decoder（）FFmpeg的解码器编码器都存在avcodec的结构体中 5.avcodec_alloc_context3,avcodec_parameters_to_context,解码器初始化 6.avcodec_open2打开解码器 7.av_frame_alloc()首先调用av_mallocz()为AVFrame结构体分配内存 8.int av_image_get_buffer_size(enum AVPixelFormat pix_fmt, int width, int height, int align);函数的作用是通过指定像素格式、图像宽、图像高来计算所需的内存大小,av_malloc 按需分配空间 9.av_packet_alloc实际是分配AVPacket以后，调用av_init_packet对AVPacket的成员变量进行初始化赋值 10.av_read_frame()的作用是读取码流中的音频若干帧或者视频一帧 11.avcodec_send_packet（）以在AVPacket中给出解码器原始的压缩数据 avcodec_receive_frame（）。成功后，它将返回一个包含未压缩音频或视频数据的 AVFrame 12. void av_image_copy_uc_from ( uint8_t * dst_data[4], const ptrdiff_t dst_linesizes[4], const uint8_t * src_data[4], const ptrdiff_t src_linesizes[4], enum AVPixelFormat pix_fmt, int width, int height ) 数据拷贝 13.av_packet_free(&pkt); //释放数据关闭进程 av_frame_free(&frame); avformat_close_input(&fctx); avcodec_free_context(&cctx); avformat_free_context(fctx); Client && Server（了解） //Client_Upd 1.int socket(int domain, int type, int protocol); 函数socket()的参数domain用于设置网络通信的域，函数socket()根据这个参数选择通信协议的族 SOCK_DGRAM udp连接 socket()函数的原型如下，这个函数建立一个协议族为domain、协议类型为type、协议编号为protocol的套接字文件描述符。 2.memset可以方便的清空一个结构类型的变量或数组。初始化 3.family 通信协议的族 AF_INET,PF_INET IPv4 Internet协议 4.sockaddr_in在头文件#include<netinet/in.h>或#include <arpa/inet.h>中定义，该结构体解决了sockaddr的缺陷，把port和addr 分开储存在两个变量中。 htons()作用是将端口号由主机字节序转换为网络字节序的整数值。(host to net) inet_addr()作用是将一个IP字符串转化为一个网络字节序的整数值，用于sockaddr_in.sin_addr.s_addr。 5.在无连接的数据报socket方式下，由于本地socket并没有与远端机器建立连接，所以在发送数据时应指明目的地址，sendto（）函数原型为：　　int sendto（int sockfd， const void msg，int len unsigned int flags， const struct sockaddr to， int tolen）；　　该函数比send（）函数多了两个参数，to表示目地机的IP地址和端口号信息，而tolen常常被赋值为sizeof （struct sockaddr）。 int PASCAL FAR sendto( SOCKET s, const char FAR* buf, int len, int flags, const struct sockaddr FAR* to, int tolen); s：一个标识套接口的描述字。 buf：包含待发送数据的缓冲区。 len：buf缓冲区中数据的长度。 flags：调用方式标志位。 to：（可选）指针，指向目的套接口的地址。 tolen：to所指地址的长度 6.recvfrom（）函数原型为：　　int recvfrom（int sockfd，void buf，int len，unsigned int lags，struct sockaddr from，int *fromlen）；　　from是一个struct sockaddr类型的变量，该变量保存源机的IP地址及端口号。fromlen常置为sizeof （struct sockaddr）。当recvfrom（）返回时，fromlen包含实际存入from中的数据字节数接收一个数据报并保存源地址。 int PASCAL FAR recvfrom( SOCKET s, char FAR* buf, int len, int flags, struct sockaddr FAR from, int FAR fromlen); s：标识一个已连接套接口的描述字。 buf：接收数据缓冲区。 len：缓冲区长度。 flags：调用操作方式。 from：（可选）指针，指向装有源地址的缓冲区。 fromlen：（可选）指针，指向from缓冲区长度值。 https://blog.csdn.net/qq_26399665/article/details/52426529 //sendto/recvfrom 7.fwrite(const voidbuffer,size_t size,size_t count,FILEstream); （1）buffer：是一个指针，对fwrite来说，是要输出数据的地址。（2）size：要写入的字节数；（3）count:要进行写入size字节的数据项的个数；（4）stream:目标文件指针。 //Server_Udp（了解） 1.FILE fopen(char path, char * mode); path为包含了路径的文件名，mode为文件打开方式 2.bind()函数把一个地址族中的特定地址赋给socket。例如对应AF_INET、AF_INET6就是把一个ipv4或ipv6地址和端口号组合赋给socket。 int bind(int sockfd, const struct sockaddr *addr, socklen_t addrlen); 第二个参数是一个指向特定协议的地址结构的指针，第三个参数是该地址结构的长度。 3.size_t fread(void buffer,size_t size,size_t count,FILE stream) buffer 是读取的数据存放的内存的指针（可以是数组，也可以是新开辟的空间，buffer就是一个索引） size 是每次读取的字节数 count 是读取次数 ,k stream 是要读取的文件的指针

嵌入式＆系统 # 嵌入式

刘航宇 4年前
0 1,099 5
2022-01-02
故事很短，却说透了我们的一生图片这六个小故事很短，说尽了世间的道理。一一个卖瓷碗的老人挑着扁担在路上走着，突然一个瓷碗掉到地上摔碎了，但是老人头也不回继续向前走。路人看到很奇怪，便问： “为什么你的碗摔碎了你却不看一下呢？”老人答到：“我再怎么回头看，碗还是碎的。” 失去的东西就要学着去接受，学着放下。很多事并不会因为你的悲伤就会回来，结果就会被改变。二鹦鹉遇到乌鸦，笼中的鹦鹉安逸，野外的乌鸦自由。鹦鹉羡慕乌鸦自由，乌鸦羡慕鹦鹉安逸。二鸟便商议互换。乌鸦得到安逸，但难得主人欢喜，最后抑郁而死；鹦鹉得到自由，但长期安逸，不能独立生存，最终饥饿而死。不要盲目羡慕他人的幸福，也许那并不适合你。不要去攀比，过好自己的日子，享受自己的生活才是王道。图片三老师问：“有个人要烧壶开水，生火到一半时发现柴不够，他该怎么办?” 有的同学说赶快去找，有的说去借、去买。老师说：“为什么不把壶里的水倒掉一些呢？” 同学顿悟…… 世事总不能万般如意，有舍才有得。人的精力总会有限，不如“倒掉一些水”，只专注自己喜欢的人和事吧。四老和尚问小和尚：“如果你前进一步是死，后退一步则亡，你该怎么办？” 小和尚毫不犹豫地说：“我往旁边去。” 天无绝人之路，人生路上遭遇进退两难的境况时，换个角度思考，也许就会明白路的旁边，还是路。图片五穷人问佛：我为什么这样穷？佛说：你没有学会给予别人。穷人：我一无所有如何给予？佛：一个人一无所有也可以给予别人七种东西。颜施：微笑处事；言施：说赞美安慰的话；心施：敞开心扉对人和蔼；眼施：善义的眼光给予别人；身施：以行动帮助别人；座施：即谦让座位；房施：有容人之心。不要有太多没意义的计较，多给予别人，你可能会收获意想不到的财富和快乐。六有人问农夫：“种了麦子了吗？” 农夫：“没，我担心天不下雨。” 那人又问：“那你种棉花没？” 农夫：“没，我担心虫子吃了棉花。” 那人再问：“那你种了什么？” 农夫：“什么也没种，我要确保安全。” 顾虑太多，思虑太多，就会导致束手束脚，一事无成。

励志美文

刘航宇 4年前
0 319 4

313 文章数

555 评论量

人生倒计时

那年今日

2021 08/08 【NPN/PNP三极管】放大电路饱和失真和截止失真的区别
2021 08/08 【高数】定积分之旋转体体积详解

最新回复

。。
2026-06-22

好的，谢谢૮₍◜ෆ◝.₎ა
。。。。
2026-06-22

请问引脚面对自己还是朝下
Lapse
2026-05-30