是的，执行ALTER TABLE xxx CONVERT TO CHARACTER SET utf8mb4;命令只会对后续插入的数据生效。这意味着在执行此命令之前插入的所有数据都将保持原字符集，而新插入的数据将使用utf8mb4字符集。

如果您需要转换表的历史数据，可以按照以下步骤操作：

1. 创建一个新的临时表，结构与原始表相同，但使用目标字符集（例如utf8mb4）。
2. 从原始表中读取数据，并使用适当的转码函数将其转换为目标字符集。这可能需要您编写自定义的SQL查询或使用数据库特定的函数。
3. 将转换后的数据插入到临时表中。
4. 删除原始表。
5. 将临时表重命名为原始表的名称。

请注意，这个过程可能需要一些时间，具体取决于表的大小和您的数据库性能。另外，如果表中包含二进制数据（如图片、音频等），则可能需要使用其他方法进行转码，因为直接转码可能会导致数据损坏。